Résumé technique : Mesurer les agents en production (MAP)

Énoncé du problème

Malgré la prolifération rapide des agents basés sur les modèles de langage étendus (LLM) dans la recherche et l'enthousiasme croissant pour leur potentiel dans des secteurs comme la finance, la santé et l'éducation, il existe une absence significative de compréhension empirique concernant les méthodes techniques qui permettent réellement des déploiements réussis en production. Alors que la littérature de recherche se concentre souvent sur la maximisation de l'autonomie et des performances sur les benchmarks, les rapports industriels suggèrent que de nombreux projets d'agents échouent ou ne répondent pas aux attentes. Le domaine manque d'un compte rendu systématique et de première main sur la manière dont les organisations construisent, évaluent et maintiennent des agents dans des environnements réels, créant ainsi un fossé entre les récits de la recherche et les réalités de l'ingénierie.

Méthodologie

Pour combler cette lacune de connaissances, les auteurs présentent MAP (Measuring Agents in Production), la première étude systématique à grande échelle des agents d'IA en production. L'étude emploie une approche mixte combinant profondeur qualitative et étendue quantitative :

• Études de cas approfondies : Les auteurs ont mené 20 entretiens semi-structurés (30 à 90 minutes) avec des équipes de déploiement allant de grandes entreprises technologiques à des startups d'agents. Ces cas couvrent cinq secteurs, diverses maturités organisationnelles (des startups aux entreprises mondiales) et des échelles de déploiement allant de centaines à des millions d'utilisateurs. L'étude a utilisé l'échantillonnage par boule de neige pour assurer la diversité des domaines et de la portée géographique.
• Sondage à grande échelle : Un sondage de 47 questions a été distribué à des praticiens construisant des systèmes d'agents à travers 26 domaines. L'étude a reçu 306 réponses valides. Pour se concentrer sur les réalités de la production, les auteurs ont filtré les données pour isoler 86 systèmes explicitement en phase de production ou de pilote, servant des centaines à des millions d'utilisats quotidiens.
• Analyse des données : Les données qualitatives des entretiens ont été analysées via la théorie ancrée (codage ouvert et focalisé) par plusieurs chercheurs afin d'identifier les thèmes récurrents. Les données quantitatives du sondage ont été traitées avec une rigueur statistique, incluant des intervalles de confiance à 95 % calculés via 1 000 échantillons de bootstrap. La classification des domaines pour les réponses en texte libre a utilisé l'agrégation sémantique (LOTUS) suivie d'une annotation humaine.

Principales contributions

Le document apporte trois contributions majeures au domaine :

1. Première étude empirique à grande échelle : Il fournit le premier ensemble de données systématiques sur les agents en production, combinant 20 études de cas approfondies avec des données de sondage provenant de 86 systèmes déployés, dépassant ainsi les preuves anecdotiques ou les sondages purement théoriques.
2. Caractérisation à travers 17 dimensions de conception : L'étude offre des données quantitatives et qualitatives sur des décisions techniques critiques, notamment la sélection des modèles, l'architecture, les stratégies de prompting, les méthodes d'évaluation, les domaines d'application et les contraintes opérationnelles.
3. Aperçus fondés sur les données concernant la fiabilité : Elle remet en question les hypothèses courantes de la recherche en démontant que les praticiens atteignent la fiabilité grâce à des choix de conception au niveau du système (ex. : autonomie bornée, humain dans la boucle) plutôt que par de simples avancées algorithmiques ou au niveau du modèle.

Résultats clés

L'étude traite de quatre questions de recherche (RQ), produisant les résultats suivants :

RQ1 : Applications des agents

• Motivation : Le principal moteur de l'adoption est le gain de productivité (80 % des répondants), spécifiquement la réduction des heures de travail humain. Les bénéfices plus difficiles à quantifier, comme l'atténuation des risques, sont moins courants.
• Domaines : Bien que la Finance, la Technologie et les Services aux Entreprises mènent l'adoption, les agents sont déployés dans 26 domaines divers, s'étendant bien au-delà des tâches traditionnelles de génie logiciel.
• Utilisateurs : 92,5 % des agents déployés servent des utilisateurs humains (employés internes ou clients externes) plutôt que d'autres systèmes logiciels. Cette conception centrée sur l'humain permet une supervision directe.
• Latence : Les agents en production tolèrent des latences étonnamment élevées ; 66 % acceptent des temps de réponse de plusieurs minutes ou plus. Les flux de travail asynchrones sont courants, car les agents surpassent souvent les références humaines même avec des délais importants.

RQ2 : Modèles, architectures et techniques

• Sélection de modèles : Les agents déployés s'appuient fortement sur des modèles propriétaires de pointe (17/20 cas d'étude). Les modèles open-source sont utilisés principalement pour des contraintes de coût ou de réglementation.
• Ajustement (Tuning) : Les équipes privilégient massivement le prompting par rapport au réglage des poids. 70 % des cas utilisent des modèles prêts à l'emploi sans apprentissage supervisé (SFT) ou apprentissage par renforcement (RL). Le post-entraînement est perçu comme fragile face aux mises à jour de modèles et coûteux à maintenir.
• Prompting : Les humains restent centraux dans la construction des prompts (79 % manuel ou manuel + LLM). L'optimisation automatisée des prompts est rare (9 %). Les longueurs de prompt varient considérablement, certaines dépassant 10 000 jetons pour des garde-fous complexes.
• Architecture : Les flux de travail structurés dominent (80 % des cas). Les agents exécutent généralement moins de 10 étapes avant de nécessiter une intervention humaine (68 %). L'autonomie totale est délibérément contrainte pour garantir la fiabilité.
• Frameworks : Les équipes de production préfèrent les implémentations personnalisées internes (85 % des cas d'étude) aux frameworks tiers (ex. : LangChain) pour garantir la flexibilité, la simplicité et le contrôle sur l'infrastructure propriétaire.

RQ3 : Méthodes d'évaluation

• Manque de standardisation : 75 % des équipes évaluent sans benchmarks formels, s'appuyant plutôt sur des tests A/B, les retours utilisateurs et la surveillance en production.
• Humain dans la boucle (Human-in-the-loop) : 74 % des agents déployés reposent principalement sur l'évaluation par l'humain. Les méthodes automatisées comme le "LLM-as-a-judge" (52 %) servent de vérification complémentaire mais remplacent rarement la revue humaine.
• Références (Baselines) : Seules 39 % des équipes comparent explicitement les agents à des bases non-agentiques, souvent parce que l'alternative est un hybride complexe entre l'humain et les processus logiciels.

RQ4 : Principaux défis

• Fiabilité : La fiabilité (comportement correct constant) est le principal défi de développement. Les équipes l'atténuent par des contraintes environnementales strictes (ex. : modes en lecture seule, sandboxing) et une autonomie bornée.
• Évaluation : La rareté des benchmarks formels et la difficulté de vérifier des tâches réelles (où le feedback est différé) entravent l'évaluation automatisée.
• Sécurité : La sécurité est souvent traitée de manière implicite via la conception du système (ex. : accès en lecture seule, accords contractuels avec les fournisseurs de modèles) plutôt que comme un goulot d'étranglement primaire du développement, bien qu'elle reste une préoccupation à mesure que les déploiements s'étendent.

Signification et affirmations

Le document affirme que MAP fournit à la communauté de recherche une visibilité sur les réalités du déploiement, reliant les avancées théoriques aux contraintes pratiques. Les auteurs soutiennent que le « principe sous-jacent » des agents de production réussis est la fiabilité par la conception du système, et non l'optimisation du modèle.

Les points clés pour la communauté de recherche incluent :

• Divergence par rapport à la recherche : Les techniques de déploiement (simples, contrôlables, supervisées par l'humain) divergent des méthodes de recherche populaires (haute autonomie, RL complexe, optimisation automatisée).
• Opportunités de recherche : L'étude identifie des voies sous-explorées, telles que le post-entraînement efficace en termes d'échantillons qui survit aux mises à jour de modèles, le scaling de l'inférence pour les agents tolérants à la latence, et l'orchestration multi-modèles.
• L'humain dans la boucle comme principe de conception : Plutôt que de voir la supervision humaine comme une contrainte temporaire à surmonter, les données suggèrent qu'elle est un composant architectural délibéré et durable pour garantir l'exactitude dans des domaines complexes.

Les auteurs positionnent MAP non pas comme un recensement complet de tout le développement mondial des agents, mais comme une initiative visant à documenter la « pointe » des pratiques de production, offrant des preuves empiriques pour guider la recherche future vers la création de valeur réelle.