Résumé technique : De la réponse aux questions à l'accomplissement de tâches : une enquête sur les systèmes d'agents et la conception de harnais (harness design)

1. Énoncé du problème

Le domaine des agents basés sur les grands modèles de langage (LLM) est passé de la réponse passive aux questions (QA) à l'accomplissement actif de tâches multi-étapes. Bien que les modèles de pointe aient atteint un point de saturation sur les benchmarks statiques (ex. MMLU, GPQA), ils présentent des lacunes de fiabilité significatives dans les tâches agentiques interactives et à long horizon (ex. SWE-bench, WebArena). Le problème central abordé par cette enquête est l'identification de la source des goulots d'étranglement de la performance dans les systèmes d'agents. Les auteurs soutiennent que le goulot d'étranglement n'est plus uniquement la capacité de raisonnement du modèle de fondation, mais réside de plus en plus dans le harnais d'exécution (execution harness) — l'infrastructure de runtime qui médiatise l'interaction entre le modèle et l'environnement. L'article pose que la qualité de l'agent (succès, efficacité, sécurité, généralisation) est une propriété émergente du couplage entre le modèle et son harnais, plutôt qu'une fonction du modèle seul.

2. Méthodologie et cadre de travail

L'enquête emploie une lentille modèle-harnais pour analyser l'évolution de l'ingénierie des agents. Elle ne propose pas un nouvel algorithme, mais synthétise la littérature existante, les benchmarks et les rapports industriels à travers un cadre conceptuel spécifique :

• Vue fonctionnelle vs implémentation : L'article distingue la définition fonctionnelle d'un agent (un système en boucle fermée orienté vers un objectif, effectuant perception, raisonnement, action et adaptation) de la vue d'implémentation (un LLM couplé à un harnais d'exécution).
• Décomposition formelle : Le harnais d'exécution ($H$) est formalisé comme un tuple de six responsabilités de runtime couplées :
  1. Interface d'observation ($I_{obs}$) : Transformer les signaux bruts de l'environnement (logs, DOMs, diffs) en observations utilisables par le modèle.
  2. Gestionnaire de contexte ($C$) : Curater, compresser et rafraîchir l'information entrant dans la fenêtre de contexte du modèle.
  3. Boucle de contrôle ($L$) : Orchestrer le cycle observe-raisonne-agit-feedback, incluant l'ordonnancement des étapes, la délégation et les critères d'arrêt.
  4. Interface d'action ($I_{act}$) : Mapper les sorties du modèle vers des opérations exécutables (APIs, commandes shell, appels d'outils).
  5. Magasin d'état et d'artefacts ($S$) : Persister l'état d'exécution, les plans, les checkpoints et les artefacts générés au-delà de la fenêtre de contexte active.
  6. Vérification et gouvernance ($V$) : Vérifier les résultats, appliquer les contraintes de sécurité, gérer les permissions et gérer la récupération/le rollback.
• Analyse évolutive : La littérature est organisée en quatre paradigmes séquentiels de l'ingénierie des agents, analysant comment le levier de performance dominant a glissé à travers les étapes :
  1. Ingénierie de prompt (Prompt Engineering) : Optimiser les instructions à tour unique (traitant le problème de l'« expression »).
  2. Workflows et ingénierie de contexte : Curater le cycle de vie de l'information et les définitions d'outils (traitant le problème de l'« information »).
  3. Ingénierie de harnais (Harness Engineering) : Concevoir l'infrastructure de runtime pour l'exécution pilotée par le feedback, la persistance de l'état et la récupération d'erreurs (traitant le problème de l'« exécution »).
  4. Entraînement natif pour agents et co-évolution : Intérioriser les comportements agentiques (planification, vérification) dans les paramètres du modèle et faire évoluer conjointement le couple modèle-harnais.

3. Contributions clés

L'enquête établit trois distinctions primaires par rapport aux travaux antérieurs :

1. Synthèse axée sur l'évolution : Au lieu d'une taxonomie de composants statique, elle retrace la migration des goulots d'étranglement de l'ingénierie, passant de l'optimisation de prompt à la conception de systèmes de runtime et à la co-évolution future.
2. Perspective centrée sur le harnais : Elle traite le harnais d'exécution comme un objet technique de premier rang, le décomposant en les six composants de runtime listés ci-dessus. Elle soutient que la conception du harnais détermine la fiabilité et l'efficacité, même lorsque le modèle sous-jacent est fixe.
3. Intégration de preuves empiriques : Elle connecte les benchmarks académiques aux pratiques industrielles, utilisant des données empiriques pour démontrer comment les choix de conception de runtime (ex. mise en forme de l'observation, gestion du contexte) impactent directement la performance de l'agent.

Contributions spécifiques :

• Limites du passage à l'échelle centré sur le modèle : L'article analyse comment le passage à l'échelle des modèles produit des rendements décroissants sur les tâches agentiques en raison des limites de ressources-performances et de la saturation de mesure sur les benchmarks statiques.
• Cartographie Tâche-Harnais : Il associe les propriétés des tâches (horizon, type d'environnement, niveau d'autonomie) à des configurations de harnais spécifiques. Par exemple, les tâches d'ingénierie logicielle sollicitent la Vérification, tandis que les tâches web/GUI sollicitent les interfaces d'Observation et d'Action.
• Analyse de benchmarks : L'enquête fournit une analyse empirique détaillée de SWE-bench, Terminal-Bench et WebArena, démontrant que :
  • Le même modèle de base peut atteindre des différences de précision à deux chiffres selon le harnais utilisé.
  • Des échafaudages (scaffolds) minimaux (ex. mini-SWE-agent) peuvent parfois égaler ou approcher les performances de runtimes complets et complexes si la conception de l'interface est optimale.
  • Les scores rapportés par les fournisseurs dépassent souvent les résultats open-source en raison des optimisations de harnais propriétaires, soulignant l'importance de l'« échafaudage ».

4. Résultats et conclusions

• Impact du harnais : Les preuves empiriques de SWE-bench Verified montrent que pour un modèle fixe (ex. Claude 3.5 Sonnet), les taux de résolution varient d'environ 33 % à 53 % selon le harnais. De même, sur Terminal-Bench 2.0, le même modèle (ex. GPT-5.3-Codex) varie de 64,7 % à 78,4 % selon les différents harnais.
• Migration des goulots d'étranglement : À mesure que les tâches deviennent plus complexes (passant d'un horizon court L2 à un horizon ouvert L4), le goulot d'étranglement passe du raisonnement du modèle à la capacité du harnais à gérer l'état, vérifier les résultats et récupérer des erreurs.
• Coût et efficacité : Une précision plus élevée est souvent corrélée à des coûts de ressources plus élevés (utilisation de tokens, latence, timeouts). L'article note que le « succès » est conditionnel à la configuration du runtime, incluant les budgets de tentative (retry budgets) et les politiques de contexte.
• Multi-modèles et harnais apprenables : Les tendances récentes montrent un passage vers des runtimes compositionnels (routant différents modèles pour la planification, le codage et la vérification) et des harnais apprenables où les politiques de runtime sont optimisées en tant qu'artefacts.

5. Signification et affirmations

L'article affirme que le domaine a dépassé le stade du « craft de prompt » pour entrer dans l'étude de systèmes complets. Sa signification réside dans le recadrage du développement d'agents :

• La qualité de l'agent est émergente : Le succès, l'efficacité et la sécurité ne sont pas inhérents au modèle, mais émergent de l'interaction entre la capacité du modèle, l'infrastructure de runtime, la structure de la tâche et la conception de l'évaluation.
• Nécessité d'une évaluation sensible à la valeur : Les auteurs plaident pour un passage des classements centrés sur le score vers une évaluation sensible à la valeur (value-aware evaluation), qui optimise conjointement le succès de la tâche, le coût, la latence, la sécurité et la qualité du processus. Ils proposent une fonction objective formelle qui équilibre l'utilité par rapport aux contraintes de coût, de latence et de risque.
• Direction future : L'enquête identifie la voie vers l'Entraînement Natif pour Agents, où les comportements de vérification et de récupération sont intériorisés dans les paramètres du modèle, et la Co-Évolution, où le modèle et le harnais sont mis à jour conjointement à partir des traces d'exécution. Cependant, l'article note modestement que la frontière entre la conception de modèle et la conception de système est encore en cours de renégociation, et que la fiabilité dans des contextes réels reste inférieure aux besoins de déploiement.

En conclusion, l'enquête soutient que la compréhension du harnais d'exécution est désormais le défi central de l'ingénierie des agents, car il régit la manière dont les capacités du modèle sont traduites en un accomplissement de tâches fiable et à long horizon.