🤖 AI

Stop Comparing LLM Agents Without Disclosing the Harness

Ce document de position soutient que, pour les tâches à horizon long, le dispositif d'exécution de l'agent est souvent un déterminant plus fort de la performance que le modèle de langage sous-jacent, et exhorte la communauté à adopter des protocoles d'évaluation conscients du dispositif afin d'éviter l'attribution systématique des gains d'infrastructure à des améliorations du modèle.

Auteurs originaux : Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée centrale : Ce n'est pas seulement le moteur, c'est la voiture

Imaginez que vous essayez de déterminer quel moteur de voiture est le meilleur. Vous installez un moteur Ferrari dans une berline rouillée et délabrée, avec des pneus à plat et un volant qui ne fonctionne pas. Ensuite, vous installez un moteur légèrement moins puissant dans une voiture de course neuve et haute technologie, équipée de pneus parfaits et d'un système de navigation GPS.

Si la deuxième voiture gagne la course, est-ce parce que son moteur était meilleur ? Non. Elle a gagné parce que la voiture (le châssis, les pneus, la navigation) était meilleure.

Ce document soutient que nous commettons actuellement exactement la même erreur avec l'IA.

Lorsque nous testons des « agents » d'IA (des programmes d'IA capables d'effectuer des tâches comme écrire du code ou corriger des bugs logiciels), nous nous contentons généralement d'un seul score pour déclarer : « Wow, le Modèle A est meilleur que le Modèle B. » Les auteurs affirment que cela est trompeur. Ils soutiennent que pour des tâches complexes et de longue durée, le score dépend beaucoup plus du « harnais » (l'infrastructure logicielle entourant l'IA) que du modèle d'IA lui-même.

Le « Harnais » : Le corps et le système nerveux de l'IA

Le document désigne cette infrastructure sous le nom de « harnais ». Imaginez le modèle d'IA (le « cerveau ») comme un pilote. Le harnais est le cockpit, le système de pilote automatique, le jauge de carburant et la radio de communication.

Le Modèle (Le Cerveau) : C'est simplement la partie qui pense et génère du texte. Il est « en boucle ouverte », ce qui signifie qu'il émet simplement une réponse et attend la prochaine instruction. Il ne sait pas s'il a fait une erreur tant que quelqu'un ne le lui dit pas.
Le Harnais (Le Contrôleur) : C'est la couche logicielle qui :
- Décide quelles informations montrer à l'IA (Contexte).
- Vérifie si la réponse de l'IA a du sens (Vérification).
- Demande à l'IA de réessayer si elle échoue (Logique de réessai).
- Empêche l'IA de se perdre dans une trop grande quantité d'informations (Gestion de la mémoire).

Le document affirme que pour des tâches longues et difficiles, le harnais est la « contrainte liante ». Cela signifie que le harnais est le goulot d'étranglement. Si le harnais est mauvais, même l'IA la plus intelligente échouera. Si le harnais est excellent, une IA légèrement moins intelligente peut réussir.

La « Thèse de la Contrainte Liante »

Les auteurs proposent une théorie appelée la Thèse de la Contrainte Liante. En termes simples, elle dit :

« Lorsque nous comparons des modèles d'IA de premier plan sur des tâches difficiles et longues, la différence de leurs scores est causée davantage par la manière dont le harnais est construit que par le modèle utilisé. »

Ils ont constaté que modifier le harnais pouvait faire varier un score de 15 points de pourcentage, tandis que changer le modèle ne déplaçait généralement le score que de 2 à 4 points.

L'Analogie : Imaginez deux coureurs. L'un est un sprinteur olympique (Modèle A), et l'autre est un amateur très en forme (Modèle B).

Si vous mettez le sprinteur olympique dans des bottes boueuses et lui donnez un lourd sac à dos (Mauvais Harnais), il pourrait perdre contre l'amateur courant avec des chaussures parfaites (Bon Harnais).
Le document affirme que les classements actuels sont comme une course où tout le monde porte des chaussures différentes, mais où nous ne rapportons que le vainqueur, en ignorant les chaussures.

Pourquoi les classements actuels sont « incomplets »

Actuellement, les benchmarks (comme SWE-bench ou Terminal-Bench) agissent comme s'ils ne testaient que le « cerveau » seul. Mais en réalité, ils testent le Cerveau + Le Harnais.

Puisque les chercheurs publient rarement exactement comment ils ont construit leur harnais (la « recette » du cockpit), nous ne pouvons pas dire si un modèle est réellement plus intelligent ou si l'équipe a simplement construit un meilleur harnais autour de lui.

Les Preuves du Document :

Exemples réels : Ils ont montré que le même modèle d'IA (Claude Opus) obtenait un score de 45,9 % avec un harnais et de 55,4 % avec un autre. C'est un bond énorme simplement en changeant l'enveloppe logicielle, pas le modèle.
Expérience contrôlée : Ils ont pris trois modèles de premier plan différents et les ont fait passer à travers trois harnais différents (Minimal, Amélioré et Complet).
- Résultat : Changer le harnais modifiait les scores beaucoup plus que changer le modèle.
- La Surprise : Parfois, un modèle « pire » avec un harnais « meilleur » battait un modèle « meilleur » avec un harnais « pire ». Le classement s'inversait !

La Solution : « Divulgation » et « Décomposition de la Variance »

Le document ne dit pas que nous devrions arrêter d'utiliser des modèles. Il dit que nous devons arrêter de faire semblant que le harnais n'existe pas. Ils proposent une nouvelle façon d'évaluer l'IA :

La « Carte Harnais » : Tout comme les étiquettes alimentaires listent les ingrédients, chaque soumission de benchmark d'IA devrait lister sa « Carte Harnais ». Cette carte détaille exactement comment le contexte est construit, comment les erreurs sont gérées et comment l'IA est vérifiée.
Décomposition de la Variance : Au lieu de donner simplement un score, les chercheurs devraient rapporter :
- Quelle part de la différence de score est due au Modèle ?
- Quelle part est due au Harnais ?
- Quelle part est due à l'Interaction entre les deux ?

L'Essentiel

Si vous êtes un chercheur, un investisseur ou un utilisateur regardant les classements d'IA, le document vous avertit : Ne faites pas confiance aux classements aveuglément.

Jusqu'à ce que nous voyions la « Carte Harnais », un classement est comme juger une course sans savoir qui conduisait quelle voiture. Le « gagnant » pourrait simplement avoir eu une meilleure voiture, pas un meilleur pilote. Pour vraiment comprendre les progrès de l'IA, nous devons arrêter de comparer uniquement les cerveaux et commencer à comparer l'ensemble du système — le cerveau et le corps dans lequel il vit.

Résumé Technique : Arrêtez de Comparer les Agents LLM Sans Révéler le Cadre d'Exécution

1. Énoncé du Problème

Les pratiques actuelles d'évaluation des agents de Modèles de Langage (LLM) sur des tâches à horizon long confondent systématiquement la capacité du modèle avec la performance du cadre d'exécution (execution harness). Le cadre d'exécution est la couche d'infrastructure responsable de la construction du contexte, de la médiation des interactions avec les outils, de la vérification des sorties, de l'orchestration (logique de réessai/escalade) et des critères d'arrêt.

Les classements standards (par exemple, SWE-bench, Terminal-Bench, AgentBench) rapportent un score unique par paire {modèle, benchmark}, attribuant implicitement le résultat au seul modèle. Cet article soutient que, pour des tâches à horizon long impliquant des modèles de pointe comparables, le cadre d'exécution est souvent la contrainte limitante de la performance. Par conséquent, les protocoles d'évaluation actuels attribuent à tort les gains au niveau du cadre aux améliorations du modèle, rendant les comparaisons inter-modèles peu fiables et potentiellement trompeuses. Cette confusion provient de ce que :

Preuves Observationnelles : Le fait de maintenir un modèle fixe tout en modifiant uniquement l'infrastructure du cadre peut produire des variations de performance (par exemple, 15 points de pourcentage) qui éclipsent les améliorations de modèle rapportées (généralement 2 à 4 points).
Réalité Structurelle : Les agents fonctionnent comme des systèmes dynamiques en boucle fermée où le cadre agit comme le contrôleur et le LLM comme une politique stochastique. La fiabilité à long terme dépend des propriétés du contrôleur (stabilité, gestion de la dérive du contexte, retard de contrôle) plutôt que de la simple capacité brute de la politique.

2. Méthodologie et Cadre Théorique

La Thèse de la Contrainte Limitante

L'article formalise la Thèse de la Contrainte Limitante : Dans le régime des tâches à horizon long avec des modèles de pointe comparables, la variance des scores de benchmark induite par le cadre ($HV$) est souvent comparable ou supérieure à la variance induite par le choix du modèle ($MV$).

La variance totale de performance est décomposée comme suit :
$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interaction})}_{\text{Interaction}}$
La thèse affirme que $HV$ et le terme d'interaction dominent $MV$ dans les évaluations actuelles.

Formalisation Théorique du Contrôle

Les auteurs repensent l'exécution de l'agent, passant d'une simple boucle d'inférence à un système dynamique en boucle fermée :

Le LLM ( $\pi_\theta$ ) : Une politique stochastique en boucle ouverte qui reçoit une projection de contexte $c(s_t)$ mais n'a pas d'accès direct à l'état complet $s_t$ .
Le Cadre ( $C_H$ ) : Le contrôleur qui met à jour l'état, filtre les observations et gère la boucle de rétroaction.
Quantités de Fiabilité : Le cadre détermine trois quantités structurelles critiques :
1. Stabilité : Si le système réalise un progrès attendu non décroissant vers l'objectif (mesure de type Lyapunov).
2. Dérive du Contexte ( $\delta_t$ ) : Le taux auquel les informations pertinentes pour la tâche sont perdues de la fenêtre de contexte.
3. Retard de Contrôle ( $\tau$ ) : Le délai entre la détection d'une anomalie et l'arrivée d'un signal correctif à la politique.

Approche Empirique

L'article soutient la thèse grâce à deux axes de preuves :

Données Observationnelles : Analyse des classements publics (SWE-bench Pro, Terminal-Bench, HAL) montrant que les variations « uniquement échafaudage » (changement du cadre tout en fixant le modèle) entraînent des fluctuations de performance à deux chiffres et des inversions de classement.
Expérience Factorielle Contrôlée : Une expérience sur une grille 3x3 variant trois modèles de pointe (GPT-5.4, Kimi K2.6, GLM-5.1) contre trois configurations de cadre distinctes ( $H_1$ : Minimal/Boucle ouverte, $H_2$ : Amélioré/Boucle fermée basique, $H_3$ : Complet/Boucle fermée avancée) sur un sous-ensemble stratifié de SWE-bench Verified.

3. Résultats Clés

Preuves Observationnelles

SWE-bench Pro : Sous un échafaudage standardisé, les modèles de pointe varient de 4,9 points. Cependant, en fixant le modèle (Claude Opus 4.5) et en passant de l'échafaudage SEAL à Claude Code, le score augmente de 9,5 points.
Inversions de Classement : L'ajout d'un seul sous-agent de recherche (WarpGrep) à une infrastructure identique a inversé le classement entre MiniMax 2.5 et Claude Opus 4.6.
Écarts Inter-Échafaudages : Sur SWE-bench Verified Mini, le même modèle (par exemple, Claude Sonnet 4.5) a montré un écart de 34 points entre différents échafaudages (SWE-Agent vs HAL Generalist).

Résultats de l'Expérience Factorielle Contrôlée

Dominance de la Variance : La variance induite par le cadre ($HV$) était 7,80 fois plus grande que la variance induite par le modèle ($MV$).
- Moyenne $HV$ : 18,48 pp²
- Moyenne $MV$ : 2,37 pp²
Déplacements de Performance : Changer le cadre a déplacé les scores de 8,5 à 13,0 points de pourcentage pour des modèles fixes, tandis que changer le modèle dans un cadre fixe a déplacé les scores de seulement 2,5 à 5,0 points.
Instabilité du Classement : 6 comparaisons sur 9 possibles entre paires de modèles/paires de cadres ont entraîné des inversions de classement.
Analyse des Mécanismes :
- Les gains de $H_1 \to H_2$ étaient pilotés par une réduction du bruit de contrôle (meilleur formatage, récupération, gestion des erreurs).
- Les gains de $H_2 \to H_3$ étaient pilotés par la fermeture de la boucle de vérification et de récupération (auto-vérification, détection d'anomalies, retour en arrière).

4. Cadre Proposé : Évaluation Consciente du Cadre

L'article propose un nouveau régime d'évaluation exigeant trois composantes :

Fiche du Cadre (Divulgation Structurée) : Chaque soumission de benchmark doit inclure une divulgation organisée selon la taxonomie ETCSOVG :
- Exécution (temps d'exécution, mise en bac, délais d'attente)
- Tool (liste, schéma, contrats d'erreur)
- Contexte (limite de fenêtre, compression, récupération, mémoire)
- Scheduling (boucle, réessai, escalade, retour en arrière)
- Observabilité (journalisation, traces)
- Vérification (analyse, auto-vérification, détection d'anomalies)
- Gouvernance (autorisations, effets secondaires)
Protocole de Décomposition de la Variance : Les évaluations devraient employer soit :
- Protocole à Cadre Verrouillé : Un cadre unique et spécifié appliqué à tous les modèles pour un classement clair.
- Protocole Factoriel : Variation simultanée des modèles et des cadres pour rapporter $HV$, $MV$, les termes d'interaction et le nombre d'inversions de classement.
Métriques au Niveau des Trajectoires : Pour attribuer les déplacements de performance à des couches spécifiques du cadre, l'article propose :
- Taux de Récupération (RR) : Probabilité de retour à un état favorisant la tâche après une anomalie dans un délai de $k$ étapes (mesure la Stabilité).
- Rétention du Contexte : Fraction des fichiers/contraintes pertinents pour la tâche présents dans le contexte (mesure la Dérive).
- Retard de Contrôle ( $\tau$ ) : Étapes entre la détection d'une anomalie et l'arrivée du signal correctif.

5. Importance et Revendications

L'article affirme que les scores de benchmark pour les agents à horizon long ne sont pas valides pour la comparaison inter-modèle à moins que le cadre d'exécution ne soit divulgué.

Exactitude Scientifique : Les classements actuels mesurent un mélange de modèle et de cadre, conduisant à une attribution systématique erronée des gains. Cela fausse les incitations à la recherche, orientant l'investissement vers la mise à l'échelle des modèles tout en sous-investissant dans l'ingénierie du cadre, qui est la source de variance la plus importante.
Impact Pratique : Les décisions de déploiement basées sur les classements actuels sont erronées car elles n'isolent pas la contribution du modèle. La « contrainte limitante » est souvent l'infrastructure, et non les poids du modèle.
Appel à l'Action : Le domaine doit passer de la considération du cadre comme une variable cachée à sa considération comme une condition expérimentale primaire. Jusqu'à ce que les spécifications du cadre soient divulguées et que la décomposition de la variance devienne routinière, les comparaisons de classements doivent être considérées comme incomplètes.

L'article rejette explicitement l'idée que « de meilleurs modèles résoudront cela », notant que, à mesure que les modèles s'améliorent, les cadres deviennent plus complexes (par exemple, Claude Code redéfinissant des composants plutôt que de les supprimer) pour gérer la capacité accrue. La solution réside dans la divulgation structurelle, et non simplement dans la standardisation ou la mise à l'échelle.