Résumé technique : Évaluer le résidu de l'horizon

Énoncé du problème

Les benchmarks à long horizon pour les agents de modèles de langage démontrent systématiquement que les taux de réussite diminuent à mesure que la longueur des tâches s'accroît. Cependant, l'article soutient qu'une simple baisse brute de la performance de bout en bout est insuffisante pour diagnostiquer les mécanismes de défaillance sous-jacents. Un taux de réussite plus faible sur une tâche longue peut simplement résulter d'un cumul d'erreurs ordinaire (la probabilité statistique d'échec augmentant avec le nombre d'étapes indépendantes) plutôt que d'une limitation spécifique de « long horizon » telle que la dégradation du contexte, la contamination de l'état ou l'effondrement de la planification.

Les benchmarks actuels confondent souvent trois sources distinctes de dégradation de la performance :

1. Cumul d'erreurs : Un plus grand nombre d'étapes crée plus d'opportunités d'échec, même si la difficulté des étapes individuelles reste inchangée.
2. Travail local plus difficile : Les tâches plus longues peuvent intrinsèquement contenir des étapes plus ambiguës ou spécialisées.
3. Dépendance à l'historique/à l'état : L'accumulation de contexte, de sorties d'outils ou d'erreurs antérieures rend les étapes suivantes plus difficiles (terme de dégradation induite par la trajectoire ou décomposition du contexte).

Sans distinguer ces facteurs, une courbe de performance descendante ne peut pas identifier si l'agent échoue parce que la tâche est longue, parce que les étapes sont difficiles, ou parce que son historique dégrade activement ses performances futures.

Méthodologie

L'article propose un cadre de diagnostic centré sur le Résidu d'Horizon ($\Gamma_H$), une métrique qui compare la performance réelle de bout en bout à une prédiction de référence dérivée d'évaluations de courtes étapes appariées.

1. Décomposition et points de contrôle (Checkpoints)

La méthodologie nécessite une décomposition préspécifiée d'une tâche longue en étapes sémantiques vérifiables (ex: « trouver le bug », « mettre à jour l'API ») plutôt qu'en nombres de tours arbitraires.

• Points de contrôle (Checkpoints) : L'agent déployé (modèle, prompt, outils, mémoire) est exécuté à partir de points de contrôle déclarés. Un point de contrôle inclut l'état spécifique de l'environnement, l'historique visible, les informations révélées et le budget local.
• Probabilités conditionnelles ($q_i$) : Pour chaque étape $i$, la probabilité de succès est mesurée étant donné que toutes les étapes requises précédentes ont été accomplies et que l'agent a démarré depuis le point de contrôle déclaré : $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$.

2. La ligne de base produit ($P_{expected}$)

En utilisant la règle de la chaîne, l'article construit une prédiction de référence auditable pour le taux de réussite de la tâche complète en multipliant les probabilités d'étapes conditionnelles :
$$P_{expected} = \prod_i q_i$$
Cette ligne de base suppose que si l'agent peut réussir chaque étape indépendamment dans des conditions appariées, le succès de la tâche complète devrait être le produit de ces probabilités. L'article reconnaît qu'il s'agit d'un « modèle nul » qui peut ne pas tenir compte de la récupération, des chemins de branchement ou des changements d'état, et suggère des extensions (ex: simulateurs de points de contrôle) pour les tâches hétérogènes.

3. Le Résidu d'Horizon ($\Gamma_H$)

La métrique centrale est le log-ratio entre le succès attendu (issu de la ligne de base) et le succès observé ($P_{observed}$) d'un déroulement naturel de bout en bout :
$$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$$

• $\Gamma_H > 0$ : Le déroulement naturel est moins performant que la prédiction de l'étape courte appariée, indiquant un décalage (potentielle dégradation induite par la trajectoire).
• $\Gamma_H \approx 0$ : Le déroulement naturel s'aligne sur la prédiction, suggérant que la baisse de performance est due au cumul d'erreurs ordinaire.
• $\Gamma_H < 0$ : Le déroulement naturel surpasse la prédiction (ex: grâce à des mécanismes de feedback ou de récupération omis dans la ligne de base).

4. Annotations structurelles

Pour séparer la structure de la tâche de la difficulté locale, l'article préconise de rapporter deux annotations complémentaires :

• Exposition du travail ($N_{work}$) : Le nombre d'étapes requises et séparément vérifiables.
• Profondeur de dépendance ($H_{dep}$) : La profondeur de la plus longue chaîne de dépendance requise.
  Cela permet aux benchmarks de distinguer entre les tâches qui sont « longues » par volume (nombreuses étapes indépendantes) et celles qui sont « longues » par une profonde dépendance entre les étapes.

Contributions clés

1. Distinction diagnostique : L'article soutient qu'il faut traiter la baisse de performance brute comme un résultat de déploiement descriptif et le Résidu d'Horizon comme un diagnostic distinct dépendant du protocole. Il affirme qu'une affirmation de « échec à long horizon » nécessite la preuve que le déroulement complet diffère d'une ligne de base construite à partir d'étapes courtes appariées.
2. Proposition de ligne de base auditable : Il propose une simple ligne de base produit auditable ($P_{expected}$) et esquisse des extensions (modèles conditionnels, simulateurs de points de contrôle) pour les tâches avec branchement ou récupération. Il souligne que la ligne de base doit être déclarée avant d'évaluer le déroulement naturel.
3. Agenda de rapport et d'intervention : L'article articule des exigences de rapport spécifiques (décomposition, états de points de contrôle, budgets) et un agenda d'intervention. Il pose que le résidu n'est pas une explication causale, mais un signal pour orienter des expériences ciblées (ex: réinitialisation de l'historique, réparation de l'état, compression du contexte) afin d'identifier le mécanisme spécifique de défaillance.

Résultats et preuves

L'article ne présente pas de nouveaux résultats expérimentaux mais synthétise la littérature existante pour démontrer la nécessité de ce cadre :

• SWE-Milestone vs Exécution continue : Des jalons indépendants montrent souvent un succès de >80 %, tandis que l'évolution continue sur le même code source tombe à environ 38 %. L'article note que sans composer les scores indépendants en une chaîne de contre-factuels, cet écart est ambigu.
• ChainSWE : Montre une chute de 58,9 % de précision (état antérieur oracle-correct) à 36,5 % (état antérieur généré par l'agent), illustrant la valeur de la réparation d'état, tout en notant l'absence de prédiction de chaîne composée.
• SWE-Marathon : Montre que la compaction du contexte est corrélée à l'échec, mais sans interventions appariées, il n'est pas clair si la compaction cause l'échec ou marque simplement les trajectoires défaillantes.
• Illusion : Des manipulations contrôlées de l'historique montrent que les erreurs dans l'historique antérieur réduisent la précision ultérieure, isolant le contenu par rapport à la longueur.

L'article examine des benchmarks représentatifs (SWE-EVO, NL2Repo-Bench, SWE-Chain, etc.) et conclut dans le Tableau 4 qu'aucune étude existante ne met en œuvre la séquence complète : mesure locale appariée, composition déclarée, déroulement naturel, gestion de la compatibilité d'état, intervention ciblée et analyse de sensibilité au protocole.

Signification et affirmations

La signification de l'article réside dans le recadrage de « plus long est plus difficile » d'une observation descriptive en un programme de recherche auditable.

• Déploiement vs Diagnostic : Il clarifie que les benchmarks de déploiement demandent si un système réussit, tandis que les benchmarks de diagnostic demandent pourquoi il échoue. Le Résidu d'Horizon fait le pont entre les deux en quantifiant l'écart entre la compétence locale et la performance globale.
• Discipline causale : Les auteurs affirment que le résidu n'est pas une réponse causale. Un résidu positif indique seulement un décalage avec la ligne de base choisie. Il oriente les chercheurs vers des hypothèses spécifiques (ex: « Est-ce la décomposition du contexte ? ») qui doivent ensuite être testées via des interventions ciblées.
• Falsifiabilité : La position est falsifiable si :
  1. Le signe de $\Gamma_H$ est instable à travers des protocoles admissibles.
  2. Les points de contrôle appariés ne peuvent être construits à un coût gérable.
  3. Le résidu n'apporte aucune information diagnostique supplémentaire au-delà des comparaisons existantes entre persistance et réinitialisation.

En fin de compte, l'article soutient que tant qu'une courbe descendante n'est pas accompagnée d'une prédiction compositionnelle préspécifiée et du résidu en résultant, les affirmations concernant les mécanismes à long horizon restent sans licence. Le cadre transforme l'observation de l'échec en une investigation structurée de l'historique, de l'état, de l'information et de la récupération.