Résumé technique : AGENTLENS : Révéler le problème de la "Réussite Chanceuse" dans l'évaluation des agents SWE

1. Énoncé du problème

L'évaluation actuelle des agents d'ingénierie logicielle (SWE) est dominée par un signal binaire : le patch final passe-t-il la suite de tests (par exemple, SWE-bench) ? Cette vision "résultat uniquement" traite une solution fondée sur des principes et efficace comme équivalente à un processus chaotique et basé sur l'essai-erreur. Les auteurs soutiennent que cette équivalence est empiriquement fausse et insuffisante pour évaluer le comportement des agents.

Plus précisément, l'article identifie le problème de la "Réussite Chanceuse" : un sous-ensemble de trajectoires réussies qui aboutissent à un patch correct par le biais de processus faibles, fragiles ou inefficaces. Ceux-ci incluent :

• Cycles de régression : Échecs répétés et nouvelles tentatives d'éditions similaires.
• Nouvelles tentatives aveugles : Répétition d'actions sans nouvelle information.
• Absence de vérification : Application de correctifs sans exécuter de tests.
• Exploration temporellement désordonnée : Exécution d'étapes de vérification avant l'implémentation ou exploration de fichiers non pertinents après la vérification d'un correctif.

L'article postule que traiter toutes les trajectoires réussies comme des données d'apprentissage supervisé également précieuses (comme le font des jeux de données tels que SWE-Gym) est une approximation grossière de la qualité des démonstrations. De plus, à mesure que les modèles convergent vers des benchmarks de taux de réussite, la qualité du processus devient un axe nécessaire pour la comparaison des modèles et l'évaluation des risques, car les agents qui réussissent par essai-erreur peuvent se comporter de manière imprévisible dans des déploiements réels complexes.

2. Méthodologie : Le cadre AGENTLENS

Les auteurs présentent AGENTLENS, un cadre pour l'évaluation au niveau du processus des trajectoires d'agents SWE. Il fonctionne en quatre étapes :

A. Des journaux bruts aux états étiquetés

Les journaux bruts des agents sont analysés en séquences d'états structurés. Chaque état se voit attribuer une étiquette d'intention-étape issue de quatre phases cognitives :

1. Exploration (E) : Lecture de fichiers, recherche, listing de répertoires.
2. Implémentation (I) : Édition ou création de fichiers source.
3. Vérification (V) : Exécution de tests, vérification des erreurs, relecture des fichiers modifiés.
4. Orchestration (O) : Étapes de comptabilité et de raisonnement.

Crucialement, AGENTLENS emploie un étiqueteur d'intention-étape sensible au contexte. Contrairement aux approches naïves qui étiquettent les actions uniquement sur la base de l'identité de l'outil (par exemple, en supposant que grep est toujours une exploration), cet étiqueteur utilise l'historique de la trajectoire. Par exemple, grep est étiqueté comme Exploration avant qu'un patch ne soit écrit, mais comme Vérification s'il est exécuté après une étape d'implémentation pour vérifier un changement spécifique. Cela résout les ambiguïtés dans les commandes terminales, validé avec un $\kappa$ de Fleiss de 0,933 sur sept annotateurs.

B. Construction d'une référence PTA

Au lieu de comparer une trajectoire candidate à une seule trace de référence, AGENTLENS construit un Accepteur d'Arbre de Préfixes (PTA) à partir de $k \ge 2$ trajectoires réussies pour la même tâche.

• Fusion : Les préfixes partagés sont fusionnés en nœuds communs.
• Embranchement : Les stratégies divergentes mais réussies forment des branches.
• Résultat : Le PTA est un graphe acyclique dirigé (DAG) codant un espace de stratégies de solution "connues pour être bonnes" plutôt qu'un seul exemple. Cela permet au système de reconnaître des voies alternatives valides tout en signalant les écarts par rapport aux processus de réussite connus.

C. Notation des trajectoires candidates

Une trajectoire candidate est notée par rapport au PTA au niveau de la tâche en utilisant quatre signaux complémentaires, combinés en une note de qualité de 0 à 100 :

1. Alignement structurel ($\Phi_{struct}$) : Mesure si la candidate visite les états du PTA dans un ordre globalement correct (rappel ordonné + précision non ordonnée).
2. Couverture d'ensemble ($\Phi_{cov}$) : Mesure la fraction des états du PTA correspondants par la candidate, indépendamment de l'ordre.
3. Cohérence de la trajectoire ($\Phi_{coh}$) : Résume la séquence d'intention-étape, récompensant les progrès en avant (par exemple, $E \to I \to V$) et pénalisant les retours en arrière et les nouvelles tentatives aveugles.
4. Similarité du profil temporel ($\Phi_{temp}$) : Compare la distribution des étapes sur les segments de trajectoires début, milieu et fin par rapport au PTA en utilisant la divergence de Jensen-Shannon.

La note finale est une somme pondérée :
$$f(\tau_c, G) = 0,20 \cdot \Phi_{struct} + 0,15 \cdot \Phi_{cov} + 0,30 \cdot (100 \cdot \Phi_{coh}) + 0,35 \cdot (100 \cdot \Phi_{temp})$$
Les signaux comportementaux (Cohérence et Profil Temporel) représentent 65 % du poids, reflétant le fait que la couverture structurelle et la qualité du processus échouent souvent sur différentes trajectoires.

D. Rapports et classement

Les trajectoires sont classées en niveaux basés sur leur score composite :

• Idéal ($\ge 70$) : Fondé sur des principes, peu de gaspillage, bien ordonné.
• Solide ($47 \le score < 70$) : Parfait mais cohérent.
• Chanceux ($< 47$) : Processus faibles qui réussissent par hasard (par exemple, cycles de régression, nouvelles tentatives aveugles).
• Échec partiel / Hors piste : Pour les trajectoires échouées.

Le système génère également des rapports structurés d'inefficacité, localisant le "gaspillage" (boucles de régression, nouvelles tentatives aveugles, étapes redondantes, exploration inutile, motifs cycliques) vers des étapes spécifiques de la trajectoire.

3. Contributions clés

1. AGENTLENS-Bench : Le premier jeu de données de trajectoires d'agents SWE annoté au niveau du processus. Il contient 1 815 trajectoires issues de 47 tâches SWE-bench Vérifiées, comprenant des notes de qualité, des annotations de gaspillage, des métadonnées de divergence et des PTA de vérité terrain.
2. La découverte de la Réussite Chanceuse : Les auteurs démontrent que 10,7 % des trajectoires réussies sont des "Réussites Chanceuses". Celles-ci sont décomposées en cinq mécanismes récurrents :
   • Minimal et non vérifié (15,6 %) : Court, sans vérification.
   • Convergence par force brute (34,4 %) : Gaspillage élevé, faible cohérence.
   • Implémentation incomplète (33,6 %) : Correctifs partiels réussissant en raison de lacunes dans les tests.
   • Exploration excessive (4,1 %) : Long, sans focus.
   • Divergent mais valide (12,3 %) : Approches valides alternatives.
3. Étiquetage d'intention sensible au contexte : Un étiqueteur validé qui résout l'ambiguïté exploration-vs-vérification dans les commandes terminales, atteignant un accord brut de 96,0 %.
4. Références de processus basées sur PTA : Une méthode pour fusionner plusieurs solutions réussies en un espace de référence de stratégies connues pour être bonnes, permettant la notation de nouvelles trajectoires par rapport à un ensemble diversifié de comportements corrects.
5. Outils open-source : Publication du SDK AGENTLENS et de l'interface web, prenant en charge les traces ATIF et OpenHands sans nécessiter d'appels LLM pour la notation.

4. Résultats

Le cadre a été évalué sur 2 614 trajectoires issues de huit backends de modèles (incluant GPT-4.1, GPT-4o, Claude Opus et Gemini 2.5 Pro) sur 60 tâches SWE-bench Vérifiées.

• Distribution des trajectoires réussies : Parmi 1 136 trajectoires réussies, 20,2 % étaient Idéales, 69,1 % Solides et 10,7 % Chanceuses.
• Discrépance de classement des modèles : La notation sensible au processus modifie considérablement le classement des modèles par rapport au seul taux de réussite.
  • Exemple : GPT-4o se classe 8e par taux de réussite mais 3e par note de qualité.
  • Exemple : Claude Opus 4.6 se classe 3e par taux de réussite mais 6e par note de qualité, avec un taux de Réussite Chanceuse de 18,7 % (le plus élevé parmi les modèles de premier plan).
  • Les taux de Réussite Chanceuse varient selon les modèles de 0,5 % (Opus 4.5) à 23,2 % (GPT-4.1).
• Spécificité de la taxonomie : Il existe une association significative entre le type de modèle et la catégorie de Réussite Chanceuse ($\chi^2(28) = 102,47, p < 0,0001$). Par exemple, Opus 4.6 produit de manière disproportionnée des réussites "Minimales et non vérifiées", tandis que GPT-4.1 domine les catégories "Force brute" et "Exploration excessive".
• Pouvoir discriminant : Le score composite sépare les trajectoires réussies et échouées avec une AUROC de 0,766 ($p=0,0017$). Aucun signal unique n'a atteint la significativité statistique seul, soulignant la nécessité de fusionner les signaux structurels et comportementaux.
• Implications sur les coûts : Les Réussites Chanceuses entraînent des coûts de calcul significativement plus élevés. Les trajectoires "Force brute" coûtent environ 25 fois plus en jetons que les trajectoires "Minimales", et l'"Exploration excessive" coûte environ 40 fois plus, malgré l'obtention d'étiquettes binaires identiques de réussite/échec.

5. Importance et affirmations

L'article affirme qu'AGENTLENS fournit une couche d'évaluation nécessaire au-delà des résultats binaires. Son importance réside dans trois domaines :

1. Curation des données : Il remet en question la pratique de filtrer les données d'entraînement uniquement par le taux de réussite, montrant que les trajectoires "réussies" varient considérablement en qualité. L'utilisation de trajectoires "Chanceuses" de faible qualité pour l'apprentissage supervisé peut renforcer des comportements fragiles.
2. Comparaison des modèles : Il offre un nouvel axe pour comparer les modèles. À mesure que les modèles convergent vers des taux de réussite élevés, la capacité à résoudre des tâches par le biais de processus cohérents et peu gaspilleurs devient un facteur différenciant. L'article démontre que le classement par note de qualité peut déplacer la position des modèles de jusqu'à cinq rangs.
3. Risque de déploiement : Il met en lumière le fait que les agents qui réussissent par essai-erreur peuvent être imprévisibles dans des environnements avec des tests coûteux ou des actions irréversibles. En exposant les "Réussites Chanceuses", AGENTLENS aide les praticiens à identifier les modèles qui reposent sur une exploration fragile plutôt que sur un raisonnement fondé sur des principes.

Les auteurs positionnent AGENTLENS non pas comme un remplacement des vérifications de correction fonctionnelle, mais comme un outil de diagnostic complémentaire pour améliorer l'évaluation, l'analyse et l'entraînement des agents d'ingénierie logicielle. Ils publient le jeu de données et les outils pour rendre l'analyse sensible au processus un composant standard du pipeline d'évaluation des agents SWE.