Résumé technique : Repenser l'évaluation de l'évolution des harnais pour les agents

Problématique

L'article traite des failles critiques dans les protocoles d'évaluation de l'évolution automatique des harnais pour les agents basés sur les grands modèles de langage (LLM). Un harnais définit les prompts, les outils, la mémoire, les routines de vérification et la logique de contrôle par lesquels un agent interagit avec un environnement. Bien que des travaux antérieurs aient démontré que des méthodes automatiques peuvent faire évoluer ces harnais pour améliorer les performances des agents, les auteurs soutiennent que les pratiques d'évaluation actuelles sont fondamentalement erronées pour deux raisons :

1. Confusion avec le passage à l'échelle au moment de l'inférence (Test-Time Scaling) : Les méthodes existantes utilisent le feedback de tests unitaires pour rechercher de manière itérative de meilleures configurations de harnais, puis évaluent le résultat final sur le même benchmark. Cette configuration ne permet pas de distinguer si les gains de performance proviennent d'une amélioration de la conception du harnais ou simplement du budget de calcul supplémentaire (recherche) alloué pendant le processus d'évaluation. Les auteurs postulent que l'évolution du harnais doit être comparée à des bases de référence de passage à l'échelle au moment de l'inférence simples (ex: échantillonnage parallèle ou raffinement séquentiel) sous des budgets de feedback et d'inférence équivalents, afin de déterminer si les gains sont dus à la conception ou à la recherche seule.
2. Risque de surapprentissage (Overfitting) : Comme la recherche et l'évaluation finale se déroulent souvent sur le même ensemble de tâches de benchmarks publics, les améliorations rapportées peuvent refléter une adaptation à des motifs de tâches spécifiques plutôt qu'à la découverte de principes généraux de conception de harnais.

Méthodologie

Les auteurs proposent un cadre d'évaluation unifié qui compare quatre approches distinctes sous un budget de calcul ($K$) contrôlé et des conditions de feedback spécifiques. Les méthodes sont catégorisées selon ce qu'elles mettent à jour (trajectoires vs harnais) et la manière dont elles allouent les ressources :

1. Échantillonnage Parallèle (Parallel Sampling) : Une base de référence de passage à l'échelle au moment de l'inférence où $K$ trajectoires indépendantes sont générées en utilisant un harnais fixe. La réponse finale est sélectionnée via un auto-jugement (si aucun test unitaire n'est présent) ou une sélection par vérificateur (si des tests unitaires sont disponibles).
2. Raffinement Séquentiel (Sequential Refinement) : Une base de référence de passage à l'échelle au moment de l'inférence où $K$ trajectoires sont générées séquentiellement. Chaque tentative est conditionnée par la trajectoire précédente (et potentiellement son résultat) pour affiner la solution, en utilisant un harnais fixe.
3. Évolution du Harnais (Harness Evolution) : La méthode faisant l'objet de l'étude. Elle optimise le harnais lui-même à travers un lot de tâches. Un méta-agent analyse les trajectoires et les résultats accumulés pour proposer un nouveau harnais ($h_{k+1}$) pour le tour suivant, visant à améliorer l'espérance de succès sur la distribution de tâches.
4. Mise à l'échelle du Harnais (Harness Scaling) : Une nouvelle base de référence introduite par les auteurs pour isoler l'effet de l'adaptation spécifique à l'instance. Contrairement à l'évolution (qui cherche une conception réutilisable à travers les tâches), la mise à l'échelle du harnais adapte le harnais pour une seule instance d'évaluation en allouant un budget supplémentaire pour réviser le harnais sur la base de la trajectoire de cette tâche spécifique.

Configuration Expérimentale :

• Benchmark : Terminal-Bench 2.1 (une version corrigée de Terminal-Bench 2.0 comprenant 89 tâches de terminal).
• Modèles : Claude Opus 4.6, GPT-5.4, et GPT-5.4 mini.
• Paramètres :
  • Sans tests unitaires : Les agents s'appuient sur l'auto-jugement.
  • Avec tests unitaires : Les agents utilisent les tests unitaires pour le feedback et la sélection finale (rapportant à la fois le pass@1 et le pass@5).
  • Généralisation : L'évolution du harnais est entraînée sur un ensemble de tâches disjoint (45 entraînement, 10 validation) et évaluée sur des tâches de test non vues (34) pour mesurer la transférabilité.

Résultats Clés

1. Performance vs Passage à l'échelle au moment de l'inférence

Dans les deux configurations (avec et sans tests unitaires), l'évolution automatique du harnais ne surpasse pas systématiquement les bases de référence d'échantillonnage parallèle ou de raffinement séquentiel.

• Sans tests unitaires : L'évolution du harnais a sous-performé l'échantillonnage parallèle et l'échantillonnage direct en moyenne. Notamment, sur GPT-5.4, la révision itérative du harnais a en réalité dégradé la performance (de 75.3 à 69.7), suggérant que le feedback auto-généré est trop bruité pour guider de manière fiable la révision du harnais sans signaux de correction externes.
• Avec tests unitaires : Bien que toutes les méthodes se soient améliorées par rapport à la ligne de base, l'évolution du harnais n'a pas réussi à surpasser l'échantillonnage parallèle (pass@1) ou le raffinement séquentiel (pass@5). Les gains de l'évolution du harnais ont été largement réalisés uniquement lors de la sélection du meilleur candidat parmi plusieurs tentatives (pass@5), indiquant que le bénéfice provient de l'augmentation des tentatives d'échantillonnage plutôt que d'une conception de harnais fondamentalement supérieure.

2. Généralisation et Surapprentissage

Lorsqu'elle est évaluée sur des tâches disjointes de l'ensemble d'entraînement, l'évolution du harnais a montré une généralisation limitée.

• Le harnais évolué n'a apporté que des gains marginaux (moyenne de +0.6 point) par rapport au harnais initial sur l'ensemble de test.
• En revanche, la même méthode a montré des gains significatifs lorsqu'elle était évaluée sur les tâches d'entraînement. Cette divergence suggère que les algorithmes d'évolution actuels ont tendance à surapprendre les instances spécifiques d'entraînement, encodant des raccourcis propres aux tâches plutôt que des principes de conception transférables.

3. Nature des Éditions

L'analyse des modifications du méta-agent a révélé que, bien que les éditions soient rationnelles (ex: ajout de règles comportementales, de traqueurs de budget ou de contrôles de syntaxe), elles constituent principalement des corrections mémorisées pour des modes d'échec spécifiques plutôt qu'une distillation de stratégies générales. Ces changements traitaient souvent l'efficacité (ex: réduction du polling) mais échouaient à résoudre les échements de raisonnement profond, qui restent des goulots d'étranglement du modèle sous-jacent plutôt que du harnais.

Principales Contributions

1. Critique des protocoles d'évaluation : L'article identifie que les évaluations actuelles de l'évolution du harnais confondent l'amélioration de la conception avec la recherche au moment de l'inférence, nécessitant une comparaison avec des bases de référence de passage à l'échelle au moment de l'inférence appariées.
2. Cadre de budget unifié : Les auteurs formalisent un cadre de comparaison qui contrôle explicitement les types de feedback et les budgets d'inférence à travers l'échantillonnage parallèle, le raffinement séquentiel, l'évolution du harnais et la mise à l'échelle du harnais.
3. Introduction de la Mise à l'échelle du Harnais : Le papier introduit la "mise à l'échelle du harnais" comme une base de référence pour distinguer l'évolution guidée par les données (conception réutilisable) de l'adaptation guidée par l'instance.
4. Preuve empirique de gains limités : À travers des expériences étendues sur Terminal-Bench 2.1, les auteurs démontrent que l'évolution automatique du harnais ne surpasse pas systématiquement les méthodes de recherche plus simples et échoue à se généraliser à des tâches inédites.

Signification et Revendications

L'article conclut que les preuves actuelles soutenant l'évolution automatique du harnais doivent être interprétées avec prudence. Les auteurs affirment que :

• Les gains actuels sont souvent illusoires : Les améliorations rapportées peuvent simplement refléter les bénéfices de l'allocation de plus de calcul à la recherche (passage à l'échelle au moment de l'inférence) plutôt que l'efficacité de l'algorithme d'évolution lui-même.
• La généralisation est faible : Les harnais évolués ne se transfèrent pas bien aux nouvelles tâches, ce qui suggère qu'ils surapprennent la distribution d'entraînement.
• Besoin de protocoles plus équitables : Les recherches futures nécessitent des protocoles d'évaluation qui séparent le feedback d'optimisation de la mesure finale et comparent rigoureusement les bases de référence de passage à l'échelle au moment de l'inférence.
• Dépendance aux tâches : La valeur de l'évolution du harnais peut dépendre de la tâche, nécessitant potentiellement des benchmarks où les tâches sont suffisamment difficiles pour laisser une marge de progression et où la performance dépend fortement de la conception du harnais (ex: outils/flux de travail spécialisés) plutôt que du simple raisonnement du modèle.

Les auteurs ne prétendent pas que l'évolution du harnais est inutile, mais plutôt que son efficacité est actuellement surestimée en raison de méthodologies d'évaluation erronées et que son utilité peut être limitée à des domaines de tâches spécifiques à haute sensibilité.