🤖 machine learning

TTHE: Test-Time Harness Evolution

Ce document introduit le Test-Time Harness Evolution (TTHE), un cadre non supervisé qui optimise dynamiquement le programme de contrôle exécutable d'un agent LLM pendant l'évaluation en faisant évoluer une population de harnais candidats sur la base des traces d'exécution, permettant ainsi une adaptation persistante aux distributions de temps de test sans mettre à jour les poids du modèle ni nécessiter de labels de vérité terrain.

Auteurs originaux : Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot assistant super intelligent (un agent LLM) capable d'écrire du code, de résoudre des problèmes mathématiques ou de réserver vos vols. Habituellement, lorsque nous construisons ces robots, nous passons des semaines à les entraîner, puis nous « gelons » leurs cerveaux. Une fois qu'ils sont gelés, nous ne pouvons plus modifier leur câblage interne. S'ils commettent une erreur, nous ne pouvons pas simplement leur dire : « Hé, essaie de réfléchir différemment la prochaine fois. »

Mais et si les instructions du robot — le petit programme qui lui dit comment utiliser son cerveau — pouvaient changer à la volée ? C'est l'idée fondamentale derrière une nouvelle méthode appelée Test-Time Harness Evolution (TTHE).

L'analogie du « Cerveau Gelé, Costume Flexible »

Considérez le cerveau du robot comme une statue de glace. Vous ne pouvez ni le faire fondre, ni le remodeler. Mais le robot porte un costume technologique (le harness ou l'armature). Ce costume possède des poches pour les outils, une liste de contrôle pour les étapes et un moyen de vérifier si le robot a fait une erreur.

La plupart des robots portent un costume statique. Une fois que le robot sort de l'usine, le costume est cousu de façon permanente. Si le robot tente d'ouvrir une porte et échoue, le costume ne sait pas comment corriger le problème pour la porte suivante. Il se contente de répéter la même méthode défaillante.

Le TTHE est comme un costume capable de réécrire ses propres instructions de couture pendant que le robot travaille.

Voici comment cela fonctionne sur le terrain :

Le Robot Essaie : Le robot tente une tâche (comme écrire une requête SQL ou corriger un bug). Il laisse derrière lui une « trace de miettes » (une exécution trace) montrant exactement ce qu'il a fait, quels outils il a utilisés et où il a trébuché.
Le Costume Lit les Miettes : Une partie spéciale du costume (le Proposer ou le Proposeur) examine ces miettes. Il n'a pas besoin d'un enseignant ou d'un corrigé type. Il se demande simplement : « Hmm, le robot a essayé d'ouvrir la porte, mais la poignée était rouillée. Peut-être que la prochaine fois, nous devrions huiler la poignée d'abord ? »
Le Costume Se Réécrit Lui-même : Le Proposeur modifie le code du costume. Il peut ajouter une nouvelle étape pour vérifier la rouille, ou une nouvelle règle pour revérifier la poignée.
Le Costume Choisit la Meilleure Version : Une autre partie du costume (le Judge ou le Juge) examine toutes les nouvelles versions du costume et choisit celle qui semble le mieux fonctionner en fonction de la propre performance du robot.
Le Robot Continue : Le robot continue son travail avec ce nouveau costume amélioré pour la tâche suivante.

Ce que cette méthode NE FAIT PAS

Il est important de savoir ce que cette méthode rejette :

Pas de Chirurgie Cérébrale : L'article précise explicitement qu'ils ne modifient pas le cerveau gelé du robot (les poids du modèle). Ils ne réentraînent pas l'IA. Ils ne changent que le costume (l'armature).
Pas de Corrigés Magiques : Ils n'utilisent pas de « gold labels » (les bonnes réponses) pendant que le robot apprend. Le robot doit comprendre par lui-même ce qui fonctionne en observant ses propres erreurs et succès.
Pas de Pré-planification : Ils ne cherchent pas le costume parfait avant que le robot ne commence à travailler. Le costume évolue pendant le travail.

Les Résultats : À quel point cela a-t-il fonctionné ?

Les chercheurs ont testé cela sur des défis très difficiles, comme l'écriture de requêtes de bases de données, la programmation compétitive et la correction de bugs logiciels. Ils ont comparé les robots au « costume gelé » aux robots au « costume évolutif ».

Voici ce qu'ils ont trouvé (en utilisant les chiffres exacts de leurs tests) :

Text-to-SQL (BIRD) : Le robot de base a réussi 12,0 % des tâches. Avec le TTHE, il est passé à 50,0 %. C'est une amélioration énorme !
Programmation Compétitive (LiveCodeBench) : Il est passé de 30,0 % à 38,3 %.
Génie Logiciel (SWE-bench) : Il est passé de 20,0 % à 35,0 %.
Science des Données (DS-1000) : Il est passé de 38,0 % à 44,0 %.

Ils l'ont même testé sur une tâche d'utilisation d'outils appelée claw-eval, où le score est un peu différent (une note de 0 à 1). Le score est passé de 48,9 % à 69,8 %.

Le Bémol : Ce n'est pas Parfait

L'article est très honnête sur les limites de cette méthode. Le « Juge » qui choisit le meilleur costume n'est pas parfait. Parfois, le Juge choisit un costume qui semble bon mais qui échoue lors de tests cachés.

Le Regret de Sélection (Selection Regret) : Dans un test, si le Juge avait choisi le meilleur costume parmi la pile de candidats disponibles, il aurait pu atteindre 64,0 % de précision. Mais parce que le Juge a fait une erreur et a choisi un costume légèrement moins bon, ils n'ont obtenu que 50,0 %.
Le Fossé de Couverture (Coverage Gap) : Même si le Juge avait été parfait, il y avait des tâches (environ 15 sur 50 dans un test) qu'aucun des costumes ne pouvait résoudre. Le robot n'avait tout simplement pas les bons outils ou les bonnes idées pour le moment.

L'Essentiel à Retenir

Les auteurs suggèrent que le Test-Time Harness Evolution est un moyen puissant de rendre les agents d'IA plus intelligents sans toucher à leurs cerveaux. Cela transforme les journaux de travail du robot en un enseignant.

Cependant, ils préviennent que ce n'est pas encore un « problème résolu ». La méthode repose lourdement sur la capacité du « Juge » à faire la distinction entre un coup de chance et une véritable solution. Si le Juge est confus par un test complexe, le robot pourrait apprendre la mauvaise leçon. Mais pour l'instant, cela montre que donner à une IA un costume capable de se réparer lui-même pendant qu'elle travaille est une direction très prometteuse.

Résumé Technique : Évolution du Harnais au Moment du Test (TTHE - Test-Time Harness Evolution)

Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) modernes sont de plus en plus construits comme des systèmes exécutables dont le comportement est régi non seulement par le modèle gelé sous-jacent, mais aussi par le « harnais » environnant — le programme de contrôle qui gère la construction du contexte, l'invocation d'outils, la vérification intermédiaire et la récupération après échec. Les pratiques de déploiement actuelles consistent généralement à optimiser ce harnais sur des données de développement ou d'entraînement étiquetées avant de le figer pour l'évaluation. Cette approche statique limite l'adaptabilité lorsque les distributions de test, les modes de défaillance ou les interactions avec les outils diffèrent de ceux observés lors du développement.

Les mécanismes d'adaptation existants, tels que l'ajustement fin (fine-tuning) ou l'entraînement au moment du test (test-time training), modifient les poids du modèle, tandis que les méthodes d'auto-débogage ou de réflexion révisent souvent des réponses uniques ou stockent des expériences textuelles. Les recherches de flux de travail automatisées se déroulent généralement avant le déploiement. Une question cruciale demeure : Un agent LLM peut-il s'adapter pendant l'évaluation uniquement à partir de ses propres traces d'exécution non étiquetées en modifiant son harnais exécutable environnant, sans mettre à jour les poids du modèle, sans nécessiter de labels d'or (gold labels), ni entraîner un modèle d'adaptation distinct ?

Méthodologie : Évolution du Harnais au Moment du Test (TTHE)

Le TTHE répond à cela en traitant le harnais exécutable comme l'état de l'adaptation au moment du test. Au lieu de chercher un flux de travail fixe sur des données étiquetées, le TTHE déplace l'optimisation du harnais dans le processus d'évaluation lui-même, en opérant sur des lots (batches) de test non étiquetés.

Mécanisme Central

Le TTHE maintient une population de harnais candidats et les affine via une boucle agentique composée de trois rôles instanciés autour du même LLM gelé :

Solveur (Solver) : L'agent exécutant la tâche au sein du harnais actuel.
Proposeurs (Proposers) : Des agents de codage agentiques qui raisonnent sur les traces d'exécution pour réécrire le code du harnais.
Juge (Judge) : Un agent de sélection qui valide un harnais amélioré basé sur des signaux dérivés de l'exécution.

La Boucle d'Évolution

Pour chaque lot d'entrées $X_t$ non étiqueté :

Observation : Le harnais engagé actuel $H_t$ est exécuté sur $X_t$ , générant des traces d'exécution détaillées (prompts, appels d'outils, stdout/stderr, erreurs, états d'exécution) et des signaux proxys légers.
Évolution de la Population : Le TTHE fait évoluer $G$ branches parallèles sur $R$ rounds. Dans chaque round, $G$ proposeurs éditent leurs harnais parents respectifs pour créer des harnais enfants. Les proposeurs lisent les traces des autres branches pour le contexte, mais éditent leur propre lignée. Cela garantit à la fois la lignée (persistance des stratégies utiles) et la diversité (exploration de différentes directions d'édition, ex: réparation conservatrice, exploration, adversaire).
Sélection : Un juge inspecte l'ensemble final des harnais candidats, leurs traces et les signaux proxys pour engager un harnais unique $H_{t+1}$ pour le lot suivant.
Mesure : Les labels d'or ne sont consultés qu'après la sélection pour mesurer la précision ; ils n'entrent jamais dans la boucle d'adaptation.

Signaux d'Optimisation

Puisque les labels d'or sont indisponibles pendant l'adaptation, le TTHE repose sur des signaux proxys dérivés de l'exécution, qui sont des preuves imparfaites plutôt que des oracles de correction :

Santé de l'Exécution : Si la sortie s'exécute sans erreur et retourne un résultat bien formé.
Cohérence Aller-Retour (Round-Trip Consistency) : Si la sortie peut être inversée en une description qui correspond à l'entrée (détection de la dérive sémantique).
Taux de Réussite des Tests Publics : La fraction d'exemples publics ou de tests de dépôt réussis (preuve incomplète car des tests cachés peuvent encore échouer).

Le système évite de condenser ces éléments en un seul scalaire de récompense, préférant exposer les traces brutes et les signaux au proposeur et au juge agentiques afin de prévenir le détournement (gaming) et la répétition systématique d'erreurs.

Contributions Clés

Formulation de l'Évolution du Harnais au Moment du Test : L'article définit un nouveau paradigme d'adaptation où le harnais exécutable persistant est adapté pendant l'évaluation à partir de traces non étiquetées, avec les poids du modèle gelés et les labels d'or isolés pour la mesure post-sélection.
Boucle Générer-et-Juger basée sur la Population : Les auteurs réalisent cela comme un système où le solveur, les proposeurs et le juge sont des rôles différents autour du même LLM gelé, permettant l'adaptation entièrement par des changements dans le programme environnant.
Validation Empirique : La méthode est démontrée sur cinq domaines ancrés dans l'exécution (Text-to-SQL, programmation compétitive, ingénierie logicielle, codage de science des données et utilisation d'outils agentiques), produisant des politiques inspectables pour l'ancrage, la vérification et la réparation.
Analyse Diagnostique : L'article fournit des études d'ablation sur le budget de recherche, la taille des lots et les modèles de base (backbones), et effectue des audits de traces pour caractériser les modes de défaillance, identifiant spécifiquement le « regret de sélection » (bons candidats non engagés) et la couverture limitée des candidats.

Résultats

Le TTHE a été évalué sur des segments difficiles de cinq benchmarks : BIRD (Text-to-SQL), LiveCodeBench, SWE-bench Verified, DS-1000 et claw-eval (utilisation d'outils agentiques).

Gains de Performance : En utilisant un backbone DeepSeek-v4-flash, le TTHE a considérablement amélioré le harnais ReAct de base :
- BIRD : 12,0% $\to$ 50,0%
- LiveCodeBench : 30,0% $\to$ 38,3%
- SWE-bench Verified : 20,0% $\to$ 35,0%
- DS-1000 : 38,0% $\to$ 44,0%
- claw-eval : 48,9% $\to$ 69,8% (score moyen gradué)
Indépendance du Modèle : Les gains ont été constants à travers différents backbones (MiMo V2.5, Kimi K2.5), indiquant que la boucle n'est pas liée à un modèle spécifique.
Politiques Émergentes : Les harnais évolués ont introduit des comportements inspectables absents de la ligne de base, tels que des flux de travail stricts de type « reproduire d'abord », des boucles d'exécution et d'auto-débogage pour le SQL, et des politiques de vérification et de réparation conditionnelles pour le codage.
Aperçus des Ablations :
- Budget de Recherche : La performance est non monotone avec le budget de recherche ; les lignées parallèles ( $G=3$ ) surpassent les lignées uniques ( $G=1$ ) car elles empêchent la perte de bons candidats précoces.
- Taille du Lot (Batch Size) : La performance culmine avec une taille de lot modérée ( $B=10$ ), équilibrant l'évidence par décision et le nombre d'étapes d'adaptation.
- Accumulation : Transporter le harnais engagé d'un lot à l'autre produit une précision plus élevée que de revenir à la ligne de base pour chaque lot.

Signification et Limites

L'article pose que le TTHE recadre l'adaptation au moment du test pour les agents LLM comme une évolution sur des programmes de contrôle exécutables. Il démontre que des améliorations persistantes et inspectables peuvent être obtenues sans mise à jour des poids ni labels d'or.

Cependant, les auteurs identifient des goulots d'étranglement techniques centraux :

Fiabilité des Proxys : La qualité des signaux dérivés de l'exécution est critique. Le système doit optimiser sous une preuve incomplète où une requête peut s'exécuter avec succès mais répondre à une mauvaise question.
Fiabilité du Juge : Une part importante des gains potentiels est perdue à cause du « regret de sélection », où le juge agentique engage un programme plausible mais incorrect ou échoue à sélectionner un meilleur candidat parmi le pool. Le juge est mesurablement mal calibré, préférant souvent des formes de sortie incompatibles avec le benchmark.
Limites de Couverture : Même avec un oracle sur tous les candidats générés, certaines tâches restent non résolues, indiquant des limites intrinsèques dans la couverture actuelle de l'espace de recherche.

Les auteurs concluent que bien que le TTHE offre un mécanisme pratique pour adapter les agents sans changer les poids des modèles, la robustesse d'une telle évolution dépend fortement de la fiabilité des signaux proxys et du mécanisme de sélection. Des travaux futurs sont nécessaires pour établir une généralisation par anticipation via un scoring préquential et pour traiter le goulot d'étranglement de la sélection.