Résumé Technique : Co-Harness : Co-évolution des Harnais et des Poids de Modèles pour les Agents LLM

1. Énoncé du Problème

Le post-entraînement des agents pour la recherche automatisée par IA implique traditionnellement l'optimisation des paramètres du modèle tout en traitant le système d'exécution — le « Harnais » (Harness) — comme un échafaudage fixe et statique. Le Harnais englobe les prompts, les outils, les compétences, le middleware, les politiques de mémoire et la logique de tentative de réessai (retry logic). Les pipelines actuels créent une déconnexion fondamentale : le modèle est mis à jour via le réglage fin supervisé (SFT) ou l'apprentissage par renforcement (RL) basé sur des trajectoires générées par un Harnais statique, pourtant le Harnais lui-même n'est jamais optimisé en fonction des échecs observés lors de l'entraînement.

Cette asymétrie crée un goulot d'étranglement où un échafaudage sous-optimal (par exemple, des prompts ambigus, des schémas d'outils incorrects, des hooks de réessai manquants ou un dépassement de mémoire) empêche la génération de trajectoires d'entraînement de haute qualité. Par conséquent, le modèle ne peut pas apprendre à surmonter ces limitations environnementales, et le Harnais fixe devient un plafond pour la performance de l'agent, particulièrement dans les contextes complexes de Raisonnement Intégré aux Outils (TIR), où une seule erreur de schéma peut interrompre toute une session multi-tours.

2. Méthodologie : Cadre Co-Harness

Les auteurs proposent Co-Harness, un cadre à double boucle qui optimise conjointement le harnais de l'agent ($\phi$) et les paramètres du modèle ($\theta$) par un processus alterné. L'hypothèse centrale est qu'un meilleur Harnais produit des trajectoires plus propres et plus informatives, ce qui entraîne un modèle plus fort ; ce modèle plus fort, à son tour, expose des goulots d'étranglement de niveau supérieur dans le Harnais qui étaient auparavant invisibles, permettant ainsi de nouvelles améliorations de l'échafaudage.

Le cadre opère via deux boucles alternées par round $t$ :

A. La Boucle Co-Harness (Optimisation du Harnais)

Dans cette phase, le modèle $\theta_t$ est maintenu fixe tandis que le Harnais $\phi_t$ est fait évoluer.

1. Collecte des Échecs : L'agent exécute des tâches sous $(\theta_t, \phi_t)$, collectant un ensemble de trajectoires échouées $F^-_t$.
2. Analyse par HarnessCritic : Un composant basé sur un LLM, le HarnessCritic ($C$), analyse ces échecs. Il attribue chaque échec à une cause racine structurée au sein de la configuration du Harnais (par exemple, ambiguïté du prompt, erreur de schéma d'outil, compétence manquante, décalage de middleware ou dépassement de mémoire).
3. Génération de Diff et Validation : Le HarnessCritic propose des correctifs locaux (différences) au Harnais. Ces correctifs sont validés en exécutant des tests de "rollout" pour s'assurer qu'ils améliorent le mode d'échec ciblé sans provoquer de régression dans les comportements maintenus.
4. Mise à jour du Registre : Les correctifs validés sont enregistrés dans un registre de versions du Harnais, mettant à jour la configuration active vers $\phi^*_t$.

B. La Boucle d'Alignement du Modèle (Optimisation du Modèle)

Dans cette phase, le Harnais évolué $\phi^*_t$ est maintenu fixe tandis que le modèle est mis à jour.

1. Collecte de Trajectoires de Haute Qualité : Le modèle actuel $\theta_t$ est exécuté sous le Harnais amélioré $\phi^*_t$ pour générer un nouvel ensemble de données $D_t$ de trajectoires de haute qualité.
2. Réglage Fin Supervisé (SFT) : Le modèle est affiné sur $D_t$ pour intérioriser les comportements rendus possibles par l'échafaudage amélioré, résultant en un modèle mis à jour $\theta_{t+1}$.
3. Itération : Le nouveau modèle $\theta_{t+1}$ et le Harnais évolué $\phi^*_t$ deviennent le point de départ du round suivant, où le modèle plus fort peut révéler de nouvelles limitations de complexité du Harnais.

Taxonomie d'Attribution des Échecs

Le HarnessCritic classifie les échecs en cinq dimensions actionnables du Harnais et un label d'abstention :

• Ambiguïté du Prompt ($P$) : Sous-spécification des instructions ou objectifs conflictuels.
• Erreur de Schéma d'Outil ($T$) : Appels d'outils invalides, mauvais schémas d'arguments ou décalages avec le backend.
• Compétence Manquante ($S$) : Absence de routines réutilisables ou de primitives de décomposition.
• Décalage de Middleware ($Mid$) : Protocoles de boucle, comportements de hooks ou logique de gestion de contexte défaillants.
• Dépassement de Mémoire ($M$) : Dépassement de l'état persistant, mémoire obsolète ou échecs de récupération (retrieval).
• Erreur de l'Agent : Cas où l'échec est intrinsèque au raisonnement du modèle plutôt qu'au Harnais.

3. Contributions Clés

1. Formulation d'Optimisation Conjointe : L'article formule le post-entraînement des agents comme un problème d'optimisation conjointe sur les poids du modèle et le Harnais d'exécution, dépassant le paradigme consistant à traiter les prompts et les outils comme une infrastructure fixe.
2. HarnessCritic : L'introduction d'une procédure pilotée par les échecs qui effectue une attribution structurée des erreurs à des composants spécifiques du Harnais et propose des diffs locaux validés pour la réparation.
3. Mécanisme de Gains Cumulatifs : La démonstration que l'alternance de l'évolution du Harnais et de l'alignement du Modèle crée une boucle de rétroaction positive, où l'amélioration de l'échafaudage conduit à de meilleures données d'entraînement, générant des modèles plus forts capables d'exploiter un échafaudage encore plus sophistiqué.

4. Résultats Expérimentaux

Le cadre a été évalué sur des tâches de Raisonnement Intégré aux Outils (TIR) en utilisant des benchmarks mathématiques (AIME 2024, AIME 2025, HMMT 2025) et deux échelles de modèles (Qwen3-8B et Qwen3-32B).

• Gains de Performance : Deux rounds de co-évolution Co-Harness ont entraîné une amélioration moyenne de la précision de +20,4 points de pourcentage (pp) sur les benchmarks et les échelles de modèles par rapport à la ligne de base (un Harnais évolué une seule fois sans SFT du modèle).
  • Le gain le plus important a été observé sur le benchmark le plus difficile (HMMT 2025) pour le modèle Qwen3-32B, avec une amélioration de +27,2 pp.
  • Le système a surpassé des configurations de Harnais statiques soigneusement conçées à la main avec une moyenne de +24,7 pp.
• Étude de Cas Autonome : Dans une exécution autonome de plus de 200 heures sur AIME 2024, le système :
  • A récupéré d'un crash initial du système (erreur vllm KV cache).
  • A amélioré l'efficacité de l'inférence par 8,7× (réduisant le temps de calcul réel de 3,78h à 1,11h) grâce à l'inférence par batch global.
  • A découvert une stratégie d'ensemble (vote majoritaire de graines diverses) qui a atteint la meilleure précision (63,3 %) dans le budget imparti, le tout sans intervention humaine.
• Robustesse : Le système a réussi à détecter et à annuler des régressions (par exemple, des prompts spécifiques au domaine qui entraient en conflit avec le raisonnement interne du modèle) en utilisant son registre versionné.

5. Signification et Revendications

L'article soutient que Co-Harness répond à une limitation critique du développement d'agents actuel : le découplage de l'entraînement du modèle et de l'environnement qui génère les données d'entraînement. En traitant le Harnais comme une variable apprenable plutôt que comme un échafaudage statique, Co-Harness permet une auto-amélioration cumulative.

Les auteurs affirment que cette approche réalise une « spirale de rétroaction positive » où :

1. Un meilleur Harnais produit une utilisation d'outils plus propre et moins de crashs évitables.
2. Ces trajectoires plus propres entraînent un modèle plus fort.
3. Le modèle plus fort peut exploiter des configurations de Harnais plus riches et plus complexes qui étaient auparavant inutilisables.

Cela contraste avec les travaux antérieurs qui optimisent soit le modèle pour un Harnais fixe (SFT/RL standard), soit le Harnais pour un modèle fixe (recherche au moment de l'inférence). Co-Harness est présenté comme le premier cadre de co-évolution des deux, suggérant que l'interdépendance entre l'échafaudage et les poids du modèle est un axe primaire pour améliorer les capacités des agents au-delà du post-entraînement à harnais fixe.

Limites notées par les auteurs : L'approche nécessite un LLM critique capable, un volume suffisant de trajectoires d'échec pour le démarrage à froid (cold-start), et un calcul significatif pour les multiples rounds de SFT. De plus, la précision de l'attribution peut se dégrader pour les modes d'échec nécessitant un raisonnement contrefactuel complexe, et la refonte structurelle du Harnais reste une responsabilité humaine.