Résumé Technique : HarnessForge

Problématique

Les agents basés sur les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des régimes de tâches hétérogènes (par exemple, utilisation d'outils multi-étapes, raisonnement intensif en recherche, interaction web) qui exigent des paradigmes d'exécution distincts. Les stratégies d'adaptation existantes souffrent généralement d'un « écart de compatibilité » car elles optimisent soit la structure d'exécution externe (le harness ou harnais), soit le comportement de raisonnement interne (la politique) de manière isolée.

• Les méthodes de type recherche optimisent les flux de travail externes, les procédures d'utilisation d'outils et la gestion de la mémoire, mais laissent souvent implicite la compatibilité avec l'exécuteur côté modèle.
• Les méthodes de type entraînement adaptent la politique du modèle via l'apprentissage supervisé ou l'apprentissage par renforcement, mais supposent généralement une boucle d'interaction fixe et spécifiée de l'extérieur.

Cette vision par composants est insuffisante pour une méta-adaptation au niveau du système. Un harnais plus expressif peut échouer si le raisonneur ne peut pas exécuter ses protocoles, tandis qu'une politique plus forte peut être contrainte par un harnais exposant des états inappropriés. L'article soutient qu'une adaptation efficace nécessite de traiter le système d'agent comme une paire couplée harnais–politique et d'optimiser leur évolution conjointe pour assurer une compatibilité exécutable.

Méthodologie : HarnessForge

HarnessForge est un cadre de méta-adaptation qui formule un système d'agent LLM $G$ comme une paire $(H, R_\delta)$, où $H$ est le harnais d'exécution éditable et $R_\delta$ est un raisonneur adapté (un modèle de base $R_{\theta_0}$ avec un adaptateur léger $\delta$). Le cadre opère à travers des cycles itératifs de co-évolution harnais–politique.

1. Formulation du Système

Le harnais $H$ est décomposé en trois composants de la couche d'exécution :

• Planification ($P$) : Décomposition des tâches, replanification et terminaison.
• Action ($A$) : Interfaces d'outils, assignation de rôles et règles d'orchestration.
• Mémoire ($M$) : Ce qui est écrit, récupéré, résumé et exposé aux décisions futures.

Le raisonneur $R_\delta$ s'exécute sous les contraintes de $H$. L'objectif est de faire évoluer conjointement $H$ et $\delta$ pour maximiser un indicateur de fitness $J$ basé sur la performance des tâches, le coût en tokens et la latence.

2. Flux de Travail de Co-Évolution

Chaque cycle d'évolution $r$ alterne entre deux processus mutuellement renforçants :

A. Ajustement du Harnais Guidé par les Défaillances

Au lieu d'une recherche aléatoire, HarnessForge utilise un méta-agent pour diagnostiquer et affiner la structure du harnais :

1. Attribution des Défaillances : Le système évalue les paires harnais–politique actuelles sur un lot de tâches. Un méta-agent analyse les traces d'exécution et les statistiques d'exécution pour attribuer les échecs spécifiquement aux composants de Planification, d'Action ou de Mémoire.
2. Amélioration Guidée par l'Archive : Une archive historique $Z$ des conceptions de harnais et de leurs vecteurs d'évaluation est maintenue. Le méta-agent récupère des exemplaires Pareto-optimaux pertinents par rapport aux défaillances actuelles et génère un rapport d'amélioration.
3. Affinement et Filtrage : Sur la base du rapport, le méta-agent génère des candidats de harnais révisés (en éditant uniquement $P, A, M$). Ces candidats subissent un processus de filtrage Pareto étagé et budgété (semi-sélection) pour conserver les survivants les plus prometteurs pour l'étape suivante.

B. Alignement de la Politique Conditionné par le Harnais

Une fois qu'un ensemble de harnais survivants est sélectionné, le cadre aligne la politique de raisonnement sur ceux-ci :

1. Initialisation du Parent : Pour chaque harnais survivant, la politique est initialisée à partir de sa lignée parente (en repliant l'adaptateur précédent).
2. Curation de Trajectoires : Le cadre réutilise les traces d'exécution réussies générées lors de l'étape de filtrage du harnais. Il ne nécessite pas de phase de collecte de données distincte.
3. Entraînement de l'Adaptateur : Un nouvel adaptateur LoRA spécifique au harnais est entraîné via un apprentissage supervisé (SFT) sur les trajectoires réussies curées. L'entrée inclut l'instruction de la tâche, l'interface active du harnais, les observations accumulées et l'état de la mémoire, garantissant que la politique apprend à exécuter spécifiquement sous le harnais évolué.

Principales Contributions

1. Reformulation de l'Adaptation : L'article déplace l'unité d'optimisation des composants isolés vers la paire harnais–politique, traitant explicitement l'écart de compatibilité entre les structures externes et le raisonnement interne.
2. Cadre HarnessForge : Un mécanisme de co-évolution méta-adaptatif qui coordonne l'ajustement du harnais guidé par les défaillances avec l'alignement de la politique conditionné par le harnais. Cela garantit que les améliorations structurelles du harnais sont assorties des adaptations correspondantes de la politique.
3. Validation Empirique : Évaluation approfondie sur cinq benchmarks (ToolHop, SearchQA, RestBench-TMDB, API-Bank) et deux modèles de base (Qwen3-4B, Qwen3-8B).

Résultats Expérimentaux

• Gains de Performance : HarnessForge surpasse systématiquement les bases de comparaison de type recherche (ex: AFlow, AgentSquare, MaAS) et de type entraînement (ex: SFT, GRPO, RLOO).
  • Il atteint une amélioration moyenne de 3,56 % par rapport à la meilleure base de comparaison sur tous les indicateurs.
  • Il atteint jusqu'à 12,0 % d'amélioration sur des benchmarks spécifiques (ex: TMDB avec Qwen3-4B).
• Études d'Ablation : Supprimer soit l'ajustement du harnais, soit l'alignement de la politique dégrade systématiquement la performance. L'écart s'élargit au fil des cycles d'évolution, confirmant que les gains proviennent de la co-évolution de la paire plutôt que d'une optimisation indépendante.
• Efficacité : HarnessForge démontre des compromis déroulement–performance favorables. Contrairement aux méthodes de RL de politique seule qui nécessitent de massifs budgets de déroulement pour explorer les comportements sous une interface fixe, HarnessForge réutilise les preuves de déroulement pour améliorer le harnais puis aligne la politique, obtenant des résultats solides avec nettement moins de déroulements (ex: 12K déroulements pour SFT contre 45,6K pour les bases de comparaison basées sur le RL au tour 3).
• Compatibilité : L'analyse des combinaisons croisées de harnais et de politiques évolués montre que les paires assorties sont nettement plus performantes que les paires non assorties, validant que le cadre induit des gains de compatibilité spécifiques à la paire plutôt que de simplement produire des composants globalement plus forts.

Signification et Revendications

L'article affirme que la compatibilité exécutable entre le harnais et la politique de raisonnement est le facteur critique pour une adaptation efficace du système d'agent. En traitant l'agent comme un système couplé et en faisant évoluer ensemble l'interface et l'exécuteur, HarnessForge permet aux agents de méta-s'adapter à divers régimes de tâches plus efficacement que les méthodes qui optimisent la structure ou la politique de manière isolée.

Les auteurs notent que bien que le cadre soit actuellement évalué sur des modèles de base à ressources contraintes, Qwen3-4B/8B, où le couplage est le plus saillant, l'ampleur de ces gains pour les modèles de pointe reste une direction ouverte. De plus, l'implémentation actuelle utilise des opérateurs d'édition structurés pour l'évolution du harnais afin d'assurer l'auditabilité et l'exécutabilité, bien que les travaux futurs puissent explorer des réécritures de code plus larges.