Résumé Technique : HarnessX – Une Fonderie d'Harnais d'Agents Composables, Adaptatifs et Évolutifs

1. Énoncé du Problème

La performance des agents IA modernes dépend de manière critique non seulement du modèle de fondation sous-jacent, mais aussi du harnais d'exécution (runtime harness) — le système de prompts, d'outils, de mémoire et de flux de contrôle qui médie la façon dont un modèle observe, raisonne et agit. Le développement actuel des harnais souffre de trois déficiences primaires :

1. Statique et Artisanal : Les harnais sont des artefacts sur mesure, conçus à la main. Changer une version de modèle, un ensemble d'outils ou un domaine de tâche nécessite une réimplémentation manuelle, sans mécanisme d'amélioration piloté par l'expérience.
2. Architecturalement Enchevêtré : Les composants tels que les modèles de prompts, les wrappers d'outils et les politiques de mémoire sont souvent confondus dans les mêmes chemins de code. Cela rend les modifications fragiles ; modifier un composant peut silencieusement en briser d'autres, et la réutilisation à travers différents domaines se réduit à du copier-coller plutôt qu'à de la composition.
3. Déconnecté de l'Entraînement du Modèle : Les données de trajectoire collectées lors de l'optimisation du harnais sont typiquement jetées. Inversement, les améliorations du modèle ne se traduisent pas par des améliorations du harnais, créant un « plafond d'échafaudage » où le harnais ne peut exploiter un modèle plus fort, et un « plafond de signal d'entraînement » où le modèle ne peut pas apprendre d'un meilleur harnais.

2. Méthodologie

HarnessX répond à ces lacunes en traitant le harnais comme un objet premier, composable, capable de s'adapter et d'évoluer aux côtés du modèle. Le framework repose sur trois piliers fondamentaux :

A. Composition du Harnais (La Fonderie)

HarnessX formalise le harnais comme une entité typée et substituable composée de processeurs attachés à des crochets (hooks) de cycle de vie.

• Abstraction de Processeur : Un processeur est un composant atomique typé qui consomme un événement (ex: StepStartEvent) et génère zéro ou plusieurs événements. Il supporte cinq résultats : passage direct (pass-through), transformation, division (split), interception ou interruption.
• Taxonomie à Neuf Dimensions : L'espace comportemental est organisé en neuf dimensions orthogonales :
  1. Sélection du Modèle
  2. Assemblage du Contexte
  3. Gestion de la Mémoire
  4. Écosystème d'Outils
  5. Environnement d'Exécution
  6. Évaluation et Récompense
  7. Contrôle et Sécurité
  8. Observabilité
  9. Pont d'Entraînement
• Algèbre de Substitution : Les harnais sont composés en insérant des processeurs dans des points de crochet typés. Cela garantit la sécurité des types et permet de définir explicitement la portée des changements comportementaux, permettant ainsi l'isolation des variantes.

B. Adaptation du Harnais (AEGIS)

AEGIS (Adaptive Evolutionary Governance for Intelligent Systems) est un moteur d'évolution piloté par les traces et multi-agents, qui traite l'adaptation du harnais comme un problème d'apprentissage sur des artefacts symboliques. Il cartographie l'évolution du harnais vers l'Apprentissage par Renforcement (RL) via un Miroir Opérationnel :

• État : Configuration du harnais + magasin de traces.
• Action : Éditions au niveau du code typées (prompts, outils, processeurs).
• Feedback : Traces d'exécution et scores de vérificateurs.

AEGIS emploie un pipeline à quatre étapes piloté par un méta-agent LLM :

1. Digesteur (Digester) : Compresse les traces d'exécution brutes (jusqu'à ~10M de tokens) en résumés structurés par tâche (catégories d'échec, composants impliqués).
2. Planificateur (Planner) : Construit un « paysage d'adaptation » pour identifier les tâches en échec et les types d'éditions non testés, luttant ainsi contre la sous-exploration.
3. Évolueur (Evolver) : Génère des candidats d'éditions de harnais avec des manifestes de changement explicites et des tests de fumée (smoke tests).
4. Critique et Porte Déterministe : Le Critique évalue les candidats pour détecter les effets non locaux et le détournement de récompense (reward hacking). Une porte déterministe impose la contrainte de balançoire (seesaw constraint) : un candidat n'est déployé que s'il ne régresse aucune tâche précédemment résolue (prévenant l'oubli catastrophique).

Pour gérer des ensembles de tâches hétérogènes où un seul harnais ne peut optimiser toutes les tâches simultanément, HarnessX introduit l'Isolation de Variante (Ensemble Routing), maintenant plusieurs variantes de harnais et routant les tâches vers la variante ayant le taux de succès estimé le plus élevé.

C. Co-Évolution Harnais-Modèle

HarnessX boucle la boucle en entrelaçant l'évolution du harnais avec l'entraînement du modèle.

• Tampon de Rejeu Partagé (Shared Replay Buffer) : Les traces d'exécution servent un double usage : preuves de diagnostic pour AEGIS et données d'entraînement pour le modèle.
• GRPO Cross-Harness : Le modèle est entraîné en utilisant l'Optimisation de Politique Relative de Groupe (GRPO). Les trajectoires sont groupées par identité de tâche à travers différentes versions de harnais et différents checkpoints de modèle. Cela permet au modèle d'internaliser les stratégies qui réussissent à travers divers échafaudages, brisant le plafond où un modèle fixe ne peut exploiter un meilleur harnais ou un harnais fixe ne peut solliciter de nouvelles capacités du modèle.
• Efficacité Off-Policy : Le système réutilise les mêmes traces de déroulement (rollout traces) pour l'évolution du harnais et l'entraînement du modèle, n'induisant aucun coût d'inférence supplémentaire pour la mise à jour du modèle.

3. Contributions Clés

1. Composition du Harnais : Une formalisation du harnais comme un objet premier et typé composé de processeurs. Une taxonomie à neuf dimensions et une algèbre de substitution permettent une configuration par tâche et une isolation de variante sécurisées.
2. Adaptation du Harnais (AEGIS) : Un moteur d'évolution piloté par les traces qui cartographie les pathologies du RL (détournement de récompense, oubli catastrophique, sous-exploration) vers des risques de conception concrets, adressés par un pipeline à quatre étapes avec un contrôle déterministe.
3. Co-Évolution Harnais-Modèle : Une boucle unifiée qui entrelace l'évolution du harnais avec l'entraînement du modèle par RL sur un tampon partagé, permettant à l'agent de s'améliorer simultanément sur les axes de l'échafaudage (harnais) et de la cognition (modèle).
4. Validation Empirique : Évaluation complète sur cinq benchmarks et trois familles de modèles démontrant des gains de performance significatifs.

4. Résultats Expérimentaux

Les auteurs ont évalué HarnessX à travers cinq benchmarks (ALFWorld, GAIA, WebShop, $\tau$ 3-Bench, SWE-bench Verified) en utilisant trois familles d'agents-tâches (Claude Sonnet 4.6, GPT-5.4, Qwen3.5-9B) sur un maximum de 15 cycles d'évolution.

• Performance Globale : HarnessX a produit un gain absolaire moyen de +14,5 % sur 15 configurations modèle-benchmark, avec des gains individuels allant de 0,0 % à +44,0 %.
• Scaling Inversé : Les gains sont les plus importants là où les bases étaient les plus faibles. Par exemple, sur ALFWorld, l'agent le plus faible (Qwen3.5-9B) s'est amélioré de +44,0 % (53,0 % $\rightarrow$ 97,0 %), tandis que les modèles plus forts ont connu des gains relatifs plus faibles. Cela suggère que les harnais évolués traitent des lacunes comportementales que les modèles plus faibles ne peuvent s'auto-corriger.
• Isolation de Variante : Sur des ensembles de tâches hétérogènes comme GAIA, une stratégie de harnais unique (Global) a stagné (gain de 0,0 % pour GPT-5.4) en raison d'éditions conflictuelles. L'isolation de variante a résolu cela, atteignant un gain de +13,6 % (87,4 % final, sans dégradation).
• Co-Évolution : L'entrelacement de l'entraînement du modèle avec l'évolution du harnais a apporté un gain supplémentaire de +4,7 % par rapport à l'évolution du seul harnais sur GAIA et WebShop, brisant le « plafond d'échafaudage ».
• Analyse d'Échec : Le système a détecté et atténué avec succès les pathologies prédites :
  • Détournement de Récompense (Reward Hacking) : Détecté via l'analyse de traces (ex: exploitation de format vs récupération réelle) et atténué par l'ajout de gardes.
  • Oubli Catastrophique : Détecté via l'analyse de concentration du Critique et atténué par des éditions structurelles.
  • Sous-Exploration : Diagnostiquée par la décroissance de la « précision de prédiction de déploiement » et corrigée en passant des éditions de prompts à des changements structurels d'outils/processeurs.

5. Signification et Revendications

L'article soutient que le progrès des agents ne doit pas reposer uniquement sur le scaling des modèles. Au lieu de cela, composer et faire évoluer les interfaces d'exécution à partir du feedback d'exécution est un levier actionnable et complémentaire pour améliorer la performance des agents.

• Revendications Modestes : Les auteurs précisent explicitement que la généralisation à des tâches inédites n'a pas été évaluée (tous les gains sont mesurés sur l'ensemble d'évolution). Ils reconnaissent que le « Miroir Opérationnel » est une heuristique de conception plutôt qu'une garantie formelle de convergence.
• Insight Central : Le travail démontre que l'« échafaudage » (harnais) et le « cœur » (modèle) sont complémentaires. Un appareil plus tranchant (harnais) ne peut compenser un cœur faible, tout comme un cœur plus fort ne peut compenser un appareil qui ne sait pas l'appeler. La co-évolution cible ce goulot d'étranglement.
• Changement d'Ingénierie : HarnessX propose un passage de harnais statiques et artisanaux à un modèle de fonderie où les harnais sont typés, substituables et continuellement optimisés via une boucle de rétroaction, traitant le harnais comme un composant apprenable aux côtés des poids du modèle.