Résumé Technique : Harness-R1

Énoncé du Problème

Les agents de Grands Modèles de Langage (LLM) déployés dans des environnements dynamiques accumulent des trajectoires d'interaction contenant à la fois des expériences réussies et des échecs systématiques (par exemple, usage incorrect d'outils, perte d'état, violations de protocoles). Alors que les approches actuelles d'amélioration des agents se concentrent principalement sur la mise à jour des poids du modèle via le fine-tuning ou l'apprentissage par renforcement, le « harness » de l'agent — le code d'exécution (runtime) qui construit le contexte, médie les outils, valide les actions et gère la récupération — reste généralement statique.

La modification de ce harness est critique car des poids de modèle identiques peuvent produire des capacités très différentes selon les configurations du harness. Cependant, la modification directe du harness est peu fiable. Les règles fixes (par exemple, Self-Refine) dégradent souvent les performances, et inciter des modèles frontières de grande taille à éditer le harness produit des gains instables car ces modèles optimisent la plausibilité textuelle plutôt que le succès effectif de la tâche. Le défi central consiste à développer une méthode capable d'apprendre à éditer un runtime exécutable existant en se basant sur les échecs observés de l'agent, en garantissant que les éditions sont validées par des améliorations de performance réelles plutôt que par un raisonnement théorique.

Méthodologie : Harness-R1

Harness-R1 introduit un paradigme d'entraînement qui traite l'édition du harness comme un problème d'apprentissage par renforcement (RL) en ligne pour un modèle dédié d'« ingénieur de harness », tout en maintenant l'agent cible gelé. Le système opère sur une boucle de type échec-édition-réexécution :

1. Formulation du Problème

• Cible Gelée : L'agent cible $A$ (modèle + runtime de base) reste fixe.
• Paquets d'Échecs (Failure Packets) : Un lot de tâches $B$ est exécuté, et un extracteur déterministe compile les épisodes échoués en « paquets d'échecs » ($s_B$) contenant les contraintes de la tâche, des extraits action-observation et les résultats.
• L'Ingénieur ($H_\theta$) : Un modèle dédié de 9B agit comme éditeur. Il lit un paquet d'échecs et génère une superposition exécutable (patch) $P$.
• Crochets Exécutables (Executable Hooks) : Le patch $P$ enveloppe le cycle de vie de l'agent à quatre points spécifiques sans modifier les poids du modèle :
  1. Initialisation de l'épisode : Configure le contexte et l'état.
  2. Pré-Décision : Augmente le contexte avec des directives/contraintes.
  3. Pré-Action : Valide, réécrit ou rejette les actions proposées.
  4. Post-Feedback : Inspecte les observations et déclenche la récupération.
• Signal de Récompense : La cible patchée réexécute le même lot de tâches. La récompense est la différence de performance ($\Delta_B$) entre les exécutions patchée et non patchée. Cela crée un objectif transductif, sur le même lot, où la récompense est non-différenciable et observable uniquement après exécution.

2. Pipeline d'Entraînement

Harness-R1 emploie un processus d'entraînement en deux étapes :

• SFT de Démarrage à Froid (Cold-Start Supervised Fine-Tuning) : Un modèle enseignant puissant propose des réponses d'édition à partir des paquets d'échecs. Celles-ci sont validées par rapport à la cible gelée ; seules les éditions exécutables et non-régressives sont conservées pour former un jeu de données destiné à initialiser la politique de l'ingénieur.
• Optimisation de la Politique de Groupe Relative par Résultat (Outcome-Grounded Group Relative Policy Optimization - GRPO) :
  • L'ingénieur échantillonne $K$ candidats de patches pour un paquet d'échecs.
  • Chaque candidat est validé et installé ; la cible gelée réexécute le lot de tâches.
  • Les récompenses sont normalisées au sein du groupe de $K$ candidats pour calculer les avantages (advantages).
  • Les paramètres de l'ingénieur sont mis à jour pour maximiser l'objectif substitut tronqué moyen par token, optimisant ainsi l'utilité réalisée des patches.

Contributions Clés

1. Formulation : L'article formule l'édition de harness conditionnée par l'échec et étendue à l'ensemble du cycle de vie comme un problème de RL en ligne pour un ingénieur dédié, distinct de la mise à jour des poids du modèle.
2. Framework Harness-R1 : Il propose un système combinant le SFT de démarrage à froid et le GRPO fondé sur les résultats. Contrairement aux travaux antérieurs utilisant des éditeurs pour la recherche de programmes ou la sélection de candidats, Harness-R1 met directement à jour la politique de l'éditeur en fonction des résultats d'exécution de ses patches sur une cible gelée.
3. Co-évolution : La méthode démontre qu'un ingénieur de harness et un agent cible peuvent co-évoluer. Un ingénieur entraîné sur une cible vanilla améliore celle-ci, et un ingénieur réentraîné peut davantage améliorer une cible ayant déjà subi un fine-tuning direct.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks interactifs : WebShop (navigation web), ALFWorld (tâches textuelles incarnées) et DBBench (requêtes de base de données).

• Gains de Performance (Cible Vanilla) : Pour un agent Qwen3.5-9B gelé, Harness-R1 a augmenté le taux de succès moyen de 44,3 % à 53,6 % (+9,3 points de pourcentage). Cela a surpassé les stratégies basées sur le prompting (par exemple, Self-Refine, qui a diminué les performances) et les modèles frontières utilisés comme éditeurs (par exemple, GLM-5.2 à 48,8 %).
• Gains de Performance (Cible Fine-Tunée) : Après un fine-tuning direct de l'agent cible (augmentant la ligne de base à 59,2 %), un ingénieur Harness-R1 spécifique à la cible a encore augmenté le succès à 64,2 % (+5,0 points), démontant que l'optimisation du harness reste efficace même après la mise à jour des poids du modèle.
• Généralisation :
  • Trans-Modèle : La politique d'édition apprise a été transférée à 20 modèles cibles inédits (allant de 1B à 70B de paramètres à travers les familles Llama, Gemma et Qwen), produisant des gains positifs sur chaque cible sans réentraînement par cible.
  • Trans-Tâche : En utilisant des preuves d'échec éparses (10 échecs), l'ingénieur a généré des patches qui ont amélioré les tâches hors-jeu de +8,9 points, surpassant de manière significative les grands modèles frontières qui affichent des résultats négatifs ou instables sur les données hors-jeu.
• Ablation : Le retrait de certains crochets du cycle de vie (par exemple, la médiation pré-action ou la récupération post-feedback) a réduit les performances, confirmant que les gains sont distribués sur l'ensemble du cycle de vie de l'agent et dépendent de l'environnement spécifique.

Signification et Revendications

L'article pose que la construction de harness est une capacité apprenable qui complète les mises à jour traditionnelles des poids. Sa principale signification réside dans le déplacement de la cible d'optimisation de la prise de décision interne de l'agent (poids) vers les mécanismes de runtime externes (harness).

• Fiabilité plutôt que Plausibilité : Les auteurs soutiennent que l'incitation de grands modèles à éditer du code est peu fiable car elle optimise le fait de « paraître correct ». Harness-R1 apprend des résultats réalisés, garantissant que les éditions sont réellement bénéfiques.
• Adaptabilité : Contrairement aux stratégies fixes (ex: Self-Refine) qui appliquent des règles uniformes, Harness-R1 génère des éditions conditionnées sur des modes d'échec spécifiques, s'adaptant aux faiblesses uniques de l'agent cible.
• Co-évolution : Les résultats suggèrent une voie vers des agents qui s'améliorent continuellement après déploiement, non seulement en réentraînant le modèle, mais en faisant évoluer l'environnement d'exécution qui l'entoure. L'article conclut que cette approche permet à l'ingénieur et à la cible de co-évoluer, offrant une voie robuste pour l'amélioration des agents post-déploiement.