Résumé technique : Adapter l'interface, pas le modèle

Énoncé du problème

Les agents de modèles de langage (LLM) sont définis non seulement par leurs modèles de langage sous-jacents, mais aussi par le système d'exécution (runtime harness) qui médiatise la boucle d'interaction : l'observation de l'environnement, la sélection d'outils, l'exécution d'actions, l'interprétation des retours et la régulation des trajectoires multi-étapes. Alors que les méthodes d'adaptation existantes se concentrent sur la mise à jour des paramètres du modèle (par exemple, l'affinement supervisé, l'apprentissage par renforcement ou la distillation), de nombreuses défaillances dans les domaines déterministes régis par des règles proviennent de décalages au niveau de l'interface modèle-environnement plutôt que d'un manque de capacité de raisonnement latent.

Dans ces domaines, la structure critique — telle que les schémas d'outils, les espaces d'actions admissibles, les contrats d'API, les règles de retour d'information et les stratégies de récupération — réside en dehors du modèle. Par conséquent, l'adaptation standard des paramètres est souvent spécifique au modèle, spécifique à la tâche et coûteuse à réentraîner lorsque le modèle de base ou l'environnement change. De plus, les capacités statiques du modèle se traduisent souvent mal par une performance interactive ; par exemple, un modèle peut exceller dans les benchmarks de raisonnement mathématique mais échouer dans des tâches d'interaction incarnée déterministes en raison de décalages d'interface (par exemple, des observations mal organisées, des contrats d'outils mal compris ou des actions inexécutables).

Méthodologie : LIFE-HARNESS

Les auteurs proposent LIFE-HARNESS, un système d'exécution conscient du cycle de vie conçu pour améliorer les agents LLM figés sans modifier les poids du modèle ni les environnements d'évaluation. Au lieu de traiter le système d'exécution comme un artefact de code libre à rechercher ou à éditer continuellement, LIFE-HARNESS structure l'adaptation autour du cycle de vie de l'interaction de l'agent, en faisant évoluer des interventions d'interface réutilisables à partir des trajectoires d'entraînement.

Le système fonctionne à travers quatre couches distinctes, chacune ciblant des modes d'échec spécifiques identifiés par l'analyse des trajectoires :

1. Couche de contrat d'environnement (avant interaction) :

   • Fonction : Calibre les descriptions d'outils et les contraintes d'interface avant que l'agent n'interagisse avec l'environnement.
   • Mécanisme : Elle produit un contrat amélioré ($C'$) en ajoutant des mises à jour concises ($\Delta C$) dérivées des politiques de l'environnement, des comportements d'API et des échecs récurrents lors de l'entraînement. Cela clarifie les règles d'utilisation des outils, les contraintes de politique et les pièges courants, réduisant ainsi les décalages entre les priors génériques et les contrats spécifiques à l'environnement.

2. Couche de compétence procédurale (conditionnement de la tâche) :

   • Fonction : Fournit une guidance non paramétrique pour la prise de décision générale.
   • Mécanisme : Une bibliothèque de compétences est distillée à partir des trajectoires d'entraînement. Pour une description de tâche donnée, le système d'exécution récupère les compétences pertinentes (en utilisant un score BM25) et les insère dans l'invite système initiale pour guider le modèle dans la résolution de sous-tâches spécifiques.

3. Couche de réalisation d'action (avant exécution) :

   • Fonction : Valide et canonise les actions générées par le modèle avant qu'elles ne soient exécutées par l'environnement.
   • Mécanisme : Elle utilise des preuves déterministes (schémas d'outils, contraintes d'arguments) pour vérifier l'exécutabilité. Elle corrige les erreurs d'interface non ambiguës (par exemple, des problèmes de formatage) et bloque les actions qui échoueraient de manière déterministe, garantissant que l'intention du modèle est correctement mappée sur des appels d'outils valides.

4. Couche de régulation de trajectoire (après exécution) :

   • Fonction : Surveille la dynamique d'interaction après réception du retour d'information de l'environnement.
   • Mécanisme : Elle détecte les motifs dégénérés tels que la répétition, la stagnation, les nouvelles tentatives invalides ou l'épuisement du budget. Lors de la détection, elle déclenche des mécanismes de récupération (par exemple, des messages de récupération doux ou des directives correctives) pour empêcher l'agent de boucler ou d'épuiser les ressources sans progression.

Processus d'évolution :
LIFE-HARNESS est évolué hors ligne à l'aide d'un agent de codage (Codex). Le processus implique :

1. L'exécution d'un modèle figé sur des tâches d'entraînement pour collecter des traces d'interaction.
2. Le diagnostic des motifs d'échec récurrents et leur mapping vers la couche du cycle de vie appropriée.
3. La mise à jour itérative du code du système d'exécution pour corriger ces échecs tout en vérifiant les régressions (déclenchement excessif ou blocage d'actions valides).
4. La figation du système d'exécution évolué final pour l'évaluation sur des tâches retenues et de nouveaux modèles de base.

Contributions clés

1. Formulation de l'adaptation d'interface d'exécution : L'article formule un nouveau paradigme d'adaptation d'agent où l'interface d'exécution est l'objet de l'optimisation, plutôt que les paramètres du modèle. Cette approche est spécifique à l'environnement mais agnostique au modèle.
2. Cadre LIFE-HARNESS : L'introduction d'un système d'exécution à quatre couches, conscient du cycle de vie, qui convertit les échecs de trajectoire récurrents en interventions structurées et réutilisables pour les contrats d'environnement, les compétences procédurales, la réalisation d'actions et la régulation de trajectoire.
3. Généralisation transversale large : La démonstration que les systèmes d'exécution évolués à partir d'une seule trajectoire de modèle (Qwen3-4B-Instruct) peuvent améliorer considérablement les performances sur 17 autres modèles de base divers (y compris les familles Llama et xLAM) sans réentraînement.

Résultats expérimentaux

Les auteurs ont évalué LIFE-HARNESS sur sept environnements déterministes répartis sur trois suites de benchmarks : $\tau$-bench, $\tau^2$-bench et AgentBench. L'évaluation a porté sur 18 modèles de base.

• Gains de performance : LIFE-HARNESS a amélioré les performances dans 116 cas sur 126 de configurations modèle-environnement. L'amélioration relative moyenne était de 88,5 %.
• Transfert inter-modèle : Les systèmes d'exécution évolués uniquement à partir de trajectoires Qwen3-4B-Instruct se sont transférés efficacement vers d'autres modèles, y compris des modèles adaptés par instruction, de raisonnement et spécialisés en agent, confirmant que le système d'exécution capture une structure réutilisable côté environnement plutôt qu'un comportement spécifique au modèle.
• Comparaison avec les lignes de base :
  • Optimisation des invites : LIFE-HARNESS a obtenu des gains substantiellement plus élevés (amélioration relative moyenne de +120 %) par rapport aux méthodes d'évolution basées uniquement sur les invites, soulignant l'importance d'adapter l'interface d'exécution, et pas seulement l'invite d'entrée.
  • Entraînement de modèle : L'étude a révélé qu'un entraînement spécialisé à l'utilisation d'outils (par exemple, les modèles xLAM) ne se généralise pas nécessairement aux environnements hors domaine (OOD) et peut parfois sous-performer par rapport aux modèles de base. À l'inverse, l'application de LIFE-HARNESS à un modèle de base (Qwen2.5-32B) lui a permis de surpasser un modèle spécialisé entraîné (xLAM-2-32B) dans le domaine, et a encore amélioré le modèle spécialisé lui-même.
• Études d'ablation : La suppression de l'une des quatre couches a entraîné une baisse significative des performances sur des jeux de données spécifiques, confirmant que toutes les couches sont indispensables et traitent des modes d'échec distincts.

Signification et affirmations

L'article positionne l'adaptation d'interface d'exécution comme une alternative complémentaire à l'entraînement d'agent centré sur le modèle. Les auteurs affirment que de nombreuses défaillances pratiques d'agents dans les domaines déterministes n'ont pas besoin d'être absorbées dans les paramètres du modèle. Au lieu de cela, en faisant évoluer une interface d'exécution réutilisable entre un modèle figé et un environnement régi par des règles, les agents peuvent réaliser des gains larges et substantiels.

Le travail suggère que pour les tâches déterministes régies par des règles (courantes dans les assistants d'ingénierie logicielle, le contrôle du système d'exploitation, la navigation web et la manipulation de bases de données), l'« échafaudage » autour du modèle est une cible à fort levier pour l'adaptation. LIFE-HARNESS offre une voie pour améliorer les performances des agents qui est agnostique au modèle, rentable (aucun réentraînement requis) et interprétable (les interventions sont localisées à des étapes spécifiques du cycle de vie).

Les auteurs reconnaissent des limites, notant que l'approche repose sur des environnements stables et déterministes où les échecs peuvent être reproduits et convertis en interventions. Étendre cela à des tâches entièrement ouvertes et hors domaine avec des objectifs et des outils dynamiques reste un défi pour la recherche future.