Résumé technique : Entraîner des agents linguistiques à apprendre de l'expérience

Énoncé du problème

Les méthodes actuelles basées sur la réflexion pour les agents de modèles de langage (LLM) se concentrent principalement sur l'auto-correction au sein d'une seule instance de tâche. Bien qu'efficaces pour affiner le comportement sur un problème spécifique grâce à des tentatives répétées, ces méthodes échouent à distiller l'expérience en leçons réutilisables améliorant les performances sur des tâches futures, inédites. Cette limitation est critique dans des scénarios réels où les tâches ne peuvent être répétées (par exemple, les parties d'échecs ou la cuisine) et où les enseignements tirés d'une instance de tâche devraient idéalement se généraliser à des tâches similaires, inédites. La question de recherche centrale abordée est de savoir si les LLM peuvent être entraînés à générer des auto-réflexions facilitant une auto-amélioration inter-tâches, et le cas échéant, comment y parvenir sans recourir à des exemples fournis par des humains.

Méthodologie

La tâche d'entraînement en contexte (ICT)

Les auteurs introduisent la tâche d'entraînement en contexte (ICT), un cadre conçu pour évaluer la capacité d'un LLM à apprendre de l'expérience pour une auto-amélioration inter-tâches. Ce cadre utilise une architecture à double LLM :

1. Acteur ($LLM_{act}$) : Un agent opérationnel qui interagit avec un environnement basé sur un prompt système. Crucialement, à chaque tour de la tâche ICT, l'acteur fait face à un lot de tâches nouveau et inédit et n'a qu'une seule tentative par tâche.
2. Réfléchisseur ($LLM_{refl}$) : Un méta-agent qui observe les trajectoires collectées par l'acteur et génère un prompt système amélioré ($sp_i$) destiné à renforcer les performances de l'acteur sur le prochain lot de tâches inédites.

L'objectif est que le réfléchisseur analyse les épisodes d'un ensemble d'entraînement ($E_{train}$) et génère un prompt système maximisant la récompense cumulative de l'acteur sur un ensemble de validation retenu ($E_{val}$) de types de tâches inédits.

Pipeline d'entraînement

Pour permettre au réfléchisseur d'acquérir cette capacité, les auteurs proposent un pipeline de fine-tuning basé sur l'apprentissage par renforcement (RL) :

• Création de jeu de données : La boucle ICT est exécutée plusieurs fois en utilisant un modèle de base pour générer un jeu de données de tuples $(sp_i, obs_i, \text{lot de tâches})$. Cela capture des prompts système divers et les méta-observations correspondantes (trajectoires d'interaction).
• Signal de récompense : La récompense d'entraînement est dérivée directement de l'expérience. Pour un prompt système candidat généré par le réfléchisseur, la récompense est calculée en rejouant le lot de tâches précédent à l'aide du modèle acteur sous le nouveau prompt. Cela encourage le réfléchisseur à identifier les problèmes de performance du lot précédent et à proposer des correctifs qui se généralisent, plutôt que de surajuster au lot immédiat.
• Optimisation : Le réfléchisseur est affiné en utilisant l'algorithme GRPO (Group Relative Policy Optimization). Pendant l'entraînement, le réfléchisseur échantillonne plusieurs prompts candidats, qui sont notés en rejouant des tâches avec un acteur figé. Ces scores pilotent l'estimation de l'avantage et les mises à jour des paramètres.

Infrastructure : MetaGym

Les auteurs introduisent MetaGym, une bibliothèque Python générique pour construire des méta-environnements à partir d'environnements existants de type Gym. Cet outil facilite la création de la configuration à double LLM requise pour l'ICT, gérant l'instanciation des tâches, l'exécution parallèle et l'interaction entre l'acteur et le réfléchisseur.

Contributions clés

1. Un pipeline d'entraînement pour l'auto-amélioration inter-tâches : Une méthode pour affiner les LLM afin qu'ils génèrent des réflexions améliorant les performances sur des instances de tâches inédites, sans dépendre d'étiquettes ou d'exemples fournis par des humains.
2. La tâche d'entraînement en contexte (ICT) : Un cadre d'évaluation novateur mesurant les capacités d'auto-amélioration en ligne où les tâches sont non répétables, forçant le modèle à apprendre des stratégies transférables plutôt qu'à mémoriser des solutions spécifiques.
3. MetaGym : Une bibliothèque open source permettant la construction de méta-environnements pour la recherche sur des agents linguistiques auto-améliorants.

Résultats expérimentaux

L'approche a été évaluée sur deux benchmarks : ALFWorld (tâches ménagères basées sur le texte) et MiniHack (tâches dans un monde en grille 2D). Dans les deux cas, les types de tâches ont été partitionnés en ensembles méta-entraînement et méta-test pour garantir que le réfléchisseur apprenne des stratégies généralisables plutôt que de mémoriser des instances de tâches spécifiques.

• Amélioration inter-tâches : Les réfléchisseurs entraînés ont constamment surpassé les baselines non entraînées (Qwen2.5-7B-Instruct) et les prompts initiaux sur presque tous les types de tâches retenus dans les deux benchmarks. Cela démontre que la capacité d'apprendre de l'expérience est elle-même une méta-compétence apprenable.
• Généralisation au-delà de l'entraînement : Dans certains cas, des réfléchisseurs entraînés sur MiniHack ont réussi à améliorer les performances sur des tâches ALFWorld (et vice versa), indiquant une transférabilité entre des environnements substantiellement différents.
• Tours méta et horizon : Les performances ont continué à s'améliorer au-delà du nombre de tours méta observés pendant l'entraînement (tour 4), suggérant que le modèle peut affiner récursivement ses propres prompts générés.
• Effets de la taille des lots : Des tailles de lots plus grandes ($k=5$) ont généralement produit de meilleurs résultats, particulièrement dans MiniHack, en fournissant une expérience plus diversifiée et en réduisant la sparsité des signaux de récompense. Cependant, dans ALFWorld, des lots plus petits ($k=3$) ont parfois suffi, suggérant des rendements décroissants avec des lots plus grands selon l'environnement.

Importance et affirmations

L'article affirme que l'apprentissage à partir de l'expérience est une capacité apprenable. En déplaçant le focus de l'auto-correction au sein d'une seule tâche vers l'auto-amélioration à travers une famille de tâches, les auteurs offrent une voie pour développer des agents à usage général capables de s'adapter à des environnements ouverts.

Le travail souligne que :

• Les mécanismes de réflexion peuvent être entraînés à extraire des leçons réutilisables, dépassant le paradigme actuel où les agents doivent « réapprendre » des leçons pour chaque nouvelle tâche.
• Cette capacité peut être acquise sans supervision humaine, en s'appuyant uniquement sur les données d'interaction propres à l'agent.
• Le cadre proposé (ICT) et l'outil (MetaGym) offrent une manière standardisée d'évaluer et de rechercher des agents auto-améliorants, potentiellement en déplaçant l'attention du champ vers la généralisation inter-tâches.

Les auteurs restent modestes concernant les limites, notant que le maintien de modèles acteur et réfléchisseur séparés est coûteux en calcul et que la dépendance actuelle à un ensemble retenu fixe pour l'évaluation peut ne pas refléter parfaitement les scénarios réels où de tels ensembles sont indisponibles. Ils suggèrent que des travaux futurs pourraient explorer l'apprentissage tout au long de la vie sans critères d'arrêt fixes.