Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

Titre : COS-PLAY : Co-évolution d'agents de décision LLM et de banques de compétences pour des tâches à long horizon

1. Problématique et Contexte

Les environnements interactifs à long horizon (comme les jeux vidéo complexes) constituent un banc d'essai crucial pour évaluer la capacité des agents à raisonner sur plusieurs étapes, enchaîner des compétences et prendre des décisions robustes face à des récompenses différées et une observabilité partielle.

Bien que les Grands Modèles de Langage (LLM) offrent une alternative prometteuse pour jouer à ces jeux, ils rencontrent des difficultés majeures :

• Manque de cohérence à long terme : Ils peinent à maintenir une stratégie sur de nombreuses étapes.
• Absence de mécanisme de réutilisation : Ils ne disposent pas de moyen structuré pour découvrir, retenir et réutiliser des compétences (skills) apprises lors d'épisodes précédents.
• Dépendance aux données humaines : La plupart des agents actuels reposent sur des données humaines curatées ou un entraînement prolongé avec feedback externe, plutôt que d'apprendre directement par interaction.

Le défi central est de passer de l'acquisition de compétences isolées à leur organisation, raffinement et récupération fiable pour des tâches futures. Les auteurs posent deux questions clés :

1. La banque de compétences et l'agent de décision doivent-ils être appris conjointement (co-évolution) plutôt que séparément ?
2. Quelles propriétés rendent une banque de compétences utile pour améliorer la prise de décision ?

2. Méthodologie : Le Framework COS-PLAY

Les auteurs proposent COS-PLAY, un cadre de co-évolution multi-agents qui couple la prise de décision d'un LLM avec un pipeline de découverte de compétences non supervisée. Le système fonctionne en boucle fermée avec deux composants principaux :

A. Agent de Décision (Decision Agent)

C'est un agent basé sur un LLM qui interagit avec l'environnement. Il maintient un état d'intention et une compétence active.

• Fonctionnement : À chaque étape, il récupère des compétences candidates dans la banque, sélectionne la plus pertinente, met à jour son intention stratégique, et exécute une action primitive conditionnée par cette compétence.
• Architecture : Il est divisé en trois modules entraînés via des adaptateurs LoRA distincts :
  1. Récupération et sélection de compétences ($\pi_{skill}$).
  2. Mise à jour de l'intention ($\pi_{int}$).
  3. Exécution de l'action ($\pi_{act}$).
• Apprentissage : Il est optimisé pour maximiser la récompense cumulative, en apprenant non seulement à agir, mais aussi à récupérer la bonne compétence au bon moment.

B. Agent de Banque de Compétences (Skill Bank Agent)

C'est un pipeline LLM qui transforme les trajectoires d'interaction brutes (non étiquetées) en compétences réutilisables structurées.

• Pipeline en 4 étapes :
  1. Proposition de frontières (Boundary Proposal) : Identification heuristique des points de transition potentiels dans une trajectoire (changement d'intention, pics de récompense, etc.).
  2. Inférence de segmentation : Sélection des segments qui expliquent le mieux la trajectoire comme une séquence de compétences.
  3. Apprentissage de contrats (Contract Learning) : Agrégation des effets d'état (prédicats ajoutés/supprimés) pour définir un "contrat" fiable pour chaque compétence (préconditions, plan, critères de succès/échec).
  4. Maintenance de la banque : Opérations de raffinement, fusion, division, matérialisation de nouvelles compétences et mise à la retraite des compétences obsolètes.
• Format de compétence : Chaque compétence est stockée avec un résumé, des préconditions, un plan, des critères de succès/échec et un contrat d'effets.

C. Boucle de Co-évolution et Optimisation

• Mécanisme : L'agent de décision génère des trajectoires qui alimentent l'agent de banque de compétences. En retour, la banque mise à jour fournit de meilleures compétences pour guider les décisions futures.
• Algorithme : Les deux agents sont optimisés via GRPO (Group Relative Policy Optimization). Des adaptateurs LoRA séparés sont utilisés pour chaque fonction (récupération, action, segmentation, contrat, curateur) afin d'éviter les interférences d'optimisation.
• Base : Le système est initialisé avec un modèle Qwen3-8B, affiné par SFT (Supervised Fine-Tuning) sur des trajectoires générées par un modèle enseignant (GPT-5.4).

3. Contributions Clés

1. Cadre de co-évolution fermé : Première approche couplant la prise de décision basée sur LLM et un pipeline de découverte de compétences non supervisée dans une boucle d'amélioration continue.
2. Découverte de compétences sans étiquettes : Capacité à extraire, raffiner et stocker des compétences structurées directement à partir des trajectoires d'interaction, sans supervision humaine explicite.
3. Évaluation complète : Analyse sur six environnements de jeux (puzzles, plateforme, jeux de société sociaux) démontrant l'efficacité de l'approche.

4. Résultats Expérimentaux

Les expériences ont été menées sur six environnements : 2048, Candy Crush, Tetris, Super Mario Bros (jeux solo) et Avalon, Diplomacy (jeux sociaux multi-joueurs).

• Performance sur les jeux solo :
  • COS-PLAY (basé sur un modèle 8B) réalise une amélioration moyenne de 25,1 % par rapport à quatre modèles LLM de pointe (GPT-5.4, Gemini-3.1-Pro, Claude-4.6, GPT-OSS-120B).
  • Il atteint des performances élevées avec seulement 25 itérations d'adaptation (few-shot), démontrant une efficacité des données supérieure aux agents RL traditionnels.
• Performance sur les jeux sociaux (Avalon, Diplomacy) :
  • COS-PLAY est compétitif avec les modèles SOTA. Dans Avalon, il est à seulement 1 % de GEMINI-3.1-PRO. Dans Diplomacy, il surpasse GEMINI-3.1-PRO de 8,8 %.
  • Cela démontre que le suivi d'état structuré et la réutilisation de compétences fournissent un biais inductif efficace pour le raisonnement social à long terme, même avec un modèle plus petit.
• Analyse d'ablation :
  • Les variantes sans co-évolution (SFT ou GRPO sans banque, ou avec une banque figée) performent nettement moins bien.
  • Cela confirme que l'avantage principal provient de la co-évolution qui maintient l'alignement entre la politique de décision et la banque de compétences.
• Réutilisabilité : L'analyse montre que le système apprend des abstractions de compétences réutilisables (contrats validés) plutôt que de mémoriser des trajectoires isolées.

5. Signification et Impact

• Efficacité des données : COS-PLAY démontre qu'un modèle de taille moyenne (8B) peut rivaliser avec des modèles géants (120B+) en utilisant une architecture de compétences structurées et une boucle d'apprentissage auto-évolutive.
• Robustesse à long terme : La structure en compétences impose une discipline temporelle (ex: phases d'exploration, de mise en place, de défense) qui empêche les agents de "s'effondrer" (collapse) dans des jeux complexes comme Diplomacy, offrant un plancher de sécurité (stagnation plutôt que perte totale).
• Limites et Perspectives : La méthode repose actuellement sur des résumés textuels d'états, ce qui limite la compréhension multimodale directe. Les travaux futurs visent à étendre COS-PLAY aux environnements multimodaux pour capturer à la fois la dynamique d'interaction et le raisonnement visuel.

En résumé, COS-PLAY représente une avancée significative vers des agents autonomes capables d'apprendre, d'organiser et de réutiliser des compétences de manière itérative, comblant le fossé entre la flexibilité des LLM et la nécessité de structures de contrôle rigoureuses pour les tâches complexes.