Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

1. Il Problema

Gli ambienti interattivi a lungo termine (come i videogiochi complessi) rappresentano una sfida fondamentale per gli agenti basati su Large Language Models (LLM). Questi ambienti richiedono:

• Ragionamento multi-step: La capacità di pianificare azioni su molti passi temporali.
• Gestione delle ricompense ritardate: Le conseguenze delle azioni possono manifestarsi solo dopo molto tempo.
• Osservabilità parziale: L'agente non ha accesso completo allo stato dell'ambiente.

Sebbene gli LLM siano promettenti come agenti di gioco, spesso falliscono nel prendere decisioni coerenti su lunghi orizzonti temporali. La causa principale è la mancanza di un meccanismo per scoprire, mantenere e riutilizzare abilità strutturate (skills) tra diverse partite (episodi). Gli approcci esistenti tendono a riaddestrare il modello di base o a fare affidamento su dati umani curati, invece di imparare direttamente dall'interazione e affinare le proprie strategie nel tempo.

2. Metodologia: Il Framework COS-PLAY

Il paper propone COS-PLAY, un framework di co-evoluzione multi-agente che collega strettamente un agente decisionale e un agente gestore di un "banco di abilità" (Skill Bank). Il sistema funziona in un ciclo chiuso dove i due componenti si migliorano reciprocamente.

Componenti Principali:

1. Agente Decisionale (LLM-based):

   • Interagisce con l'ambiente recuperando abilità dal banco.
   • Mantiene uno stato di "intenzione" (sub-obiettivi strategici) e un'abilità attiva.
   • Esegue azioni primitive basate sull'osservazione corrente, l'intenzione e il piano dell'abilità selezionata.
   • È addestrato per migliorare il recupero delle abilità e l'esecuzione delle azioni.

2. Agente del Banco di Abilità (Skill Bank Agent):

   • Analizza le traiettorie di gioco non etichettate generate dall'agente decisionale.
   • Scoperta delle abilità: Segmenta le traiettorie in segmenti coerenti che rappresentano comportamenti riutilizzabili.
   • Apprendimento dei Contratti: Per ogni abilità, apprende un "contratto" strutturato che include:
     • Sintesi: Scopo dell'abilità.
     • Pre-condizioni: Quando è applicabile.
     • Piano: Come eseguirla.
     • Criteri di successo/aborto: Quando fermarsi.
     • Contratto di stato: I cambiamenti di stato attesi dopo l'esecuzione.
   • Manutenzione: Aggiorna il banco attraverso operazioni di raffinamento, fusione (merge), divisione (split) e ritiro (retire) delle abilità, mantenendo il banco compatto e rilevante.

Ciclo di Co-evoluzione:

• L'agente decisionale gioca, generando nuove traiettorie.
• L'agente del banco analizza queste traiettorie, estrae nuove abilità o affina quelle esistenti.
• Il banco aggiornato viene utilizzato dall'agente decisionale nella partita successiva, migliorando le sue prestazioni.
• Ottimizzazione: Entrambi gli agenti sono ottimizzati utilizzando GRPO (Group Relative Policy Optimization) con adattatori LoRA separati per diverse funzioni (es. recupero abilità, esecuzione azione, segmentazione, apprendimento contratti). Questo permette un apprendimento specializzato senza distruggere le conoscenze generali del modello.

3. Contributi Chiave

1. Framework di Co-evoluzione: È uno dei primi framework a collegare la decisione basata su LLM con una pipeline di scoperta di abilità non supervisionata in un ciclo di co-evoluzione unificato.
2. Scoperta Non Supervisionata di Abilità: Il sistema estrae automaticamente abilità riutilizzabili e i relativi contratti da traiettorie non etichettate, senza bisogno di annotazioni umane o modelli teacher forti per ogni singola abilità.
3. Efficienza dei Dati: Dimostra che un modello di base piccolo (8B parametri) può competere con modelli frontier molto più grandi (come GPT-5.4 o Gemini) grazie all'uso strutturato di abilità e alla memoria a lungo termine.
4. Valutazione Completa: Testato su 6 ambienti di gioco diversi, coprendo sia giochi single-player (puzzle, platform) che giochi multi-player con ragionamento sociale complesso.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sei ambienti: 2048, Candy Crush, Tetris, Super Mario Bros (single-player) e Avalon, Diplomacy (multi-player).

• Performance Single-Player: COS-PLAY, basato su un modello Qwen3-8B, ha ottenuto un miglioramento medio del 25.1% nella ricompensa rispetto a quattro modelli LLM all'avanguardia (inclusi GPT-5.4 e Gemini-3.1-PRO).
• Performance Multi-Player:
  • In Avalon (gioco di deduzione sociale), COS-PLAY è stato competitivo con i modelli più grandi, con una differenza di vittoria di solo l'1% rispetto a Gemini-3.1-PRO.
  • In Diplomacy (gioco di strategia e negoziazione), ha superato Gemini-3.1-PRO del 8.8%.
• Efficienza: Il sistema richiede solo poche iterazioni di adattamento (fino a 25) per raggiungere prestazioni elevate su nuovi benchmark, dimostrando un'alta efficienza nei dati rispetto ai metodi RL tradizionali che richiedono migliaia di passi.
• Ablation Study: I test dimostrano che né l'addestramento SFT senza banco, né l'uso di un banco statico, sono sufficienti. Il vantaggio deriva esclusivamente dalla co-evoluzione, che mantiene le abilità allineate con la politica decisionale in evoluzione.
• Generalizzazione: Il modello mantiene le sue capacità di ragionamento generale (testato su MMLU-Pro e Math-500) con un calo minimo, dimostrando che l'adattamento al gioco non degrada le competenze linguistiche di base.

5. Significato e Implicazioni

Il lavoro di COS-PLAY è significativo per diversi motivi:

• Superamento dei limiti degli LLM: Dimostra che l'integrazione di un "banco di abilità" strutturato risolve il problema della coerenza a lungo termine negli LLM, permettendo loro di pianificare strategie complesse senza riaddestramento massiccio.
• Scalabilità: Suggerisce che modelli più piccoli, se dotati di meccanismi di memoria e riutilizzo delle abilità, possono competere con modelli molto più grandi in compiti complessi.
• Versatilità: L'approccio è applicabile sia a giochi puramente meccanici che a scenari sociali complessi che richiedono negoziazione e teoria della mente.
• Futuro: Apre la strada a agenti autonomi in grado di imparare, organizzare e riutilizzare conoscenze procedurali in ambienti dinamici, un passo cruciale verso l'Intelligenza Artificiale Generale (AGI).

In sintesi, COS-PLAY trasforma l'agente da un esecutore di prompt statici a un sistema dinamico che costruisce e affina il proprio "manuale di istruzioni" (Skill Bank) attraverso l'esperienza, migliorando continuamente la propria capacità di prendere decisioni a lungo termine.