Co-Evolution of Policy and Internal Reward for Language Agents

Titolo: Co-evoluzione di Policy e Ricompensa Interna per Agenti Linguistici

1. Il Problema: La Bottiglia delle Ricompense Sparse

Gli agenti basati su Large Language Models (LLM) che operano in ambienti interattivi a lungo termine (come navigazione web, esperimenti scientifici o interazioni embodied) affrontano una sfida fondamentale: la rarità e il ritardo delle ricompense.

• Limitazione attuale: Gli agenti ricevono feedback (ricompensa) solo alla fine di una traiettoria lunga (es. successo/fallimento del task). Questo rende difficile l'assegnazione del credito (credit assignment) per le decisioni intermedie: non è chiaro quali passi abbiano contribuito al successo e quali siano stati ridondanti o dannosi.
• Metodi esistenti: Le soluzioni attuali si basano su:
  1. Assegnazione del credito post-hoc (dopo la raccolta dei dati).
  2. Modelli di ricompensa esterni o modelli di processo (Process Reward Models - PRM).
  • Svantaggi: Questi approcci spesso separano il miglioramento della ricompensa da quello della policy, aggiungono overhead computazionale e non forniscono guida diretta durante l'inferenza (il momento in cui l'agente agisce).

2. Metodologia: Self-Guide

Gli autori propongono Self-Guide, un framework unificato che genera una ricompensa interna auto-generata per guidare sia l'inferenza che l'addestramento.

Concetto Chiave:
L'agente genera un segnale verbale di auto-guida (self-guidance signal, $z_t$) ad ogni passo, prima di compiere l'azione. Questo segnale viene utilizzato in due modi:

1. In Inferenza: $z_t$ funge da segnale di guida a breve termine per orientare la scelta dell'azione successiva ($a_t$).
2. In Addestramento: Lo stesso segnale $z_t$ viene convertito in una ricompensa scalare densa ($r^{sg}_t$) per l'ottimizzazione della policy.

Componenti Tecnici:

• Generazione del Segnale: Ad ogni passo $t$, l'agente osserva lo stato e il contesto storico, quindi genera una valutazione verbale ($z_t$) sulla qualità della traiettoria corrente (es. "in progresso", "fuori strada", "neutrale").
• Mappatura della Ricompensa: Il segnale verbale viene mappato a un valore scalare (es. +0.1 per positivo, 0 per neutrale, -0.1 per negativo) per creare una ricompensa interna densa.
• Ricompensa Composita: La ricompensa totale per l'addestramento è una combinazione lineare della ricompensa ambientale sparsa ($R_{env}$) e della ricompensa interna aggregata:
  $$R(\tau; u) = R_{env}(\tau) + \lambda(u) \sum_{t=1}^{T} r^{sg}_t$$
  dove $\lambda(u)$ è un coefficiente che dipende dallo stadio di addestramento.

Pianificazione della Fiducia (Stage-Wise Trust Schedule):
Poiché la ricompensa auto-generata è imperfetta all'inizio dell'addestramento, viene utilizzato un programma a trapezio per gestire la fiducia nel segnale interno:

1. Fase I (Riscaldamento): Solo guida inferenziale ($\lambda=0$). L'agente impara a generare e agire sulla base della guida usando solo il feedback ambientale.
2. Fase II (Attivazione): $\lambda$ sale linearmente da 0 a 1. La guida inizia a contribuire come ricompensa interna.
3. Fase III (Ricompensa Completa): $\lambda=1$. Il ciclo di co-evoluzione è attivo a pieno regime: una policy migliore genera una guida migliore, che a sua volta migliora la policy.
4. Fase IV (Ricottura): $\lambda$ scende da 1 a 0. La ricompensa interna viene rimossa gradualmente per garantire che la policy finale sia allineata all'obiettivo reale dell'ambiente e non distorta da segnali interni potenzialmente errati.

3. Contributi Chiave

1. Self-Guide: Un nuovo formato di ricompensa interna auto-generata che funge sia da guida in inferenza che da segnale di supervisione densa in addestramento.
2. Pianificazione della Fiducia a Stadi: Un meccanismo che stabilizza l'addestramento RL attivando la ricompensa interna solo quando la guida è matura e rimuovendola alla fine per evitare distorsioni.
3. Co-evoluzione Online: Dimostrazione che policy e ricompensa interna devono evolvere insieme online sotto la distribuzione di rollout dell'agente, piuttosto che essere distillate offline da modelli più grandi (che falliscono per mismatch di distribuzione).

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark principali: ALFWorld (navigazione domestica), ScienceWorld (ragionamento scientifico) e WebShop (interazione e-commerce), utilizzando modelli Qwen (1.7B, 4B, 7B).

• Inferenza: L'uso della sola auto-guida (senza RL) ha già portato a miglioramenti significativi, specialmente in ambienti strutturati come ALFWorld, riducendo errori come i cicli infiniti (looping) e l'esplorazione ridondante.
• Addestramento (RL):
  • L'ottimizzazione congiunta di policy e ricompensa interna (usando GRPO) ha superato costantemente la baseline GRPO standard.
  • Miglioramenti: Si è osservato un miglioramento medio di circa 8% rispetto alla baseline GRPO (es. su Qwen3-4B).
  • Ablazione: L'uso immediato della ricompensa interna senza la fase di riscaldamento o l'uso di guide distillate offline ha portato a prestazioni inferiori o instabili, confermando la necessità del ciclo di co-evoluzione online.

5. Significato e Implicazioni

Il lavoro dimostra che gli agenti linguistici possono migliorare non solo raccogliendo più esperienza esterna, ma imparando a generare e rifinire le proprie ricompense interne durante l'azione e l'apprendimento.

• Efficienza: Risolve il problema della sparsità delle ricompense senza dipendere da modelli di ricompensa esterni costosi o annotazioni umane.
• Stabilità: Il ciclo di co-evoluzione crea un meccanismo di rinforzo positivo: una policy migliore produce segnali di guida più affidabili, che a loro volta forniscono segnali di addestramento più precisi.
• Generalizzabilità: Il metodo è compatibile con diversi algoritmi RL (verificato anche con DAPO) e funziona su diverse scale di modelli.

In sintesi, Self-Guide trasforma l'agente da un esecutore passivo di feedback ambientali a un sistema attivo che si auto-valuta e si auto-corregge, superando le limitazioni fondamentali dell'apprendimento per rinforzo a lungo termine.