LaGO: Latent Action Guidance for Online Reinforcement Learning

Sintesi Tecnica: LaGO – Latent Action Guidance per l'Apprendimento per Rinforzo Online

Problematica
Sebbene i Large Language Models (LLM) abbiano dimostrato un potenziale significativo nella pianificazione e nel processo decisionale sequenziale, gli approcci esistenti spesso si affidano all'uso di essi come controllori diretti, pianificatori espliciti di alto livello o simulatori di modelli del mondo. Questi metodi richiedono agli LLM di generare azioni precise, piani dettagliati o traiettorie future accurate. Tuttavia, questo requisito è spesso eccessivamente stringente nella pratica; le capacità degli LLM variano significativamente e anche piccoli errori di previsione possono accumularsi nel tempo, portando a prestazioni di controllo scarse in contesti di apprendimento per rinforzo (RL) che richiedono un'esecuzione precisa e un ragionamento a lungo termine. Di conseguenza, fare affidamento direttamente su un LLM come controllore primario rimane inaffidabile, in particolare in ambienti vettorializzati in cui le osservazioni e le azioni non sono naturalmente rappresentate in forma linguistica o visiva.

Metodologia
Per affrontare queste sfide, gli autori propongono LaGO (Latent Action Guidance per l'Apprendimento per Rinforzo Online), un framework a due stadi che utilizza un LLM pre-addestrato non come controllore esplicito, ma come fonte di guida "morbida" tramite prior di azioni latenti.

1. Stadio 1: Apprendimento del Prior Offline
   Il framework inizia addestrando un prior di policy latente da un dataset di esperti offline ($D$). Viene utilizzato un backbone LLM pre-addestrato ($F_\phi$), dove le sequenze stato-azione non testuali provenienti dalle dimostrazioni vengono convertite in rappresentazioni latenti tramite moduli di proiezione apprendibili ($E_s$ e $E_a$). Questi embedding, combinati con una descrizione testuale del compito ($x$), vengono inseriti nell'LLM. Una testa d'azione aggiunta di recente ($G_\theta$) viene quindi addestrata tramite fine-tuning supervisionato per predire l'azione successiva ($a_{t+1}$) dato il prefisso della traiettoria ($\tau_t$) e la descrizione del compito. L'obiettivo è minimizzare la log-likelihood negativa dei dati dell'esperto, creando un prior di policy latente $\pi_K(a_{t+1} | x, \tau_t)$ che cattura un prior comportamentale grossolano piuttosto che un controllore ottimale.

2. Stadio 2: RL Online con Guida Latente
   Nel secondo stadio, il prior latente addestrato $\pi_K$ viene congelato e utilizzato per guidare una policy RL online $\pi_\psi(a|s)$ (ad esempio, PPO o SAC). L'agente RL interagisce con l'ambiente per raccogliere rollouts, ma l'ottimizzazione della policy è regolarizzata verso il prior latente. La perdita totale di addestramento è definita come:
   $$L_{online} = L_{PG} + \beta L_{prior}$$
   dove $L_{PG}$ è l'obiettivo standard del gradiente della policy e $\beta$ controlla l'influenza del prior.

   • Per spazi di azione discreti, la perdita del prior è la log-likelihood negativa dell'azione predetta dal prior.
   • Per spazi di azione continui, la perdita del prior è implementata come un termine di cross-entropy tra la distribuzione del prior e l'attuale policy, che funge da segnale di ottimizzazione equivalente alla regolarizzazione della divergenza KL (fino all'entropia del prior fisso).

Questo design permette alla policy RL di beneficiare della conoscenza strutturale codificata nell'LLM senza richiedere all'LLM di prendere decisioni esatte durante l'interazione.

Contributi Chiave

• Framework Innovativo: LaGO introduce un metodo per sfruttare la conoscenza di un LLM pre-addestrato come prior comportamentale latente per l'RL online, ammorbidendo i rigorosi requisiti di precisione dell'uso degli LLM come controllori diretti.
• Architettura a Due Stadi: La separazione tra l'apprendimento del prior offline (tramite fine-tuning supervisionato su dati di esperti) e l'ottimizzazione della policy online (tramite regolarizzazione) consente al sistema di utilizzare la conoscenza dell'LLM anche quando il prior non è sufficientemente accurato per agire come un agente autonomo.
• Generalizzazione: Il framework è progettato per funzionare in entrambi i domini di controllo discreto e continuo, adattando il termine di regolarizzazione del prior allo specifico spazio di azione.

Risultati Sperimentali
Gli autori hanno valutato LaGO su due benchmark: CLEVR-Robot (controllo discreto) e Meta-World (controllo continuo). Gli esperimenti hanno confrontato LaGO contro "Vanilla PPO" attraverso quattro categorie di task: Real, Rephrase, Easy e Hard.

• Guadagni di Performance: LaGO ha superato costantemente Vanilla PPO sia in termini di reward che di tasso di successo.
  • Su CLEVR-Robot, il tasso di successo medio è aumentato dal 15,1% al 27,2%.
  • Su Meta-World, il tasso di successo medio è aumentato dal 2,7% al 15,2%.
• Generalizzazione: Sono stati osservati miglioramenti in tutte le categorie di task, incluse le categorie "Easy" e "Hard" non viste, suggerendo che il prior fornisca una guida generalizzabile piuttosto che una mera memorizzazione.
• Impatto della Qualità dell'LLM: Uno studio di ablazione che confrontava un prior Llama-2-7B con un prior TinyLlama-1.1B su Meta-World ha dimostrato che modelli pre-addestrati più forti producono prior latenti più efficaci. LaGO con Llama-2-7B ha costantemente ottenuto le prestazioni più elevate, mentre il prior di TinyLlama talvolta è risultato inferiore a Vanilla PPO, evidenziando l'importanza della qualità del modello di base.

Significatività e Rivendicazioni
Il paper sostiene che LaGO fornisca un framework semplice e pratico per integrare la conoscenza dei pretrained LLM nell'apprendimento per rinforzo. La significatività primaria risiede nel dimostrare che gli LLM possono migliorare il processo decisionale e la pianificazione online anche quando non sono abbastanza accurati da fungere da controllori diretti. Trattando l'LLM come una fonte di guida latente e morbida invece che come un pianificatore esplicito, il framework mitiga i rischi di accumulo di errori pur capitalizzando sui ricchi bias induttivi e sulla conoscenza del mondo acquisiti durante il pre-addestramento.

Gli autori concludono che la conoscenza e le capacità di generalizzazione codificate nei pretrained LLM possono servire come forti prior per la pianificazione e l'RL. Suggeriscono inoltre che, man mano che i modelli di base miglioreranno, l'efficacia di questa guida aumenterà naturalmente, offrendo una via scalabile per sfruttare gli LLM in compiti decisionali complessi senza richiedere una generazione di azioni precisa durante l'interazione.