SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding

Il paper introduce SCALAR, un framework bidirezionale che combina la pianificazione simbolica guidata da LLM con l'apprendimento per rinforzo profondo per iterativamente affinare le specifiche delle abilità e migliorare l'agente nel grounding del linguaggio verso il controllo di basso livello, ottenendo risultati significativi sul benchmark Craftax.

L'essenziale

🎮 SCALAR: Come insegnare a un'intelligenza artificiale a "giocare" davvero

Immagina di voler insegnare a un bambino a cucinare un pasto complesso, come una lasagna.
Se gli dici semplicemente: "Fai una lasagna!", il bambino potrebbe andare nel panico. Non sa da dove iniziare, quali ingredienti servono, o in che ordine metterli. Potrebbe provare a mettere la carne cruda nel forno o a usare il sale invece dello zucchero.

Questo è esattamente il problema che affrontano gli Agenti basati su LLM (i modelli di linguaggio come me, ma che agiscono nel mondo reale o nei videogiochi). Sono bravissimi a capire le istruzioni generali ("Cucina la lasagna"), ma terribili nel gestire i dettagli pratici ("Taglia la cipolla, aspetta che il forno si scaldi, non bruciare il formaggio").

Il paper SCALAR propone una soluzione geniale: non chiedere all'AI di fare tutto in un colpo solo, ma insegnarle a comporre piccole abilità (skills) passo dopo passo, correggendo gli errori mentre si impara.

Ecco come funziona, spiegato con tre metafore semplici:

1. Il Capitano e l'Equipaggio (LLM + RL)

Immagina un'azienda di traslochi.

• Il Capitano (LLM): È l'intelligenza artificiale che legge il manuale di istruzioni. Sa teoricamente cosa serve per traslocare: "Prima serve un camion, poi le scatole, poi il nastro adesivo". Il Capitano disegna il piano e dice: "Ok, oggi impareremo a fare le scatole".
• L'Equipaggio (RL - Reinforcement Learning): Sono i lavoratori sul campo. Non leggono i manuali, ma fanno. Provano a incollare le scatole. Se si strappano, capiscono che il nastro era troppo debole. Se le scatole cadono, capiscono che il nastro era troppo debole.

Il problema dei vecchi metodi: Il Capitano dava un piano perfetto una volta sola e diceva: "Ecco, fate!". Se il piano aveva un errore (es. "Usa nastro adesivo per il vetro"), l'equipaggio falliva e il Capitano non se ne accorgeva mai.

La soluzione SCALAR: È un ciclo continuo.

1. Il Capitano propone un piano: "Facciamo le scatole con questo nastro".
2. L'equipaggio prova. Fallisce.
3. L'equipaggio torna dal Capitano: "Ehi, il nastro si è rotto! Serviva uno più forte".
4. Il Capitano corregge il piano: "Ah, ho sbagliato! Usiamo nastro rinforzato".
5. Si riprova. Ora funziona.

In termini tecnici, SCALAR usa l'LLM per proporre le "abilità" (cosa fare) e il RL per allenarle. Se l'allenamento fallisce, l'LLM corregge la sua ipotesi basandosi sui dati reali.

2. La "Cassetta degli Attrezzi" che si aggiorna da sola

Pensa a un videogioco di avventura (come Minecraft o Craftax, il gioco usato nel paper). Per arrivare alla fine, devi prima trovare il legno, poi fare un piccone di pietra, poi uno di ferro, e così via.

• Il metodo vecchio: L'AI prova a imparare tutto insieme. È come se un bambino provasse a scalare l'Everest senza aver mai imparato a camminare. Si stanca e muore (o fallisce) subito.
• Il metodo SCALAR: L'AI impara prima a camminare (skill: "Raccogli legna"). Una volta che è brava, impara a correre (skill: "Fai un piccone"). Poi impara a scalare.

Ma c'è un trucco: a volte il Capitano sbaglia e dice "Ti serve 100 pezzi di legno per fare il piccone". L'AI prova, e scopre che ne bastano 2.
Qui entra in gioco l'Analisi delle Traiettorie (una delle innovazioni chiave). È come se l'AI guardasse un video delle sue migliori performance e dicesse: "Aspetta, ho visto che ho usato solo 2 pezzi di legno, non 100! Il Capitano aveva sbagliato il manuale".
Così, l'AI corregge il manuale in tempo reale, rendendo il Capitano più intelligente per la prossima volta.

3. Il "Checkpoint" (Il salvataggio del gioco)

Immagina di giocare a un videogioco difficile. Devi fare 100 livelli per arrivare al boss finale.
Senza SCALAR, ogni volta che vuoi allenarti sul boss, devi ricominciare dal livello 1. È una perdita di tempo enorme!

SCALAR usa una tecnica chiamata Frontier Checkpointing.
È come se il gioco ti permettesse di salvare la partita esattamente quando hai finito il livello 99 e sei pronto per il boss.
Quando l'AI deve allenarsi sul boss, non ricomincia da capo: carica il salvataggio (il "checkpoint") ed è già pronta a combattere. Questo fa risparmiare un tempo infinito e permette di imparare molto più velocemente.

I Risultati: Cosa ha ottenuto?

Hanno testato questo sistema su un gioco complesso chiamato Craftax (simile a Minecraft ma fatto per i ricercatori).

• I vecchi metodi: Riuscivano a raccogliere diamanti solo nel 35-40% dei casi e fallivano completamente nel raggiungere le miniere più profonde (0% di successo).
• SCALAR: Ha raggiunto l'88% di successo nel raccogliere diamanti (quasi il doppio dei migliori metodi precedenti) ed è riuscito a raggiungere le miniere profonde nel 9% dei casi, un risultato che prima era considerato impossibile.

In sintesi

SCALAR è come un maestro d'arte che non si limita a dare istruzioni, ma:

1. Ascolta gli studenti (l'AI che prova).
2. Corregge il suo insegnamento se vede che gli studenti falliscono per un errore nel manuale.
3. Salva i progressi per non perdere tempo a ripetere le cose già fatte.

Invece di chiedere all'AI di essere perfetta subito, le permette di imparare componendo piccoli pezzi, correggendo gli errori lungo la strada, fino a diventare un maestro in compiti molto lunghi e complessi.

Sommario tecnico

Titolo: SCALAR: Apprendimento e Composizione di Abilità tramite Pianificazione Simbolica Guidata da LLM e Grounding tramite Deep RL

1. Il Problema

L'integrazione di agenti basati su Large Language Models (LLM) con ambienti di controllo fisico o simulati presenta una sfida fondamentale: il grounding (ancoraggio) delle azioni.

• Limitazione degli LLM: Gli agenti basati su LLM eccellono nel ragionamento ad alto livello e nella generazione di codice per API astratte, ma faticano a tradurre il linguaggio in controlli a basso livello (motor skills) necessari per interagire direttamente con l'ambiente.
• Limitazione del RL: Il Reinforcement Learning (RL) può imparare il controllo motorio attraverso tentativi ed errori, ma affronta problemi di esplorazione intrattabili quando le ricompense sono sparse su sequenze di azioni lunghe (long-horizon tasks).
• Gap nelle soluzioni esistenti: Lavori precedenti utilizzano gli LLM per generare funzioni di ricompensa o sequenze di sottobiettivi per il RL in modo "one-shot" (una tantum). Tuttavia, questi approcci mancano di un meccanismo di feedback: se l'LLM specifica erroneamente i prerequisiti o le risorse necessarie, l'addestramento fallisce senza che l'errore venga mai diagnosticato o corretto.

L'obiettivo è definire compiti alla giusta granularità: strutturati abbastanza da permettere all'LLM di specificarli basandosi sulla conoscenza pregressa, ma sufficientemente brevi (short-horizon) da essere appresi dal RL con un'esplorazione ragionevole. Questi compiti sono definiti abilità (skills).

2. Metodologia: SCALAR

Gli autori introducono SCALAR (Self-Supervised Composition and Learning of Skills with LLM Planning and Reinforcement Learning), un framework bidirezionale che accoppia la pianificazione simbolica degli LLM con l'apprendimento delle politiche (policies) tramite RL, mediato da una libreria di abilità appresa.

Il ciclo di lavoro si articola in quattro fasi principali:

A. Proposta di Abilità (Operator Proposal)

L'LLM legge il manuale di gioco o la descrizione del compito e propone un set di operatori simbolici (abilità). Ogni operatore è definito come:

• Nome: Identificatore dell'abilità (es. MAKE_IRON_PICKAXE).
• Precondizioni (PRE): Predicati sullo stato astratto necessari prima dell'esecuzione (es. presenza di un tavolo da lavoro, risorse sufficienti).
• Effetti (EFF+ / EFF-): Cosa diventa vero dopo il successo e quali risorse vengono consumate.
• Funzioni di Terminazione e Ricompensa: Codice eseguibile che verifica il completamento e fornisce il segnale di apprendimento.

B. Composizione e Pianificazione

Gli operatori inducono un grafo delle dipendenze. Per addestrare una nuova abilità target, un pianificatore STRIPS calcola una sequenza di abilità già apprese necessarie per raggiungere le precondizioni del nuovo obiettivo. Questo permette di costruire catene di prerequisiti complesse (es. raccogliere legno -> costruire tavolo -> creare piccone di legno -> raccogliere pietra).

C. Addestramento delle Politiche (Policy Training)

Un agente RL addestra una politica (option) per ogni abilità target.

• Frontier Checkpointing: Per migliorare l'efficienza del campione (sample efficiency), lo stato dell'ambiente viene salvato quando le precondizioni sono soddisfatte ("frontiera"). Durante l'addestramento, l'agente può resettare a questo stato con una certa probabilità, evitando di rieseguire le abilità di prerequisito già apprese e concentrandosi sull'abilità target.
• Stima del Vantaggio: I ritorni (returns) sono propagati attraverso i confini delle abilità. Se un'abilità precedente consuma troppe risorse o lascia l'ambiente in uno stato sfavorevole, questo penalizza l'abilità successiva, incentivando comportamenti cooperativi.

D. Analisi delle Traiettorie (Trajectory Analysis) - Il Cuore Innovativo

Questa è la componente chiave che differenzia SCALAR dai metodi one-shot.

• Quando un'abilità raggiunge un tasso di successo non nullo, l'LLM analizza le traiettorie di esecuzione di successo.
• Confronta le specifiche ipotizzate dall'LLM (precondizioni, consumi) con ciò che è realmente accaduto nell'ambiente.
• Correzione: Se l'analisi rivela errori (es. l'LLM pensava servissero 3 ferri, ma ne bastava 1, o mancava un prerequisito nascosto come la salute), l'LLM rivede le specifiche dell'operatore.
• Se le specifiche vengono modificate, la politica parzialmente addestrata viene scartata e l'addestramento riparte con le specifiche corrette. Questo crea un ciclo di feedback chiuso che corregge gli errori di specificazione iniziali.

3. Contributi Chiave

1. Framework Bidirezionale: Un sistema in cui il feedback delle traiettorie di esecuzione RL affina le specifiche simboliche dell'LLM, superando i limiti dei metodi one-shot.
2. Analisi delle Traiettorie Pivotali: Un meccanismo per correggere precondizioni, effetti e stime delle risorse basandosi sui dati reali di esecuzione, permettendo l'adattamento a dinamiche ambientali impreviste.
3. Frontier Checkpointing: Una tecnica per salvare e ripristinare gli stati ambientali ai confini delle abilità, riducendo drasticamente il tempo speso a rieseguire prerequisiti e migliorando l'efficienza del campione.
4. Prestazioni Superiori: Dimostrazione empirica su compiti a lungo orizzonte con ricompense sparse, superando significativamente i metodi baselines.

4. Risultati Sperimentali

Il framework è stato valutato su Craftax e Craftax-Classic, ambienti di sopravvivenza open-ended ispirati a Minecraft e NetHack, caratterizzati da catene di prerequisiti profonde e ricompense sparse.

• Raccolta di Diamanti (Craftax-Classic): SCALAR ha raggiunto un tasso di successo dell'88,2%, un miglioramento di 1.9x rispetto al miglior baseline (PQN-RNN al 46,9%).
• Entrata nelle Miniere dei Gnomi (Craftax completo): Questo è un compito estremamente difficile che richiede combattimento e navigazione profonda. I metodi precedenti hanno fallito completamente (0% di successo). SCALAR ha raggiunto il successo nel 9,1% dei casi.
• Adattabilità: In esperimenti di adattamento online (modifiche alle ricette di crafting), SCALAR è riuscito a recuperare le prestazioni (es. passando dal 5% al 86% di successo quando la ricetta cambiava) grazie all'analisi delle traiettorie che ha corretto le specifiche errate, mentre i baseline sono crollati.
• Ablazione: La rimozione dell'analisi delle traiettorie ha fatto crollare il successo nella raccolta di diamanti dall'88% al 67% e l'accesso alle miniere dal 9% allo 0%, dimostrando che la correzione degli errori di specifica è fondamentale.

5. Significato e Impatto

SCALAR rappresenta un passo avanti significativo nell'agente autonomo ibrido:

• Superamento dell'astrazione: Permette agli agenti di passare dal semplice scrivere codice per API ad alto livello al controllo motorio diretto e robusto.
• Riduzione dell'ingegneria manuale: Automatizza la definizione di strutture di abilità e ricompense, riducendo il carico di lavoro per gli umani nel design di reward engineering per compiti complessi.
• Robustezza: La capacità di correggere le proprie ipotesi basandosi sull'esperienza reale rende il sistema più robusto agli errori iniziali dell'LLM e ai cambiamenti nell'ambiente.
• Applicabilità: Il framework è promettente non solo per i giochi, ma anche per la manipolazione robotica, l'automazione delle interfacce utente e il controllo di processi industriali, dove la combinazione di pianificazione logica e controllo motorio è essenziale.

In sintesi, SCALAR dimostra che combinare la conoscenza semantica degli LLM con il grounding empirico del RL, attraverso un ciclo di feedback iterativo, è la chiave per risolvere compiti complessi a lungo orizzonte che nessun approccio singolo potrebbe gestire efficacemente.