Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning

Il paper propone un'architettura neuro-simbolica che integra pianificazione simbolica, apprendimento per rinforzo e modelli linguistici di grandi dimensioni (LLM) per consentire agli agenti autonomi di identificare, pianificare e apprendere nuove azioni necessarie per interagire con oggetti sconosciuti in ambienti dinamici, superando i limiti dei pianificatori tradizionali.

L'essenziale

Immagina di avere un robot domestico molto intelligente, ma un po' "testardo". Questo robot è stato addestrato per fare cose specifiche: aprire il cassetto delle posate, prendere una tazza, versare il caffè. Conosce perfettamente le regole del suo mondo, come se avesse un manuale di istruzioni scritto a mano.

Ora, immagina che qualcuno metta sul tavolo un oggetto nuovo, che il robot non ha mai visto prima: un coperchio di una pentola che non sa come aprire, o un cassetto che non sa come tirare fuori.

Ecco il problema: il robot guarda il manuale, non trova la regola per "aprire quel cassetto" e si blocca. Non sa cosa fare. È come se un cuoco sapesse cucinare la pasta, ma se gli dessi un nuovo tipo di pasta che non ha mai visto, non saprebbe nemmeno come metterla nella pentola.

Questo articolo presenta una soluzione geniale per insegnare al robot a gestire queste "novità" senza doverlo riprogrammare da zero ogni volta. Chiamiamola "L'Architetto, il Cuoco e il Maestro di Ginnastica".

1. L'Architetto (Il Pianificatore Simbolico)

Prima di tutto, c'è il "Pianificatore". È come un architetto che guarda la casa e dice: "Ok, voglio andare dalla cucina al giardino, ma c'è un muro nuovo". L'architetto sa che il muro non è nel suo piano originale. Invece di andare nel panico, chiama un assistente speciale.

2. Il Cuoco Esperto (Il Grande Modello Linguistico - LLM)

Qui entra in gioco il "Cuoco Esperto". Non è un robot, ma un'intelligenza artificiale molto colta (come un Chatbot avanzato) che ha letto milioni di libri, manuali e ricette.
Quando l'architetto gli dice: "Ehi, c'è questo cassetto nuovo che non so aprire", il Cuoco Esperto pensa: "Aspetta, io ho letto di cassetti! So che di solito hanno una maniglia e si tirano verso l'esterno".

Il Cuoco non spinge fisicamente il cassetto, ma scrive le regole.

• Dice all'architetto: "Ecco, crea una nuova regola chiamata 'Apri-Cassetto'. La condizione è che la mano sia sulla maniglia, e l'effetto è che il cassetto si apra".
• In pratica, il Cuoco espande il manuale di istruzioni del robot in tempo reale, aggiungendo le regole per gli oggetti nuovi basandosi sul "senso comune".

3. Il Maestro di Ginnastica (L'Apprendimento per Rinforzo Guidato)

Ora il robot ha la regola scritta ("Apri-Cassetto"), ma non sa come muovere i muscoli per farlo. È come avere la ricetta per un dolce, ma non sapere quanto mescolare o quanto cuocere.
Qui entra il "Maestro di Ginnastica" (l'Algoritmo di Apprendimento).

Il problema è: come insegno al robot a tirare il cassetto senza rompere tutto? Se lo lascio provare a caso (come un bambino che impara a camminare), ci vorranno anni e il robot potrebbe rompere il cassetto.

La soluzione del paper è geniale: il Cuoco Esperto scrive anche una mappa dei premi.
Invece di dire al robot "Bravo quando hai finito", il Cuoco dice:

• "Se la tua mano si avvicina alla maniglia, prendi un punto."
• "Se la maniglia si muove di un millimetro, prendi due punti."
• "Se il cassetto si apre di un centimetro, prendi dieci punti!"

Il robot prova, sbaglia, ma grazie a questa mappa di punti (creata dall'LLM), impara velocemente la sequenza di movimenti. È come se il maestro di ginnastica ti dicesse: "Non devi fare la capriola perfetta subito, prima prova a saltare un centimetro, poi due, poi tre".

Il Processo in Sintesi (Il Ciclo Magico)

1. Blocco: Il robot si ferma perché c'è un oggetto nuovo.
2. Chiamata: Chiede aiuto al "Cuoco Esperto" (LLM).
3. Idea: Il Cuoco inventa la nuova regola (es. "Apri-Cassetto") e scrive una mappa di punti per imparare a farlo.
4. Prova: Il robot prova a eseguire l'azione, ricevendo punti per ogni piccolo passo avanti.
5. Successo: Una volta imparato, il robot salva la nuova abilità nel suo manuale.
6. Ripetizione: Se c'è un altro oggetto nuovo (es. un barattolo), il ciclo ricomincia.

Perché è importante?

Prima di questo metodo, i robot dovevano essere addestrati per mesi su ogni singolo oggetto nuovo, o fallivano completamente se incontravano qualcosa di inaspettato.
Con questo approccio, il robot diventa adattivo. Non ha bisogno di essere programmato per ogni possibile oggetto del mondo; ha bisogno solo di un "Cuoco Esperto" che gli dica come comportarsi con le novità, e di un "Maestro" che lo guidi passo dopo passo.

È come dare a un robot non solo un manuale, ma la capacità di imparare a leggere il manuale da solo quando incontra qualcosa di nuovo, rendendolo un vero abitante del mondo reale, pronto ad affrontare le sorprese della vita quotidiana.

Sommario tecnico

1. Il Problema: Adattamento alla Novità in Ambienti Aperti

In ambienti dinamici e aperti, gli agenti autonomi (robot) spesso incontrano novità (oggetti o situazioni non previsti) che compromettono la loro capacità di raggiungere gli obiettivi.

• Limitazione dei pianificatori simbolici: I pianificatori tradizionali basati su logica (es. PDDL) falliscono quando il dominio di pianificazione non contiene gli operatori necessari per interagire con nuovi oggetti. Poiché non possono generare piani per azioni non definite, il sistema si blocca.
• Limitazione dell'RL puro: L'Apprendimento per Rinforzo (RL) standard, se lasciato a esplorare casualmente in spazi continui, impiega tempi proibitivi per scoprire accidentalmente come interagire con oggetti nuovi o per trovare stati pianificabili.
• Obiettivo: Sviluppare un'architettura che permetta al robot di identificare gli operatori mancanti necessari per gli oggetti nuovi e di apprendere rapidamente le politiche di controllo (policy) associate a tali operatori.

2. Metodologia: Architettura Neuro-Simbolica Ibrida

Gli autori propongono un ciclo "Plan-Learn-Execute" (Pianifica-Apprendi-Esegui) che integra tre componenti principali:

1. Pianificatore Simbolico: Gestisce la logica di alto livello e la struttura del compito.
2. Large Language Model (LLM): Sfrutta il ragionamento di senso comune e la capacità di generazione di codice.
3. Reinforcement Learning (RL): Apprende le politiche di controllo a basso livello in spazi continui.

Fasi del Processo:

A. Identificazione degli Operatori Mancanti (Hybrid LLM Symbolic Planning)

• Quando il pianificatore simbolico non trova un piano, attiva un algoritmo di ricerca che interroga l'LLM.
• L'LLM riceve lo stato corrente, l'obiettivo, gli oggetti nuovi e gli operatori esistenti.
• Utilizzando tecniche di prompting (come "Chain-of-Thought" e self-consistency per campionare più risposte e scegliere la più frequente), l'LLM propone la definizione strutturale (in formato PDDL) di un nuovo operatore mancante.
• Un algoritmo di ricerca simbolica ("search-ahead") verifica se l'aggiunta di questo operatore permette di trovare un piano. Se sì, l'operatore viene aggiunto al dominio.

B. Apprendimento Guidato dall'LLM (LLM-guided Sub-goal Learning)

• Una volta identificato un nuovo operatore (es. "apri-cassetto"), il sistema deve apprendere la politica neurale per eseguirlo.
• Generazione di Funzioni di Ricompensa: L'LLM (GPT-o4-mini) scrive diverse funzioni di reward shaping (densità di ricompensa) basate sulle osservazioni numeriche del robot. Queste funzioni guidano l'agente verso i sottobiettivi (effetti dell'operatore).
• Curriculum di Sottobiettivi: Gli effetti dell'operatore sono trattati come una sequenza ordinata di sottobiettivi. L'RL apprende in fasi: prima si sblocca la ricompensa per il primo effetto, poi per il secondo, ecc.
• Selezione Genetica: Vengono lanciati agenti RL multipli (uno per ogni funzione di ricompensa candidata generata dall'LLM). Periodicamente, il peggior agente viene eliminato (simulando un algoritmo genetico) per mantenere solo le funzioni di ricompensa più efficaci.
• Algoritmo PPO: Viene utilizzato Proximal Policy Optimization per apprendere le politiche di controllo continuo.

3. Contributi Chiave

1. Identificazione Strutturata degli Operatori: Risolvono il problema intrattabile dell'identificazione degli operatori mancanti utilizzando il ragionamento di senso comune degli LLM, superando i limiti dei metodi di scoperta tradizionali basati sull'esplorazione casuale.
2. Accelerazione dell'Apprendimento tramite Reward Shaping: Integrano funzioni di ricompensa dense generate automaticamente dagli LLM in un'architettura ibrida, accelerando significativamente il processo di apprendimento rispetto all'RL non guidato.
3. Validazione in Domini Continui: Evidenziano la superiorità del metodo rispetto agli stati dell'arte (come LEAGUE e Reward Machine) in ambienti di manipolazione robotica continui e complessi, dove l'esplorazione casuale fallisce.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti nell'ambiente di simulazione MimicGen su quattro domini di difficoltà crescente:

• Cucina (Facile): Copertura di una pentola con un coperchio nuovo.
• Assemblaggio Noci (Medio): Prendere una noce quadrata da un perno rotondo nuovo.
• Caffè-Scatola (Medio): Prendere una cialda da una scatola nuova.
• Caffè-Cassetto (Difficile): Prendere una cialda da un cassetto chiuso (richiede apertura).

Risultati Principali:

• Identificazione Operatori: Il pianificatore ibrido ha identificato correttamente gli operatori mancanti nel 100% dei casi (10/10) in tutti i domini, mentre il metodo di "Operator Discovery" (OD) basato su RL puro ha fallito nei domini medi e difficili (0/10), richiedendo tempi di esplorazione superiori a 7 ore.
• Successo e Progresso: L'agente guidato dall'LLM (LG) ha raggiunto tassi di successo superiori al 90% e un progresso quasi completo per la maggior parte degli operatori.
• Confronto con Baseline: I test statistici (Wilcoxon) mostrano che l'approccio LG supera significativamente le baseline LEAGUE-Sparse (LS) e Reward Machine (RM) in termini di successo e progresso (p < 0.05).
• Robustezza: L'uso di multiple funzioni di ricompensa candidate ha mitigato il rischio di errori di codice o segnali di ricompensa fuorvianti, garantendo che almeno un agente apprendesse una politica efficace.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti fondamentale verso robot autonomi capaci di operare in mondi aperti.

• Superamento della rigidità: Dimostra che è possibile combinare la rigidità e l'affidabilità della pianificazione simbolica con la flessibilità semantica degli LLM e la capacità di adattamento dell'RL.
• Efficienza: Riduce drasticamente il tempo di esplorazione necessario per imparare nuove abilità, rendendo fattibile l'adattamento a oggetti non visti durante l'addestramento.
• Scalabilità: L'architettura proposta è progettata per essere estesa a scenari con molteplici novità simultanee e può essere adattata alla robotica reale tramite moduli di percezione open-vocabulary (es. OWLv2) e tecniche Sim-to-Real.

In sintesi, il paper propone una soluzione elegante al problema della "novità" nei robot, trasformando l'incapacità di pianificare in un'opportunità di apprendimento strutturato e guidato dall'intelligenza artificiale generativa.