Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

Questo articolo propone un'architettura di apprendimento neuro-simbolica che, partendo da poche dimostrazioni non etichettate, scopre simboli ad alto livello e acquisisce controllori a basso livello per pianificare ed eseguire compiti a lungo raggio in ambienti complessi e non visti, integrando modelli linguistici visivi per l'interpretazione dei simboli e la generazione di piani.

L'essenziale

Immagina di voler insegnare a un robot a cucinare una cena complessa, ma tu hai solo pochi secondi di video di te stesso che lo fai, senza dire una parola. Inoltre, il robot non ha mai visto quella cucina prima d'ora e gli oggetti sono spostati in posti diversi. Come fa a capire cosa stai facendo e a ripeterlo?

Questo articolo presenta una soluzione intelligente chiamata "Neuro-Simbolica". È come se uniamo il cervello di un bambino (che impara guardando e copiando) con il cervello di un filosofo (che ragiona per concetti e regole).

Ecco come funziona, passo dopo passo, usando delle metafore:

1. Il Problema: Il Robot è "Analfabeta"

I robot sono bravi a muovere le braccia (livello basso), ma non capiscono il "perché" o il "cosa" stanno facendo (livello alto). Se guardano un video, vedono solo un flusso continuo di pixel e movimenti, come se guardassero un film senza sottotitoli. È difficile per loro capire che "prendere il pomodoro" è un'azione distinta da "mettere il pomodoro nella pentola".

2. La Soluzione: Trovare i "Mattoncini Lego" (Scoperta delle Abilità)

Gli autori hanno creato un modello che guarda i video delle azioni (senza etichette) e cerca di trovare dei pattern ricorrenti.

• L'analogia: Immagina di avere un mucchio di disegni di persone che aprono porte. Alcune porte sono bianche, altre nere, alcune sono in cucina, altre in giardino. Il modello impara a dire: "Aspetta, anche se la porta è diversa, il movimento di girare la maniglia è lo stesso!".
• Il modello raggruppa automaticamente questi movimenti simili in "pacchetti" o simboli. Chiamiamo questi pacchetti "Abilità".
  • Esempio: "Prendere un oggetto" è un'abilità. Non importa se l'oggetto è un pomodoro o una bottiglia d'olio; il concetto di base è lo stesso.

3. Il Traduttore: L'Intelligenza Artificiale che "Parla"

Una volta che il robot ha trovato questi pacchetti di movimento, non sa ancora come chiamarli. Qui entra in gioco un Modello Linguistico Multimodale (come un GPT molto avanzato che vede le immagini).

• L'analogia: È come se mostrassi al robot un video del movimento "girare la maniglia" e gli chiedessi: "Cosa sta succedendo qui?". L'IA guarda il video e dice: "Ah, sta aprendo un cassetto!".
• Ora il robot ha un vocabolario: sa che quel movimento specifico significa "Apri Cassetto".

4. Il Pianificatore: Il Capitano e il Timoniere

Ora il sistema ha due livelli che lavorano insieme:

• Il Capitano (Livello Alto - Simbolico): È l'IA che ragiona. Riceve l'obiettivo (es. "Prepara il caffè") e usa il suo vocabolario per creare un piano: 1. Prendi la tazza, 2. Mettila nella macchina, 3. Premi il pulsante. Non si preoccupa di come muovere i muscoli, solo di cosa fare.
• Il Timoniere (Livello Basso - Neurale): È il modello che ha imparato i movimenti. Quando il Capitano dice "Prendi la tazza", il Timoniere sa esattamente come muovere la mano per afferrarla, anche se la tazza è in un punto in cui non è mai stata presa prima.

5. L'Adattabilità: La Magia della "Gravità"

Cosa succede se la tazza è spostata di due centimetri? Il robot non deve reimparare tutto da zero.

• L'analogia: Immagina di avere una mappa mentale dell'azione "prendere la tazza". Se la tazza si sposta, il robot usa un piccolo aggiustamento matematico (chiamato gradiente) per spostare leggermente la sua mano verso la nuova posizione, proprio come se aggiustasse la mira di un fucile.
• Questo permette al robot di funzionare in ambienti disordinati e con oggetti in posizioni nuove, usando solo pochi esempi iniziali.

In Sintesi: Cosa hanno scoperto?

Hanno creato un sistema che:

1. Guarda pochi video di azioni (senza che nessuno gli spieghi nulla).
2. Capisce quali azioni sono simili e le raggruppa in "concetti".
3. Chiede a un'IA intelligente di dare un nome a questi concetti (es. "Versare", "Aprire").
4. Pianifica compiti lunghi e complessi (come preparare una cena) combinando questi concetti.
5. Esegue i movimenti fisici adattandosi istantaneamente se gli oggetti sono spostati.

Perché è importante?
Prima, per insegnare a un robot a fare cose nuove, servivano migliaia di ore di dati etichettati da umani. Ora, con questo metodo, il robot può imparare a fare cose nuove guardando solo pochi esempi e generalizzando in ambienti che non ha mai visto. È come se il robot avesse imparato a "pensare" come un umano, pur rimanendo un robot fisico.

Il limite?
Il sistema funziona bene se i robot iniziano con dimostrazioni fatte da esperti (come se un maestro cuoco mostrasse la tecnica). Se le dimostrazioni sono confuse, il robot si confonde. Inoltre, ha bisogno di un "cervello esterno" (l'IA linguistica) per capire il mondo, quindi se l'IA sbaglia a descrivere la scena, anche il piano fallisce.

In breve: hanno insegnato ai robot a capire il "perché" delle azioni, non solo il "come", rendendoli molto più flessibili e intelligenti.

Sommario tecnico

Titolo: Scoperta di Abilità Neuro-Simboliche per la Pianificazione Condizionale Multi-Livello

1. Il Problema

L'apprendimento di piani a lungo raggio (long-horizon) in spazi continui di stato-azione, tipici degli scenari robotici reali, rappresenta una sfida significativa. Le principali difficoltà includono:

• Complessità dei dati: I dati robotici a basso livello sono complessi, rumorosi e spesso limitati a contesti di laboratorio controllati, rendendo difficile il loro utilizzo diretto nell'addestramento di modelli di grandi dimensioni (come gli LLM).
• Divario tra agenti virtuali e realtà: Gli agenti generalisti basati su LLM possiedono capacità di ragionamento di alto livello, ma mancano di "corpi" (percezione e controllo a basso livello) per interagire con ambienti fisici reali.
• Mancanza di etichette: Spesso si dispone solo di dimostrazioni di traiettorie a basso livello non etichettate, rendendo difficile l'astrazione automatica in simboli di alto livello riutilizzabili.

L'obiettivo è colmare questo divario creando un'architettura che apprenda abilità simboliche di alto livello da poche dimostrazioni non etichettate, permettendo a un agente di pianificare ed eseguire compiti complessi in ambienti nuovi e disordinati.

2. Metodologia

Il paper propone un'architettura di apprendimento ibrida (Neuro-Simbolica) che integra reti neurali per la scoperta di simboli e controller a basso livello, con una pipeline di pianificazione multi-livello. Il processo si articola in cinque fasi principali:

A. Modello di Scoperta delle Abilità (Skill Discovery)

• Architettura: Viene utilizzato un autoencoder vettoriale quantizzato (VQ-VAE) basato su Conditional Neural Movement Primitives (CNMP).
• Input: Traiettorie sensorimotorie (es. pose dell'end-effector) da dimostrazioni non etichettate.
• Funzionamento: Il modello comprime le traiettorie in un spazio latente discreto. Attraverso la quantizzazione vettoriale, le variazioni di una stessa abilità di alto livello (es. "afferrare un oggetto" da diverse posizioni) vengono mappate allo stesso vettore discreto.
• Output: Un insieme di vettori latenti che rappresentano le abilità di alto livello, ciascuno associato a una distribuzione di traiettorie a basso livello.

B. Apprendimento Auto-Supervisionato

• Dopo la fase iniziale di clustering non supervisionato, il sistema utilizza le etichette delle abilità scoperte per addestrare un nuovo modello da zero.
• Invece di lasciare che il sistema scelga il vettore basandosi sulla distanza euclidea, le dimostrazioni vengono assegnate forzatamente ai vettori scoperti. Questo passaggio migliora significativamente l'affidabilità della pianificazione a basso livello.

C. Etichettatura tramite LLM Multi-Modale

• Poiché le abilità scoperte sono inizialmente anonime, vengono etichettate semanticamente (es. "apri il cassetto") utilizzando Modelli Linguistici Visivi (VLM) come GPT-4 o Gemini.
• Il sistema genera immagini delle esecuzioni delle abilità e le invia all'LLM per l'analisi e l'assegnazione del nome.

D. Pipeline di Pianificazione Multi-Livello

1. Pianificazione di Alto Livello: Un agente LLM riceve l'immagine dell'ambiente, la lista degli oggetti (rilevati tramite DINO) e le abilità etichettate. L'LLM genera una sequenza ordinata di abilità simboliche per raggiungere l'obiettivo.
2. Pianificazione di Basso Livello: Per ogni passo del piano di alto livello, viene utilizzato un approccio basato sul gradiente. Il vettore dell'abilità viene modificato tramite discesa del gradiente per minimizzare l'errore tra la posizione predetta dell'oggetto e la posizione reale, generando così la traiettoria specifica necessaria per quell'istanza del compito.

3. Contributi Chiave

1. Nuovo Metodo di Scoperta delle Abilità: Un'architettura end-to-end in grado di apprendere rappresentazioni simboliche discrete di alto livello da poche dimostrazioni non etichettate, raggruppandole in modo non supervisionato.
2. Pipeline di Pianificazione Bi-Livello: Un sistema integrato che combina la pianificazione simbolica (gestita da LLM) con l'esecuzione continua (gestita da gradienti su reti neurali), permettendo la generalizzazione a nuove posizioni e oggetti.
3. Validazione Sperimentale Estesa: Dimostrazione dell'efficacia sia in simulazione (ambiente cucina) che nel mondo reale (lavastoviglie, macchina del caffè, annaffiatura piante) con robot UR-10 e XArm 7.
4. Efficienza dei Dati: Il sistema è in grado di generalizzare compiti a lungo raggio utilizzando solo poche dimostrazioni per abilità, coprendo piccole regioni dell'ambiente.

4. Risultati Sperimentali

• Scoperta delle Abilità: In esperimenti con 100 modelli inizializzati casualmente, il sistema ha raggiunto un clustering perfetto (tutte le dimostrazioni della stessa abilità assegnate allo stesso vettore) nel 27% dei casi con lo spazio di abilità corretto. È stato osservato che spazi vettoriali più grandi tendono a ridurre la perdita di quantizzazione ma disperdono le abilità; la strategia migliore è addestrare modelli con spazi più grandi e selezionare quelli con la perdita minima.
• Etichettatura LLM: L'uso di LLM multi-modali per etichettare le abilità ha mostrato risultati promettenti, sebbene con alcune difficoltà nel distinguere azioni di "posizionamento" rispetto a "presa" (il modello tendeva a classificare erroneamente le azioni di posizionamento come presa).
• Pianificazione di Alto Livello: L'uso di LLM (GPT-4.1 mini e Gemini) combinato con l'annotazione degli oggetti tramite DINO ha migliorato significativamente la precisione della pianificazione. Gemini ha mostrato una migliore capacità di elencare gli oggetti rispetto a GPT, portando a tassi di successo più alti (fino al 97.96% per compiti medi).
• Pianificazione di Basso Livello:
  • Il modello addestrato con auto-supervisione ha superato nettamente quello non supervisionato.
  • Con 2 o più dimostrazioni per abilità, il modello auto-supervisionato ha raggiunto un tasso di successo del 100% in compiti singoli (es. afferrare, posizionare) e dell'85-90% in compiti multi-step complessi (es. preparare il caffè, caricare la lavastoviglie) sia in simulazione che nel mondo reale.
  • Il sistema è riuscito a manipolare oggetti in posizioni inedite e in ambienti affollati.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo verso robotica generalista autonoma. Dimostra che non è necessario inserire dati robotici grezzi nell'addestramento di massicci LLM; invece, è possibile addestrare piccoli modelli di astrazione che fungono da "ponte" tra l'intelligenza simbolica dell'agente e il controllo fisico del robot.

L'approccio permette di:

• Sfruttare le capacità di ragionamento degli LLM per compiti complessi senza richiedere una comprensione fisica diretta.
• Generalizzare rapidamente a nuovi ambienti e oggetti con un numero minimo di dimostrazioni.
• Eseguire compiti a lungo raggio in ambienti reali e disordinati, combinando la flessibilità del controllo neurale con la struttura logica della pianificazione simbolica.

Le limitazioni attuali includono la dipendenza da dimostrazioni di livello esperto con distribuzioni simili e la necessità di un agente esterno per la percezione e la pianificazione di alto livello. Tuttavia, la direzione futura verso l'integrazione di predicati di effetto per il rilevamento degli errori promette di migliorare ulteriormente l'affidabilità dei piani a lungo raggio.