From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

Questo lavoro propone un metodo che sfrutta modelli visione-linguaggio preaddestrati per apprendere modelli del mondo simbolici astratti da dimostrazioni brevi, consentendo a sistemi robotici di pianificare e risolvere compiti decisionali a lungo termine con una generalizzazione zero-shot in scenari complessi e non visti in precedenza.

L'essenziale

🤖 Il Robot che Impara a "Pensare" Guardando un Video

Immagina di voler insegnare a un robot domestico a pulire la tua casa o a preparare un panino. Il problema è che i robot sono spesso come bambini che non hanno ancora imparato a parlare: vedono il mondo come una massa confusa di colori e forme (i "pixel"), ma non capiscono cosa stanno guardando.

Per loro, un "pallone rosso" e un "pallone blu" sono solo macchie di colore diverse. Non sanno che entrambi sono "palloni", o che uno è "sopra il tavolo" e l'altro è "dentro la scatola".

Questo paper presenta un nuovo metodo chiamato pix2pred che insegna al robot a trasformare quelle immagini confuse in concetti chiari, proprio come facciamo noi umani quando diciamo: "Oh, c'è un oggetto sopra il tavolo!".

🎬 La Metafora del Regista e dello Sceneggiatore

Per capire come funziona, immagina un set cinematografico:

1. Il Regista (Il Robot): È il corpo fisico che deve muoversi e agire.
2. Lo Sceneggiatore (Il Modello Simbolico): È il cervello che scrive il piano d'azione. Deve sapere cosa fare e quando.
3. Il Critico d'Arte (Il Modello Vision-Language o VLM): È un'intelligenza artificiale molto colta che guarda le foto e sa descrivere cosa succede con parole intelligenti.

Il Problema

Fino a poco tempo fa, per insegnare a un robot a fare cose complesse (come pulire un tavolo e poi riporre un oggetto), gli umani dovevano scrivere a mano tutte le regole: "Se vedi un oggetto, prendilo. Se il tavolo è sporco, puliscilo". Ma il mondo è troppo vasto: non puoi scrivere una regola per ogni possibile oggetto, colore o situazione.

La Soluzione: "Inventare" le Regole Guardando un Video

Gli autori del paper hanno detto: "Perché scrivere tutto a mano? Facciamo guardare al robot dei video di umani che fanno il lavoro, e chiediamo all'AI (il Critico) di inventare le regole per noi!"

Ecco come funziona il processo, passo dopo passo:

1. La Fase di Osservazione (Guardare il Video)
Immagina di mostrare al robot un video di 10 secondi in cui una persona pulisce un tavolo e butta via un oggetto.

• Il robot guarda il video.
• L'AI (il Critico) guarda le immagini e dice: "Ehi, prima c'era un oggetto sul tavolo, ora non c'è più! E poi il tavolo era sporco, ora è pulito!".
• L'AI inventa dei nomi per queste idee, chiamati "predicati". Ad esempio: OggettoSulTavolo, TavoloPulito, ManoVuota.

2. La Fase di Selezione (Il Filtro Magico)
L'AI è molto creativa e ne inventa troppe! Potrebbe dire anche C'èUnOmbraSulTavolo o IlRobotÈFelice. Queste sono inutili per il compito.
Qui entra in gioco il metodo pix2pred. Funziona come un chef che assaggia un brodo:

• L'AI prova tutte le sue idee (i predicati).
• Il sistema prova a usare queste idee per pianificare l'azione.
• Se un'idea non aiuta a risolvere il problema (es. sapere se c'è un'ombra non serve a pulire), viene scartata.
• Alla fine, rimangono solo le regole essenziali che funzionano davvero.

3. La Fase di Pianificazione (Il Piano d'Azione)
Ora il robot ha un "libro delle regole" (il modello simbolico) che capisce il mondo.

• Se gli chiedi di pulire un tavolo diverso (magari con oggetti diversi o in una stanza diversa), il robot non va nel panico.
• Guarda la nuova situazione, usa l'AI per capire: "Ah, c'è un oggetto sul tavolo? Sì, OggettoSulTavolo è vero".
• Usa le regole apprese: "Devo prendere l'oggetto, poi pulire".
• Esegue il piano!

🌟 Perché è così speciale? (La Magia della Generalizzazione)

La cosa più bella di questo metodo è che il robot non impara a memoria la scena. Impara la logica.

• Esempio: Se hai insegnato al robot a pulire un tavolo con un panno rosso, e poi gli chiedi di pulire un tavolo con un panno blu in una cucina diversa, un robot vecchio stile si bloccherebbe.
• Con pix2pred: Il robot capisce il concetto di "pulire" e "oggetto". Non importa se il panno è rosso o blu, o se il tavolo è di legno o vetro. Il robot capisce che deve applicare la stessa logica: Rimuovi lo sporco -> Metti via l'oggetto.

🧪 I Risultati nella Vita Reale

Gli autori hanno testato questo metodo su robot veri (come il Boston Dynamics Spot, che sembra un cane robot) e in simulazioni complesse (come cucinare hamburger o fare succhi di frutta).

Hanno scoperto che:

1. Il robot impara con pochissimi esempi (basta guardare 6-10 video fatti da umani).
2. Riesce a risolvere compiti molto più lunghi e complessi di quelli che ha visto durante l'allenamento.
3. Funziona anche quando gli oggetti sono diversi o la stanza è cambiata.

In Sintesi

Questo paper ci dice che per far diventare i robot intelligenti, non dobbiamo insegnar loro ogni singola mossa a memoria. Dobbiamo invece dar loro gli strumenti per guardare il mondo, inventare le parole giuste per descriverlo e creare le proprie regole logiche.

È come dare a un bambino non solo un elenco di comandi, ma la capacità di guardare una situazione nuova e dire: "Ok, so cosa devo fare, perché ho capito come funziona il mondo!".

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models" (pix2pred), presentata in italiano.

1. Il Problema

L'obiettivo principale della ricerca è permettere ai robot di risolvere problemi di decision-making a lungo orizzonte in domini complessi, partendo da input sensoriali di basso livello (immagini/pixel) e utilizzando un piccolo numero di dimostrazioni a breve termine.

Le sfide principali identificate sono:

• Generalizzazione Aggressiva: I robot devono operare in ambienti con oggetti, disposizioni, sfondi visivi e obiettivi nuovi, mai visti durante l'addestramento.
• Limiti dell'Imitazione Diretta: Gli approcci di Imitation Learning (apprendimento per imitazione) privi di modelli tendono a fallire quando devono comporre sequenze di azioni diverse da quelle viste, specialmente in scenari con oggetti o configurazioni nuove.
• Assenza di Predicati Iniziali: In molti contesti, non si conoscono a priori le proprietà simboliche (predicati) che descrivono lo stato del mondo (es. "l'oggetto è pulito", "il contenitore è vuoto"). Inventare questi predicati partendo solo da immagini è difficile.

2. Metodologia: Pix2Pred

Il paper propone pix2pred, un metodo che combina l'apprendimento da dimostrazione con i Modelli Vision-Language (VLM) pre-addestrati per inventare e apprendere modelli del mondo simbolici direttamente dai pixel.

Il processo si articola in tre fasi principali:

A. Proposta di Predicati Visivi (Predicate Proposal)

Invece di definire manualmente i predicati, il sistema utilizza un VLM (come GPT-4o o Gemini) per generare un vasto pool di candidati.

1. Input: Il VLM riceve le immagini delle dimostrazioni (stati prima e dopo ogni abilità), i nomi delle abilità eseguite e gli oggetti coinvolti.
2. Generazione: Il VLM propone ground atom (es. Cooked(patty1)) e li "solleva" (lift) in predicati simbolici astratti con variabili tipizzate (es. Cooked(?p:patty)).
3. Diversità: Il prompt richiede al VLM di generare anche sinonimi e antonymi per garantire una copertura semantica ampia.

B. Implementazione e Valutazione tramite VLM

Ogni predicato candidato viene implementato come una funzione di classificazione che interroga il VLM.

• Data un'immagine e un predicato (es. IsEraser(?obj)), il VLM restituisce True, False o Unknown.
• Per stati successivi all'iniziale, vengono forniti anche l'immagine precedente, l'azione eseguita e i valori dei predicati precedenti per migliorare la coerenza temporale.
• Vengono utilizzati tecniche di Chain-of-Thought e Set-of-Marks (annotazione degli oggetti nell'immagine) per aumentare l'accuratezza dell'etichettatura.

C. Apprendimento del Modello Simbolico (Ottimizzazione)

Una volta creato un pool di predicati (sia visivi che basati su feature tradizionali), il sistema utilizza un algoritmo di hill-climbing per selezionare il sottoinsieme ottimale di predicati e apprendere gli operatori simbolici (regole di transizione).

• Obiettivo: Massimizzare l'efficienza della pianificazione. Il sistema cerca il set di predicati che permette di risolvere i compiti dimostrati con il minor numero di passi o con la massima robustezza.
• Gestione del Rumore: Poiché i VLM possono essere rumorosi, l'algoritmo di apprendimento degli operatori include meccanismi di "soft intersection" (un predicato è precondizione se vero nella maggior parte dei casi, non in tutti) e potatura degli operatori basati su dati insufficienti.
• Output: Un modello del mondo astratto (stile PDDL) che include predicati selezionati, operatori (precondizioni, effetti additivi/deletivi) e campionatori per i parametri continui.

3. Contributi Chiave

1. Invenzione di Predicati da Pixel: Il primo metodo che utilizza i VLM non solo per la pianificazione diretta, ma per inventare e validare i predicati simbolici necessari a costruire un modello del mondo, partendo da zero (o quasi) e solo da dimostrazioni visive.
2. Generalizzazione Aggressiva: Il sistema dimostra di poter generalizzare a:
   • Nuovi oggetti e quantità.
   • Nuovi sfondi visivi.
   • Obiettivi compositi mai visti.
   • Orizzonti temporali molto più lunghi rispetto alle dimostrazioni di addestramento.
3. Integrazione Simbolico-Subsimbolico: Unisce la capacità di ragionamento e pianificazione dei modelli simbolici (che garantiscono generalizzazione e interpretabilità) con la percezione semantica dei VLM.
4. Validazione Reale: Il metodo è stato testato con successo su un robot reale (Boston Dynamics Spot) in ambienti fisici complessi (pulizia, preparazione di succhi), dimostrando che l'apprendimento da video umani può essere trasferito a un robot fisico senza bisogno di interazione online o reset dell'ambiente.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 domini (3 simulati: Burger, Coffee, Kitchen; 2 reali: Cleanup, Juice).

• Prestazioni Superiori: pix2pred ha superato significativamente le baseline, inclusi approcci basati su VLM puri (come ViLa) e metodi di apprendimento senza invenzione di predicati.
  • Nei domini simulati, ha risolto compiti con più oggetti e obiettivi complessi dove ViLa falliva (es. ViLa tende a fare pattern matching delle dimostrazioni invece di generalizzare).
  • Nei domini reali, il robot ha risolto compiti con nuovi oggetti e configurazioni (es. svuotare un contenitore per recuperare un oggetto, mai visto in addestramento) con un tasso di successo elevato.
• Ablazioni:
  • La sottoselezione dei predicati (rimuovere quelli ridondanti o rumorosi tramite ottimizzazione) è critica. Senza di essa, il sistema soffre di overfitting e fallisce.
  • L'uso esclusivo di predicati visivi o solo feature-based è inferiore rispetto all'approccio ibrido.
• Efficienza: Il modello appreso permette una pianificazione efficiente, permettendo al robot di comporre sequenze di abilità lunghe (fino a 30 passi) partendo da poche dimostrazioni (3-12).

5. Significato e Implicazioni

Il lavoro rappresenta un passo avanti fondamentale verso robotica general-purpose e interpretabile.

• Riduzione del Carico Umano: Elimina la necessità di ingegneri di dominio per definire manualmente le regole simboliche e i predicati per ogni nuovo compito.
• Apprendimento da Dati Passivi: Dimostra che è possibile apprendere modelli del mondo robusti da video umani (dimostrazioni offline), senza richiedere al robot di esplorare attivamente l'ambiente o fallire ripetutamente.
• Ponte tra LLM e Robotica: Sfrutta le capacità di "senso comune" dei VLM per colmare il divario tra la percezione visiva grezza e la logica simbolica necessaria per la pianificazione a lungo termine.

In sintesi, pix2pred trasforma i pixel in predicati logici, permettendo ai robot di comprendere il mondo in termini concettuali (es. "cibo cotto", "tavolo pulito") e di pianificare azioni complesse in scenari completamente nuovi, superando i limiti degli attuali approcci basati sull'imitazione diretta.