ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

Il paper presenta ViPlan, il primo benchmark open-source che confronta approcci di pianificazione simbolica basati su modelli visione-linguaggio (VLM-as-grounder) con metodi di pianificazione diretta (VLM-as-planner) in domini visivi, rivelando che il primo approccio eccelle in compiti come Blocksworld dove il grounding è cruciale, mentre il secondo supera il primo in ambienti di robotica domestica grazie alla conoscenza linguistica, evidenziando al contempo i limiti attuali del ragionamento visivo dei VLM.

L'essenziale

Immagina di dover insegnare a un robot a fare le faccende di casa o a giocare a un gioco dei blocchi. Il problema è: come gli spieghi cosa vedere e cosa fare?

Gli scienziati hanno creato un nuovo "campo di allenamento" chiamato ViPlan per testare due modi diversi di far ragionare questi robot intelligenti (chiamati Modelli Linguistici Visivi o VLM).

I Due "Allenatori" del Robot

Per risolvere un compito, il robot deve prima vedere la scena (un'immagine) e poi decidere cosa fare. ViPlan mette alla prova due approcci opposti:

1. Il "Pianificatore Diretto" (VLM-as-Planner)

Immagina questo approccio come un cuoco che cucina guardando solo la foto del piatto finale.

• Come funziona: Il robot guarda la foto, legge la ricetta (l'obiettivo) e dice: "Ok, ora metto il sale, poi mescolo, poi cuocio". Non controlla se il sale è davvero lì o se la pentola è calda; si fida della sua immaginazione e della sua conoscenza generale della cucina.
• Il problema: Se la foto è ambigua o il robot ha un "buco" nella memoria, potrebbe dire cose assurde (es. "mescola il sale con l'aria"). È veloce, ma spesso allucina.

2. Il "Traduttore di Realtà" (VLM-as-Grounder)

Immagina questo approccio come un capo cantiere che ha un assistente molto preciso.

• Come funziona: Il robot non decide direttamente. Prima, chiede al suo assistente (il VLM): "C'è davvero un martello sul tavolo? Sì/No". "La porta è aperta? Sì/No". Solo dopo aver ricevuto queste conferme precise, un "cervello logico" (un pianificatore simbolico) costruisce il piano passo dopo passo.
• Il vantaggio: È molto preciso perché controlla i fatti.
• Il problema: Se l'assistente sbaglia a vedere un oggetto (es. non vede che la porta è chiusa), l'intero piano crolla. Inoltre, in ambienti complessi, fare troppe domande rallenta tutto.

---

Il Campo di Allenamento: Due Giochi Diversi

Per capire quale metodo è meglio, i ricercatori hanno creato due scenari molto diversi:

🧱 Scenario 1: Il Mondo dei Blocchi (Blocksworld)

È come un gioco di Tetris o di impilare i cubetti. Tutto è chiaro, i colori sono vivaci e non ci sono ostacoli nascosti.

• Risultato: Qui vince il Traduttore di Realtà (Grounder).
• Perché? Perché in questo mondo, la precisione è tutto. Chiedere "Il cubo rosso è sopra quello blu?" è facile e la risposta è sempre corretta. Il Pianificatore Diretto, invece, si confonde e prova a muovere cubi che non può toccare.
• Analogia: È come giocare a scacchi su una scacchiera vuota: se controlli i pezzi uno per uno, non sbagli mai.

🏠 Scenario 2: La Casa Robotica (Household)

Qui il robot deve fare cose come "apri il cassetto, prendi la tazza, mettila nel lavandino". Ma la casa è caotica: oggetti nascosti, luci diverse, cose che si muovono.

• Risultato: Qui vince il Pianificatore Diretto (Planner).
• Perché? Perché in una casa reale, chiedere "C'è una tazza nel cassetto?" è difficile se il cassetto è chiuso. Il robot "Pianificatore" usa la sua intuizione (sapendo che di solito le tazze sono nei cassetti) per saltare i controlli e agire. Il "Traduttore", invece, si blocca perché non riesce a vedere tutto chiaramente e fa troppe domande sbagliate.
• Analogia: È come guidare in una città affollata. Se fermi l'auto ogni 5 metri per chiedere "C'è un'auto qui?", ti blocchi. Meglio guidare guardando la strada e usando il buon senso, anche se a volte rischi di sbagliare.

---

La Grande Scoperta: "Pensare ad alta voce" non aiuta

C'era una speranza: forse, se chiediamo al robot di pensare ad alta voce (una tecnica chiamata Chain-of-Thought, come se dicesse "Prima guardo, poi decido, poi agisco") prima di agire, diventerebbe più intelligente?

La risposta è no.
Il paper scopre che far "ragionare" il robot prima di agire spesso lo confonde. Invece di trovare la soluzione, il robot inizia a girare in tondo, a ripetere le stesse frasi e a finire la memoria (i "token") senza mai completare il compito.
È come se chiedessimo a qualcuno di risolvere un puzzle matematico spiegando ogni singolo pensiero: spesso, più pensa, più si perde nei dettagli e dimentica l'obiettivo.

In Sintesi: Cosa abbiamo imparato?

1. Non esiste un metodo perfetto: Se il mondo è semplice e chiaro (come i blocchi), controlla i fatti (Grounder). Se il mondo è complesso e ambiguo (come una casa), fidati dell'intuizione e dell'esperienza (Planner).
2. La realtà è difficile: I robot attuali sono bravissimi a vedere le cose semplici, ma faticano terribilmente quando devono capire relazioni complesse o oggetti nascosti.
3. ViPlan è la nuova bussola: Questo studio è il primo "campo di prova" aperto a tutti per capire quando usare quale strategia. Prima di questo, si usavano solo dati privati o modelli segreti. Ora, chiunque può testare i propri robot su questi scenari.

Il messaggio finale: Per costruire robot davvero utili, non dobbiamo scegliere tra "vedere" e "pensare", ma dobbiamo imparare a mescolare le due cose in modo intelligente, a seconda di dove il robot si trova. E, soprattutto, a volte è meglio agire che continuare a pensare troppo!

Sommario tecnico

1. Il Problema

L'integrazione tra Modelli Linguistici su Grande Scala (LLM) e pianificatori simbolici è una direzione promettente per ottenere piani verificabili e fondati sulla realtà. Recenti lavori hanno esteso questo concetto ai domini visivi utilizzando Modelli Linguistici-Visionari (VLM). Tuttavia, manca un confronto rigoroso tra due approcci principali:

1. VLM-as-Planner: Il VLM seleziona direttamente le azioni basandosi sugli input visivi, agendo come un pianificatore end-to-end.
2. VLM-as-Grounder: Il VLM viene utilizzato per "ancorare" (ground) rappresentazioni simboliche del mondo (predicati booleani definiti in PDDL) ai dati percettivi, permettendo a un pianificatore simbolico classico di generare il piano.

La mancanza di benchmark open-source che supportino la pianificazione simbolica visiva ha impedito un confronto equo tra questi metodi in ambienti controllati e protocolli identici. Inoltre, non è chiaro quando un approccio sia preferibile all'altro, specialmente considerando le limitazioni attuali dei VLM nel rilevamento di oggetti e nelle relazioni spaziali.

2. Metodologia e Il Benchmark ViPlan

Gli autori presentano ViPlan, il primo benchmark open-source progettato per confrontare direttamente i metodi VLM-as-planner e VLM-as-grounder.

Domini di Valutazione

ViPlan introduce due domini visivi con requisiti di ragionamento complementari:

• ViPlan-Blocksworld (ViPlan-BW): Una variante visiva del classico problema di pianificazione dei blocchi. È un ambiente completamente osservabile e astratto, dove l'accuratezza del grounding (riconoscimento di blocchi e loro posizione) è cruciale.
• ViPlan-Household (ViPlan-HH): Un ambiente simulato di robotica domestica basato su iGibson 2.0 (con il robot Fetch). È un ambiente parzialmente osservabile, più vicino alla realtà, che richiede navigazione e manipolazione. Qui, la conoscenza linguistica e le priorità pre-addestrate del modello possono essere più utili della pura percezione visiva.

Ogni dominio contiene 75 task divisi in tre livelli di difficoltà (semplice, medio, difficile).

Classi di Metodi Testati

Il benchmark valuta otto varianti di implementazione per ciascuna delle due classi principali:

• VLM-as-Planner: Il modello genera un piano completo (o la prossima azione) direttamente dall'immagine e dalla descrizione dell'obiettivo. Include varianti con e senza Chain-of-Thought (CoT).
• VLM-as-Grounder: Il modello risponde a domande sì/no per verificare i precondizioni e gli effetti delle azioni di un pianificatore simbolico (Fast Downward). Include varianti standard, con CoT, e con memoria (per correggere errori di grounding precedenti).

Selezione dei Modelli

Sono stati valutati 21 modelli VLM open-source (di diverse dimensioni e architetture, da 7B a 78B parametri) e tre modelli chiusi (GPT-4.1, GPT-5.2) per riferimento. Sulla base delle prestazioni medie su due metodi rappresentativi, sono stati selezionati i 5 migliori modelli open-source per il benchmark principale.

3. Risultati Chiave

I risultati mostrano un chiaro trade-off tra le due approcci, dipendente dalla natura del dominio:

• Dominio Blocksworld (ViPlan-BW):

  • VLM-as-Grounder supera nettamente l'approccio diretto, risolvendo il 46% dei task contro il 9% del VLM-as-Planner.
  • Motivo: In questo dominio, il grounding è cruciale e le domande visive sono relativamente semplici. L'approccio simbolico garantisce coerenza logica che i VLM puri faticano a mantenere.

• Dominio Household (ViPlan-HH):

  • VLM-as-Planner è nettamente superiore, risolvendo il 34% dei task contro solo il 5% del VLM-as-Grounder.
  • Motivo: La parziale osservabilità e l'ambiguità visiva causano errori di grounding cumulativi nel metodo simbolico. Il VLM-as-Planner riesce a sfruttare le priori linguistiche apprese durante il pre-addestramento per proporre azioni plausibili anche quando la visione è ambigua.

• Impatto del Chain-of-Thought (CoT):

  • L'uso del CoT non ha portato a miglioramenti consistenti nella maggior parte dei metodi.
  • In alcuni casi (es. Plan in ViPlan-HH), il CoT ha addirittura peggiorato le prestazioni (da 39% a 23%), causando modelli che entrano in loop di ragionamento ripetitivo ed esauriscono il budget di token prima di completare il task.

• Analisi degli Errori:

  • VLM-as-Planner: Fallisce spesso per azioni non eseguibili (mancanza di tracciamento dello stato implicito) o errori di parsing del formato di output.
  • VLM-as-Grounder: Fallisce principalmente per errori di grounding dei precondizioni (es. giudicare un oggetto raggiungibile quando non lo è), portando a stati simbolici inconsistenti o loop infiniti.

4. Contributi Principali

1. ViPlan Benchmark: Il primo benchmark open-source che permette il confronto diretto tra pianificazione simbolica guidata da VLM e pianificazione diretta con VLM in ambienti visivi.
2. Due Domini Complementari: Creazione di ViPlan-BW (astratto, completamente osservabile) e ViPlan-HH (realistico, parzialmente osservabile) per testare i limiti di entrambi gli approcci.
3. Valutazione Estensiva: Test di 21 modelli VLM open-source e analisi dettagliata di 8 varianti metodologiche.
4. Analisi Qualitativa: Identificazione dei modi di fallimento specifici (allucinazioni di grounding, incoerenze di pianificazione, errori di parsing) e dimostrazione che il CoT non risolve sistematicamente i problemi di ragionamento visivo.
5. Riproducibilità: Il codice e i dati sono open-source, progettati per essere estendibili con nuovi modelli, domini e metodi di pianificazione.

5. Significato e Conclusione

Il lavoro di ViPlan evidenzia che non esiste un approccio "migliore" in assoluto per la pianificazione visiva. La scelta dipende dal contesto:

• Per compiti che richiedono precisione simbolica e grounding accurato in ambienti controllati, l'approccio ibrido (VLM-as-Grounder) è superiore.
• Per compiti in ambienti reali parzialmente osservabili con alta ambiguità, l'approccio diretto (VLM-as-Planner) che sfrutta la conoscenza linguistica è più robusto.

Inoltre, il benchmark mette in luce i limiti attuali delle capacità di ragionamento visivo dei VLM, suggerendo che tecniche come il CoT non sono ancora sufficienti per garantire una pianificazione visiva affidabile in scenari complessi. ViPlan si pone come una sfida aperta per lo sviluppo di nuovi metodi di pianificazione robusti, capaci di unire il rigore della pianificazione classica con la flessibilità della percezione visiva.