VeriGraph: Scene Graphs for Execution Verifiable Robot Planning

1. Il Problema

I recenti progressi nei Modelli Linguistici Visivi (VLM) e nei Modelli Linguistici su Grande Scala (LLM) hanno aperto nuove possibilità per la pianificazione delle attività robotiche. Tuttavia, questi modelli tendono a generare sequenze di azioni errate, specialmente in compiti di manipolazione a lungo orizzonte che richiedono un ragionamento complesso sulle relazioni spaziali e sui vincoli fisici.
I principali limiti identificati sono:

• Mancanza di comprensione delle relazioni spaziali: I robot faticano a percepire come gli oggetti si relazionano tra loro (es. un oggetto sopra un altro), portando a piani non eseguibili (es. tentare di spostare un libro su cui è appoggiato un bicchiere).
• Rumore nei dati grezzi: La pianificazione diretta basata su pixel (immagini raw) introduce rumore e variazioni visive irrilevanti che complicano il ragionamento di alto livello.
• Assenza di verifica iterativa: I modelli generano spesso piani che violano i vincoli fisici senza un meccanismo automatico per correggerli prima dell'esecuzione, richiedendo spesso supervisione umana.

2. Metodologia: VeriGraph

Il framework proposto, VeriGraph, risolve questi problemi integrando i VLM con una rappresentazione intermedia strutturata: i Scene Graphs (Grafici della Scena). L'approccio si basa su un ciclo di pianificazione, verifica ed esecuzione iterativa.

Componenti Chiave:

1. Generazione del Scene Graph (SGG):

   • Il sistema riceve un'immagine della scena iniziale e una specifica dell'obiettivo (in linguaggio naturale o come immagine di riferimento).
   • Un VLM (es. GPT-4V) genera un grafo strutturato $G = \{V, E\}$, dove i nodi $V$ rappresentano gli oggetti e gli archi $E$ rappresentano le relazioni spaziali (es. "su", "dentro").
   • Viene utilizzata una dizionaria globale per normalizzare i nomi degli oggetti, riducendo l'ambiguità.

2. Validazione dei Vincoli:

   • Ogni azione proposta (es. "sposta X su Y") viene verificata contro lo stato corrente del grafo.
   • Vengono controllati i pre-condizioni (es. se un oggetto ha altri oggetti sopra di sé, non può essere spostato) e le post-condizioni.
   • Se un'azione viola un vincolo, il sistema genera un feedback di errore e non procede all'esecuzione.

3. Pianificazione Iterativa:

   • A differenza dei planner "one-shot", VeriGraph utilizza un planner iterativo ($P_{iter}$).
   • Il planner propone una sequenza di azioni (fino a $k$ azioni per iterazione).
   • Il sistema esegue le azioni valide e aggiorna lo stato del grafo.
   • Se viene rilevata una violazione, il sistema genera feedback, incrementa un contatore di errori ($\tau$) e chiede al planner di rielaborare il piano.
   • Il ciclo continua fino al completamento del task o al raggiungimento di una soglia massima di errori, prevenendo cicli infiniti.

4. Esecuzione:

   • Una volta validato il piano ad alto livello, viene convertito in comandi a basso livello per il robot (usando tecniche come LangSAM per le maschere degli oggetti e AnyGrasp per la presa).

3. Contributi Chiave

• Framework Modulare: Un sistema che utilizza i scene graph sia come rappresentazione per la pianificazione che come meccanismo di verifica, permettendo una pianificazione consapevole dei vincoli tramite LLM.
• Meccanismo Iterativo di Correzione: Un approccio che identifica e corregge le violazioni dei vincoli senza intervento umano, utilizzando la struttura del grafo per simulare l'esecuzione e rilevare errori prima che accadano nel mondo reale.
• Specificazione Unificata degli Obiettivi: Capacità di generare scene graph obiettivo sia da istruzioni linguistiche che da immagini di riferimento, offrendo flessibilità nella definizione dei task.
• Superamento dei Limiti dei Pixel: Dimostrazione che l'astrazione simbolica (grafi) è superiore all'input diretto di pixel per compiti che richiedono ragionamento sulle relazioni spaziali.

4. Risultati Sperimentali

Il sistema è stato valutato su quattro gruppi di task: puzzle Tangram, riorganizzazione (rearrange), istruzioni linguistiche e impilamento (stacking), utilizzando dataset con oggetti da cucina, blocchi e stoviglie.

• Performance Generali: VeriGraph supera significativamente i metodi baselines (VILA, SayCan) in tutti i task.
  • +58% di miglioramento nei task basati su istruzioni linguistiche rispetto ai baselines.
  • +56% nei task di puzzle Tangram.
  • +30% nei task basati su immagini di riferimento.
• Ablation Study:
  • L'uso del pianificatore iterativo con verifica dei vincoli ha dimostrato di migliorare l'accuratezza rispetto a un pianificatore "direct" (one-shot).
  • La qualità della generazione del scene graph è critica: quando forniti scene graph "ground truth", il pianificatore iterativo ha avuto successo in quasi tutti i casi, indicando che gli errori principali derivano dalla generazione iniziale del grafo e non dalla logica di pianificazione.
  • Una soglia di errore ($\tau$) di 5 e 3 azioni per iterazione hanno mostrato il miglior compromesso tra accuratezza e tempo di esecuzione.

5. Significato e Implicazioni

VeriGraph rappresenta un passo avanti significativo verso robot manipolatori autonomi e affidabili nel mondo reale.

• Affidabilità: Trasforma la pianificazione robotica da un processo "cieco" basato su probabilità testuali a un processo verificabile e strutturato, riducendo drasticamente il rischio di azioni distruttive o fallimentari.
• Efficienza Computazionale: Sebbene richieda chiamate a modelli grandi, la validazione basata su grafi è computazionalmente leggera, permettendo strategie ibride (es. VLM cloud per la generazione del grafo e LLM locale per la pianificazione).
• Generalizzazione: La capacità di astrazione dei scene graph permette al sistema di generalizzare meglio su nuovi oggetti e scenari rispetto ai metodi che lavorano direttamente sui pixel.

In conclusione, VeriGraph dimostra che l'integrazione di rappresentazioni simboliche (scene graph) con le capacità di ragionamento dei modelli linguistici moderni è una strategia vincente per risolvere i complessi problemi di pianificazione robotica a lungo termine, rendendo i robot più sicuri ed efficaci nell'esecuzione di compiti di manipolazione fisica.