SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

1. Il Problema: Ambiguità nella Pianificazione Robotica

I modelli linguistici su larga scala (LLM) hanno rivoluzionato l'interazione uomo-robot, ma affrontano una sfida fondamentale: l'ambiguità. I robot possono incontrare situazioni ambigue derivanti da due fonti principali:

• Ambiguità dell'istruzione (Sottospecificazione): L'utente fornisce comandi vaghi (es. "Prendi qualcosa da mangiare" o "Metti il blocco sopra la ciotola" senza specificare quale).
• Ambiguità ambientale: Lo stato dell'ambiente crea confusione (es. presenza di più oggetti identici, assenza dell'oggetto richiesto, o osservazioni parziali in sistemi multi-agente).

Gli approcci precedenti spesso falliscono perché:

1. Gli LLM sono intrinsecamente sovraccerti e non addestrati esplicitamente per gestire l'ambiguità.
2. Le rappresentazioni visive basate su modelli visione-linguaggio (VLM) sono spesso semplici liste di oggetti o descrizioni ad alto livello, insufficienti per risolvere riferimenti a attributi specifici o relazioni spaziali complesse.
3. I pianificatori esistenti tendono ad agire comunque, portando a errori di sicurezza o azioni subottimali, invece di chiedere chiarimenti.

2. Metodologia: SG-CoT (Scene Graph-Chain-of-Thought)

Il paper propone SG-CoT, un framework a due stadi che integra la costruzione di un Grafo della Scena (Scene Graph) con il ragionamento iterativo a catena di pensiero (Chain-of-Thought) degli LLM.

A. Rappresentazione del Grafo della Scena

Invece di affidarsi a descrizioni testuali generiche, l'ambiente viene convertito in un grafo strutturato $G = (V, E)$:

• Nodi ($V$): Rappresentano gli oggetti rilevati, arricchiti con attributi semantici (colore, tipo, stato, ecc.).
• Archi ($E$): Rappresentano le relazioni semantiche e spaziali tra gli oggetti (es. "sopra", "dentro", "a sinistra di").
• Generazione: Utilizza un VLM (come Grounding DINO o modelli simili) per generare il grafo in un'unica passata, vincolato a un output JSON deterministico per garantire la parsibilità.

B. Processo di Ragionamento Iterativo

SG-CoT sostituisce la generazione sequenziale monolitica con un ciclo di osservazione, ragionamento e chiamata di funzione:

1. Inizializzazione: L'LLM riceve l'istruzione, l'osservazione e lo schema del grafo.
2. Iterazione: L'LLM genera una traccia di ragionamento e, se necessario, chiama funzioni API per interrogare il grafo:
   • retrieve_node: Cerca oggetti per nome o attributo (es. "trova tutti i contenitori rossi").
   • retrieve_edge: Cerca relazioni tra oggetti (es. "cosa c'è sopra il blocco blu?").
3. Grounding: I risultati delle query vengono aggiunti alla storia della conversazione, permettendo all'LLM di "radicare" il suo ragionamento nella realtà osservata, riducendo le allucinazioni.
4. Decisione: Il ciclo continua finché l'LLM non ha informazioni sufficienti per:
   • Eseguire una sequenza di azioni fisiche.
   • Formulare una domanda di chiarimento mirata all'utente o a un altro robot, identificando esattamente la fonte dell'ambiguità (es. molteplicità, assenza o sottospecificazione).

3. Contributi Chiave

1. Framework SG-CoT: Un nuovo approccio che combina grafi della scena dinamici con il ragionamento iterativo degli LLM per la pianificazione robotica robusta.
2. Classificazione Formale dell'Ambiguità: Definizione sistematica di tre tipi di ambiguità:
   • Indotta dall'ambiente (assenza o molteplicità di oggetti).
   • Sottospecificazione dell'istruzione.
   • Ambiguità da osservazione parziale (in sistemi multi-agente).
3. Metrica di Valutazione: Introduzione del Correct Question Rate (CQR) per misurare non solo se il robot chiede aiuto, ma se formula la domanda corretta per risolvere l'ambiguità specifica.

4. Risultati Sperimentali

Il framework è stato testato in ambienti simulati (SayCan e LEMMA) confrontandolo con baseline come CLARA, Inner Monologue e ProgPrompt.

• Ambiente Single-Agent:

  • SG-CoT ha superato tutte le baseline, ottenendo un Success Rate (SR) del 99% per istruzioni sottospecificate e dell'86.5% per ambiguità ambientali (con il modello Gemini-2.5-Flash).
  • Ha mostrato un miglioramento minimo del 10% nel CQR, dimostrando la capacità di identificare la radice del problema.
  • Gli studi di ablazione hanno confermato che il ragionamento iterativo e la presenza degli archi nel grafo sono cruciali per le prestazioni.

• Ambiente Multi-Agent (Osservazione Parziale):

  • In scenari dove i robot devono comunicare per condividere osservazioni mancanti, SG-CoT ha raggiunto un SR del 75% (vs 59% del baseline migliore), con un miglioramento del 15% rispetto alle tecniche precedenti.
  • Il framework ha permesso ai robot di chiedere correttamente informazioni all'altro agente invece di allucinare dettagli sull'ambiente.

• Costo Computazionale:

  • SG-CoT richiede più chiamate all'LLM e più token rispetto ai metodi statici, ma la latenza scala linearmente e non in modo esponenziale con la dimensione dell'ambiente, poiché il robot recupera solo le parti del grafo rilevanti.

5. Significato e Conclusioni

SG-CoT rappresenta un passo avanti significativo verso robotica più affidabile e sicura.

• Affidabilità: Trasforma gli LLM da agenti "presuntuosi" che agiscono su informazioni incomplete a agenti riflessivi che verificano lo stato del mondo prima di agire.
• Interazione Uomo-Robot: Abilita una collaborazione naturale dove il robot sa quando e cosa chiedere, migliorando l'esperienza utente.
• Scalabilità: La struttura basata su grafi permette di gestire istruzioni complesse e ambienti dinamici meglio delle rappresentazioni testuali pure.

Limitazioni e Futuro:
Il metodo dipende dalla qualità del VLM per la costruzione iniziale del grafo (rischio di allucinazioni negli archi) e ha un costo computazionale più elevato. Il lavoro futuro mira a estendere il framework a compiti di navigazione in ambienti reali e a ridurre la latenza di inferenza.