Sintesi Tecnica: La Sindrome del Sì-Man negli Agenti Robotici Embodied

Enunciato del Problema

I modelli visione-linguaggio (VLM) sono sempre più impiegati come pianificatori di alto livello per robot embodied, traducendo istruzioni in linguaggio naturale e osservazioni visive in piani di azione fisica. Esiste un divario critico nei framework di valutazione attuali: mentre l'astensione (la capacità di riconoscere quando una query non può essere risolta in modo affidabile) è stata studiata nei Large Language Models (LLM) basati solo su testo, i benchmark esistenti non riescono a catturare l'ancoraggio percettivo e i vincoli fisici intrinseci alla robotica.

Nei contesti embodied, l'"astensione" è definita come il trattenere l'esecuzione quando un'istruzione è mal posta, non ancorata, ambigua o fisicamente non fattibile, dati la scena osservata e le capacità dell'agente. Il mancato astensione porta a un'esecuzione errata del compito, a un'accumulazione di errori in compiti multi-step e a un'interazione degradata. I sistemi attuali spesso ricorrono all'azione anche quando le istruzioni sono ambigue o impossibili, un comportamento che gli autori definiscono "Sindrome del Sì-Man".

Metodologia: Framework ROBOABSTENTION

Per colmare questo divario, gli autori introducono ROBOABSTENTION, un framework scalabile e verificabile per generare e valutare istruzioni di astensione ancorate a immagini del mondo reale. Il framework opera attraverso una pipeline a tre fasi progettata per garantire la verificabilità programmatica e ridurre le allucinazioni nel processo di generazione del dataset:

1. Ancoraggio Visivo Strutturato: Un VLM (Claude Sonnet 4.6 di Anthropic) estrae una rappresentazione JSON strutturata dell'immagine di input. Questa fase è limitata alla descrizione percettiva (oggetti, attributi, stati, posizioni spaziali) utilizzando vocabolari controllati. Crucialmente, il modello è istruito a riportare solo ciò che è direttamente osservabile e a identificare oggetti assenti o implausibili, evitando il ragionamento a valle in questa fase.
2. Derivazione Deterministica dei Vincoli: Utilizzando logica basata su regole sull'output JSON strutturato, il sistema deriva in modo deterministico istanze candidate per specifiche categorie di astensione. Questa fase è interamente non appresa, garantendo che le condizioni per l'astensione siano matematicamente verificabili sulla base della rappresentazione della scena.
3. Generazione Controllata delle Istruzioni: Le istruzioni in linguaggio naturale sono generate utilizzando template specifici per categoria. Questi template sono istanziati solo con i candidati derivati nella Fase 2, garantendo che le istruzioni generate siano strettamente allineate alla condizione di astensione intesa (ad esempio, un template di "Non Fattibilità Fisica" è riempito solo con coppie oggetto-posizione che violano i vincoli di dimensione).

Tassonomia dell'Astensione

Il framework categorizza l'astensione in otto tipi distinti, organizzati in tre gruppi:

• Ancoraggio del Riferimento:
  • Riferente Mancante: L'oggetto non esiste nella scena.
  • Riferente Ambiguo: Multipli oggetti soddisfano la descrizione senza attributi distintivi.
  • Intenzione Sottospecificata: Mancanza di contesto per riferimenti deittici (ad esempio, "quello", "lì").
  • Intenzione Soggettiva: Richiede preferenze utente sconosciute al robot (ad esempio, "la mia bevanda preferita").
• Fattibilità dell'Esecuzione:
  • Non Fattibilità Fisica: Viola vincoli spaziali o fisici (ad esempio, inserire una tastiera in una tazza).
  • Capacità Mancante: Richiede sensori o attuatori che il robot non possiede (ad esempio, annusare).
  • Istruzioni Contraddittorie: Impone requisiti mutualmente incompatibili.
• Premessa Falsa:
  • Premessa Falsa: L'istruzione assume uno stato del mondo contraddetto dalla scena (ad esempio, "spegnere" un monitor che è già spento).

Costruzione del Dataset

Il benchmark utilizza 1.250 immagini provenienti da cinque diversi dataset di robotica embodied (DROID, Robo2VLM, RoboVQA, BridgeV2 ed EgoThink). La pipeline genera un totale di 6.069 istruzioni, con ogni immagine associata a istruzioni che dovrebbero elicitarre l'astensione attraverso molteplici categorie. Il dataset è progettato per essere verificabile, con ogni istruzione tracciabile fino all'ancoraggio visivo specifico e alla derivazione dei vincoli che ne hanno giustificato la creazione.

Risultati Sperimentali

Gli autori hanno valutato diversi VLM all'avanguardia, inclusi GPT-5.4, Claude Sonnet 4.6, Gemini Robotics ER 1.6 Preview e Gemini 2.5 Flash.

• Prestazioni di Base: Tutti i modelli hanno mostrato debolezze significative nell'astensione. Il modello generale con le prestazioni migliori, Gemini 2.5 Flash, ha astenuto solo sul 39,0% delle istruzioni. Il pianificatore specifico per l'embodied, Gemini Robotics ER 1.6 Preview, ha performance peggiori, astenendo solo sul 16,5%.
• Disparità per Categoria: I modelli hanno performato relativamente bene sui casi di "Riferente Mancante" (41,3% di astensione) ma sono falliti drammaticamente nei compiti di "Riferente Ambiguo" (2,6% di astensione), suggerendo una tendenza a indovinare piuttosto che richiedere chiarimenti.
• Scala del Modello e Ragionamento: All'interno della famiglia GPT-5.4, l'aumento della scala del modello (da Nano a Mini a Full) ha avuto scarso effetto sui tassi complessivi di astensione. Sorprendentemente, l'aumento del livello di "ragionamento" (da nessuno ad alto) ha ridotto le prestazioni di astensione, indicando che un'ulteriore deliberazione incoraggia i modelli a costruire piani d'azione plausibili o soluzioni alternative piuttosto che riconoscere l'invalidità.
• Modalità di Fallimento: L'analisi delle risposte non astenute ha rivelato che i modelli spesso "allucinano" target concreti, inventano capacità sensoriali o propongono strategie di ricerca-azione per bypassare l'incertezza. Il cluster di fallimenti più grande è stato la "Selezione Arbitraria del Target", dove i modelli risolvevano l'ambiguità scegliendo un target senza chiarimenti.

Strategie di Mitigazione

Lo studio ha testato se il prompting potesse migliorare le prestazioni:

• Prompting Difensivo: Istruire esplicitamente il modello ad astenersi in condizioni specifiche.
• Apprendimento in Contesto (ICL): Fornire pochi esempi di comportamento corretto di astensione.
• Approccio Combinato: Utilizzare entrambe le strategie.

L'approccio combinato ha prodotto i miglioramenti più elevati, aumentando il tasso di astensione per Gemini Robotics ER 1.6 Preview al 93,6% e per GPT-5.4 Mini all'88,6%. Tuttavia, gli autori notano che nessun singolo approccio ha risolto completamente il problema e che significative modalità di fallimento sono persistite anche con la mitigazione.

Significato e Affermazioni

Il paper posiziona l'astensione come una capacità distinta che deve essere misurata esplicitamente nella valutazione dell'AI embodied, separatamente dal successo nell'esecuzione del compito. Gli autori affermano che:

1. I VLM all'avanguardia attuali, anche quelli con capacità di ragionamento avanzate, sono soggetti alla "Sindrome del Sì-Man", eseguendo con sicurezza istruzioni che sono ambigue, non ancorate o fisicamente impossibili.
2. I benchmark esistenti sono insufficienti perché mancano dell'ancoraggio visivo e della verifica dei vincoli fisici richiesti per la robotica.
3. ROBOABSTENTION fornisce un metodo scalabile, verificabile e programmaticamente controllabile per generare tali benchmark, andando oltre l'annotazione manuale.
4. Sebbene le strategie di prompting possano migliorare sostanzialmente le prestazioni, la questione fondamentale dei modelli che ricorrono all'azione in condizioni di incertezza rimane una sfida aperta, suggerendo che le architetture attuali potrebbero mancare dei meccanismi intrinseci per riconoscere i propri limiti negli ambienti fisici.

Gli autori concludono che il benchmark non dovrebbe essere interpretato come prova di prontezza per il dispiegamento nel mondo reale, poiché si concentra su istruzioni benigne non eseguibili e non copre l'uso malevolo avversario o le interazioni a lungo orizzonte. Il lavoro mira a supportare lo sviluppo di modelli che possano meglio riconoscere l'incertezza ed evitare di agire sotto assunzioni invalide.