SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization

Riepilogo Tecnico: SceneFunRI – Ragionare sull'Invisibile per la Localizzazione Funzionale di Oggetti Guidata da Compiti

Definizione del Problema
I modelli Vision-Language (VLM) attuali faticano nel ragionamento spaziale in scenari reali dove gli oggetti target sono completamente invisibili. Mentre gli esseri umani possono inferire le posizioni di oggetti funzionali occlusi utilizzando il contesto e la conoscenza di senso comune, i benchmark e i modelli esistenti si basano largamente su indizi visibili o su occlusioni parziali (ad esempio, ombre o riflessi). Il documento identifica un vuoto nella valutazione della capacità di ragionare su oggetti "invisibili" – target che si trovano completamente al di fuori del campo visivo e privi di evidenze visive indirette, richiedendo inferenze basate esclusivamente sulle istruzioni del compito, sulla disposizione della scena e su priori di senso comune.

Metodologia
Gli autori introducono SceneFunRI, un benchmark specificamente progettato per valutare il "Ragionamento sull'Invisibile" (RI).

• Costruzione del Dataset: Basato sul dataset SceneFun3D, il benchmark utilizza una pipeline semi-automatica per generare 855 istanze guidate da compiti. Il processo prevede:
  1. Selezione dei Frame: Identificazione dei frame in cui un oggetto funzionale esiste all'interno della visuale della telecamera ma è completamente occluso ($V_o = 0\%$) nell'immagine 2D.
  2. Generazione del Ground Truth: Proiezione delle annotazioni 3D della nuvola di punti degli oggetti nascosti sul piano dell'immagine 2D per creare le bounding box di ground truth.
  3. Controllo di Qualità: La verifica umana garantisce che i compiti abbiano indizi contestuali sufficienti (ad esempio, la presenza di un letto per inferire la posizione di un comodino) e istruzioni non ambigue, filtrando i 1.232 candidati iniziali fino a 855 istanze di alta qualità.
• Metriche di Valutazione: L'Intersezione su Unione (IoU) standard è considerata troppo severa per target invisibili. Gli autori propongono:
  • Accuratezza di Contenimento (CAcc@$\theta$): Misura se la box di ground truth è contenuta all'interno della regione predetta, penalizzando previsioni eccessivamente ampie.
  • Dist: Una metrica normalizzata della distanza tra angoli per valutare la vicinanza della localizzazione anche quando le box non si sovrappongono.
• Strategie di Prompting: Lo studio analizza tre categorie di prompting:
  1. Prompting con Istruzioni Forti: Istruire esplicitamente i modelli a ignorare gli oggetti visibili e concentrarsi sulle regioni invisibili o applicare regole di senso comune.
  2. Prompting basato sul Ragionamento: Utilizzo del Chain-of-Thought (CoT) e del CoT con Auto-riflessione (CoT-SR) per incoraggiare inferenze passo dopo passo.
  3. Processo Spaziale di Eliminazione (SPoE): Un framework iterativo ispirato al processo decisionale umano. Il modello partiziona progressivamente l'immagine in regioni, elimina i candidati a bassa probabilità e restringe lo spazio di ricerca fino a localizzare la posizione del target.

Risultati Chiave

• Prestazioni del Modello: Anche il baseline più forte, Gemini 3 Flash, ottiene un CAcc@75 basso del 15,20 e un Dist di 28,65, rimanendo significativamente indietro rispetto al baseline umano (CAcc@75 del 66,43). I modelli open-source (Qwen, InternVL, Gemma) e i modelli specializzati nel ragionamento spaziale generalmente performano peggio, indicando che i VLM attuali mancano di capacità robuste per il ragionamento sull'invisibile.
• Analisi del Prompting:
  • Istruzioni Forti: Il prompt "Hidden" (ignorare gli oggetti visibili) ha prodotto miglioramenti stabili, suggerendo capacità di ragionamento latenti. Tuttavia, l'aggiunta di conoscenza di senso comune esplicita ("Common" prompt) ha spesso degradato le prestazioni, evidenziando una disconnessione tra la comprensione del linguaggio e l'ancoraggio spaziale.
  • Ragionamento: CoT e CoT-SR hanno migliorato le prestazioni solo per modelli più grandi (Qwen 3.5 27B/122B) che mancano di ragionamento strutturato automatico, mentre modelli come Gemini 3 Flash (che generano intrinsecamente ragionamento strutturato) non hanno visto guadagni o hanno subito un lieve peggioramento.
  • SPoE: La strategia SPoE ha ridotto efficacemente la metrica Dist all'aumentare delle iterazioni, dimostrando che i modelli sono più bravi nell'escludere regioni visibili a bassa probabilità che nell'inferire direttamente posizioni invisibili. Tuttavia, i modelli hanno faticato a determinare un punto di arresto ottimale, continuando spesso a eliminare regioni anche dopo che lo spazio di ricerca era sufficientemente vincolato.
• Risultati Qualitativi: I modelli hanno frequentemente identificato erroneamente oggetti con aspetti visivi o associazioni semantiche simili (ad esempio, confondendo un interruttore elettrico con una presa) e non sono riusciti a inferire dettagli fini come la posizione di maniglie di porte occluse, anche quando identificavano l'area generale del compito.

Significato e Affermazioni
Il documento afferma che SceneFunRI espone un limite fondamentale nei VLM attuali: l'incapacità di integrare l'intento del compito, i priori di senso comune e l'ancoraggio spaziale per ragionare in condizioni di completa incertezza visiva.

• Contributo del Benchmark: Estende la ricerca sul ragionamento spaziale dalle relazioni visibili ed esplicite all'inferenza invisibile e implicita, fornendo un banco di prova necessario per agenti incarnati e processi decisionali nel mondo reale.
• Insight Metodologico: Gli autori sostengono che inferire direttamente regioni nascoste sia una sfida sostanziale. Invece, il documento suggerisce che un approccio più praticabile per i modelli attuali potrebbe essere l'analisi delle regioni osservabili per escludere candidati a bassa probabilità (come dimostrato da SPoE), piuttosto che tentare la generazione diretta di posizioni invisibili.
• Direzione Futura: I risultati motivano lo sviluppo di modelli in grado di integrare meglio la ricerca consapevole dell'incertezza e un accoppiamento più stretto tra intento semantico e ancoraggio spaziale, poiché i modelli attuali rimangono instabili nel ragionare su regioni invisibili.