💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

Il documento introduce SEER, un'interfaccia di inferenza senza addestramento per modelli Vision-Language congelati che migliora la classificazione delle relazioni spaziali costruendo viste di evidenza specifiche per la query con ruoli soggetto/oggetto espliciti e contesto geometrico complementare, riducendo così significativamente gli errori causati da viste globali ambigue o da una selezione errata delle istanze.

Autori originali: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle in cui due pezzi devono incastrarsi perfettamente. Nel mondo dell'intelligenza artificiale, esistono i "Modelli Vision-Linguistici" (VLM) — cervelli informatici super intelligenti capaci di guardare un'immagine e leggere una domanda su di essa. Sono bravissimi a riconoscere gli oggetti; se mostri loro una foto di un gatto e di un cane, sanno distinguere l'uno dall'altro. Ma la parte difficile è questa: quando chiedi loro "Il gatto si trova a sinistra del cane?", a volte si confondono. Potrebbero riconoscere correttamente gli animali ma scambiare le loro posizioni, oppure potrebbero indovinare basandosi su ciò che hanno letto nei libri piuttosto che su ciò che vedono realmente. Questo è come uno studente che conosce le definizioni di "sinistra" e "destra", ma continua a indicare la direzione sbagliata mentre guarda una mappa. Gli scienziati tengono a risolvere questo problema perché, se questi cervelli artificiali non riescono a comprendere le relazioni spaziali, non possono aiutarci in compiti come guidare auto, navigare con i robot o leggere diagrammi complessi in modo sicuro.

Entra in scena SEER, un nuovo e astuto trucco per questi cervelli artificiali che non richiede di insegnare loro nulla di nuovo. Pensa a SEER come a un sistema di "riflettore e etichetta". Invece di lasciare che l'IA fissi l'intera immagine disordinata e indovini, SEER prima trova silenziosamente i due elementi specifici di cui parla la domanda (come il gatto e il cane). Poi, crea una vista speciale, ingrandita, dedicata proprio a quei due elementi. Disegna un riquadro rosso attorno al soggetto e un riquadro blu attorno all'oggetto, etichettandoli chiaramente come "Soggetto" e "Oggetto". Nasconde le possibili risposte (come "sinistra" o "destra") durante questa fase, in modo che l'IA non si affidi alle opzioni di risposta per decidere dove guardare. Obbligando l'IA a concentrarsi su una vista pulita e con etichette di soli due elementi, SEER la aiuta a prendere decisioni molto migliori. I ricercatori hanno scoperto che questo semplice metodo di "ricentramento e etichettatura" ha reso l'IA significativamente più brava a comprendere le relazioni spaziali, migliorando la sua precisione di circa il 4% in media in vari test.

Il Problema: La "Sfocatura Gigante" dell'IA

Immagina di essere in una stanza affollata di persone, e qualcuno ti chiede: "La persona con il cappello rosso si trova a sinistra della persona con la maglietta blu?". Se dai solo un'occhiata veloce all'intera stanza, potresti sbagliare. Magari vedi un cappello rosso all'estrema sinistra e una maglietta blu all'estrema destra, ma le persone specifiche di cui parla la domanda sono in realtà vicine tra loro proprio al centro.

I modelli di IA attuali spesso commettono lo stesso errore. Possono vedere gli oggetti, ma si perdono nella "visione globale" dell'immagine. Potrebbero fare affidamento su ciò che pensano accada di solito (come "i gatti sono solitamente a sinistra") invece di controllare effettivamente i punti specifici nell'immagine. Questo è chiamato "allucinazione" o "fallimento del grounding" (ancoraggio) della risposta alle prove visive corrette. L'articolo sostiene che il problema non sia che l'IA sia troppo stupida per capire "sinistra" o "destra", ma che stia guardando la parte sbagliata dell'immagine o che sia confusa da troppo rumore di fondo.

La Soluzione: La Torcia "Auto-Ancorata" di SEER

Gli autori di questo articolo, lavorando presso l'Istituto di Tecnologia Informatica in Cina, hanno ideato un metodo chiamato SEER (Self-grounded Evidence for Entity-Relation Reasoning). È come dare all'IA una torcia e un paio di evidenziatori, ma con una regola molto severa: Non guardare ancora la chiave di risposta.

Ecco come funziona SEER, passo dopo passo:

La Ricerca "Cieca": Quando l'IA riceve una domanda come "La tazza è a sinistra del libro?", SEER chiede prima all'IA di trovare la tazza e il libro nell'immagine. Fondamentalmente, nasconde le possibili risposte (sinistra, destra, sopra, sotto) durante questa ricerca. Questo impedisce all'IA di fare affidamento sulla parola "sinistra" e poi trovare semplicemente una tazza sul lato sinisto dell'immagine, indipendentemente da dove si trovi il libro.
La Vista "Ingrandita": Una volta che l'IA ha trovato la tazza e il libro, SEER ritaglia una piccola immagine contenente solo questi due elementi. Disegna un riquadro rosso intorno alla tazza (il soggetto) e un riquadro blu intorno al libro (l'oggetto). Li etichetta chiaramente.
Il Controllo "Esplicito del Ruolo": Ora, l'IA guarda questa immagine pulita e ingrandita. Vede: "Ok, il riquadro rosso è la tazza, il riquadro blu è il libro. Ora, il riquadro rosso è a sinistra del riquadro blu?". Poiché lo sfondo è sparito e i ruoli sono etichettati, l'IA è molto meno probabile che si confonda.
Il "Doppio Controllo" (Opzionale): A volte, l'IA potrebbe essere ancora incerta. SEER ha un trucco intelligente chiamato "coerenza reciproca". Scambia i ruoli: "Ok, ora fingi che il libro sia il soggetto e la tazza sia l'oggetto. Il libro è a destra della tazza?". Se la risposta dell'IA ha senso in entrambe le direzioni (se A è a sinistra di B, allora B deve essere a destra di A), conferma la risposta. Se le risposte si contraddicono, l'IA capisce che qualcosa non va e riprova.

Cosa hanno mostrato gli esperimenti

I ricercatori hanno testato questo metodo su diversi dataset, che sono come enormi collezioni di coppie immagine-domanda. Hanno utilizzato un set di test "congelato", il che significa che hanno scelto le domande di test prima di iniziare a eseguire gli esperimenti, in modo da non poter accidentalmente modificare il loro metodo per memorizzare semplicemente le risposte.

La Grande Vittoria: Su un set di test chiamato GQA-Train900 (che contiene 900 immagini uniche), SEER ha migliorato l'accuratezza dell'IA del +3,94% rispetto al semplice guardare l'immagine completa. Potrebbe sembrare poco, ma nel mondo dei benchmark dell'IA, un salto di quasi il 4% è una cosa enorme. Significa che l'IA ha risposto correttamente quasi 40 domande in più su 1.000.
Diversi Modelli, Stesso Successo: Hanno provato questo metodo su diversi tipi di cervelli artificiali (come Qwen3 e InternVL3.5). Ognuno di essi è migliorato. Ad esempio, su un altro test chiamato EmbSpatial, un modello è migliorato di un massiccio +11,79%.
Perché Funziona: I ricercatori hanno eseguito test speciali per capire perché funzionasse. Hanno scoperto che la magia non era solo l' "ingrandimento" (ritaglio dell'immagine). Era l'etichettatura. Quando hanno ritagliato l'immagine ma non hanno etichettato quale fosse il soggetto e quale l'oggetto, l'IA non è migliorata tanto quanto con le etichette. Le chiare etichette "Riquadro Rosso = Soggetto" e "Riquadro Blu = Oggetto" sono state la chiave. Hanno costretto l'IA a prestare attenzione ai ruoli specifici degli oggetti.
Cosa Non Ha Risolto: Il metodo non è perfetto. Ha avuto qualche difficoltà con la parola "su" (come "la tazza è sopra il tavolo") perché "sopra" è difficile da distinguere da un semplice "sopra" senza la profondità 3D. Inoltre, non ha aiutato molto quando l'IA doveva indovinare "vero" o "falso" in domande binarie, suggerendo che il trucco funziona meglio quando ci sono scelte specifiche da fare.

Conclusione

SEER dimostra che non è sempre necessario costruire un'IA più grande, più intelligente o più costosa per risolvere un problema. A volte, basta cambiare il modo in cui si presenta il problema all'IA. Nascondendo le opzioni di risposta durante la ricerca e presentando poi una vista pulita e con etichette di soli gli oggetti rilevanti, l'IA può smettere di tirare a indovinare e iniziare a vedere davvero.

Gli autori precisano che questo non è un bacchetta magica che risolve ogni problema spaziale. L'IA deve comunque essere capace di trovare gli oggetti in primo luogo. Ma quando gli oggetti vengono trovati, SEER agisce come una guida utile, assicurando che l'IA guardi la cosa giusta nel modo giusto. È un promemoria del fatto che, nella corsa verso un'IA più intelligente, a volte l'aggiornamento migliore è un'interfaccia migliore.

Sintesi Tecnica: SEER – Un'Interfaccia di Evidenza Auto-Grounded per la Classificazione Controllata delle Relazioni Spaziali

Definizione del Problema

I modelli Vision-Language (VLM) falliscono frequentemente nel ragionamento sulle relazioni spaziali, anche quando riescono a riconoscere correttamente le singole entità. Benchmark come VSR, What'sUp, GQA e ARO dimostrano che i modelli spesso riconoscono gli oggetti ma falliscono nel confrontare le loro posizioni, affidandosi a prior linguistici, concentrandosi sulle istanze errate o interpretando viste globali ambigue. Gli attuali checkpoint orientati al ragionamento e i modelli multimodali non garantiscono intrinsecamente la selezione dell'evidenza visiva corretta. Il problema centrale è che un'evidenza spaziale è affidabile solo quanto l'input stesso; se il modello si concentra su un'istanza errata o manca di una condizionamento esplicito dei ruoli, la premessa per la predizione della relazione viene corrotta prima che la decisione venga presa.

Metodologia: SEER

SEER (Self-grounded Evidence for Entity-Relation Reasoning) è un'interfaccia di evidenza per l'inferenza, priva di addestramento (training-free), progettata per VLM congelati (frozen). Non addestra nuovi modelli né si affida a detector esterni. Invece, costruisce stati di evidenza visiva specifici per la query per guidare il processo decisionale del VLM. Il metodo opera in quattro fasi:

1. Target-Relation-Hidden Self-Grounding

SEER localizza prima la coppia soggetto ( $S$ ) e oggetto ( $O$ ) interrogata utilizzando un grounder VLM congelato ( $G$ ). Fondamentalmente, questo passaggio di grounding è target-relation-hidden: al modello vengono forniti l'immagine e i nomi delle entità, ma gli vengono esplicitamente sottratti le relazioni candidate e le opzioni di risposta. Ciò impedisce al grounder di far pendere la selezione dei box verso una specifica relazione.

Validazione: I box vengono validati per area positiva e coordinate valide. Se il grounding fallisce, il sistema ricorre all'immagine completa.

2. Costruzione di Stati di Evidenza Complementari

SEER genera tre distinti tipi di evidenza per la stessa coppia soggetto/oggetto:

Full Image Evidence (Evidenza dell'Immagine Completa): L'immagine originale e la domanda, preservando il contesto globale. Questo funge da fallback sicuro.
Self-Grounded Marker View (Vista con Marker Auto-Grounded): Una vista ritagliata (crop) contenente l'unione dei bounding box del soggetto e dell'oggetto. Il soggetto è contrassegnato da un box rosso con l'etichetta "S", e l'oggetto con un box blu con l'etichetta "O". Questo stato fornisce refocus locale e assegnazione esplicita del ruolo, forzando il modello ad attendere alla coppia specifica e ai loro ruoli linguistici senza le relazioni candidate.
Threshold-Eligible Geometry (Geometria Idonea alla Soglia): Un candidato deterministico derivato dai centri e dalle estensioni dei box. È idoneo solo per specifiche relazioni (ad esempio, sinistra/destra tramite spostamento orizzontale, dentro/contiene tramite copertura del box) e si astiene per altre (ad esempio, davanti/dietro, sopra/sotto) dove la geometria 2D è insufficiente.

3. Decisione dell'Evidenza Senza Addestramento

La fase decisionale aggrega le predizioni dai disponibili stati utilizzando una regola fissa e deterministica:

Decisione Forward: Se la Geometria è idonea e il suo punteggio di layout supera una soglia ( $\tau=0.5$ ), essa ha la priorità. Altrimenti, il sistema seleziona lo stato visivo (Full o Marker) con il gap di punteggio delle opzioni più ampio (la differenza tra il candidato principale e il secondo miglior candidato).
Raffinamento della Consistenza Reciproca: Per i protocolli con relazioni inverse esatte (ad esempio, sinistra $\leftrightarrow$ destra), SEER esegue un controllo reciproco. Scambia i ruoli soggetto e oggetto (e i marker S/O) e rivaluta la query. Se esattamente uno stato (Full o Marker) rispetta la relazione inversa mentre l'altro no, il sistema passa allo stato consistente. Questo funge da meccanismo di risoluzione dei conflitti solo quando esiste un'inversa esatta.

Contributi Chiave

Interfaccia di Evidenza Specifica per la Query: Il paper formula la risposta spaziale come un problema di interfaccia di evidenza, introducendo il target-relation-hidden self-grounding. Questo trasforma la coppia interrogata in evidenza visiva con ruoli espliciti senza addestramento VLM o detector esterni.
Raffinamento della Consistenza Reciproca: Un raffinamento opzionale e specifico per il protocollo che utilizza lo scambio esatto di soggetto/oggetto per ottenere un indizio di consistenza osservabile per gli stati di evidenza in conflitto, senza richiedere calibrazione appresa o etichette target.
Isolamento del Meccanismo: Attraverso controfatti corrispondenti (ad esempio, ritaglio senza marker, scambio di identità S/O, uso di box oracle), gli autori isolano il refocus locale e il condizionamento del ruolo esplicito come i driver primari del miglioramento, piuttosto che il semplice ritaglio o ulteriori istruzioni testuali.

Risultati Sperimentali

SEER è stato valutato su set di test e pool di sviluppo immagine-disgiunti e congelati su molteplici modelli (Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5) e dataset (GQA, Visual Genome, EmbSpatial, VSR, SpatialSense).

GQA-Train900 (Test Congelato): Su un set di test di 900 immagini uniche congelate prima della valutazione, SEER ha ottenuto un guadagno aggregato di +3.94 rispetto alla baseline dell'immagine completa (Full-image) (95% CI [2.17, 5.72]). Il guadagno è rimasto positivo sotto il bilanciamento di hash indipendente dalle etichette (+2.56).
Pool di Sviluppo (GQA/VG): In 41.544 valutazioni, SEER ha migliorato tutte le otto combinazioni modello/dataset. Il guadagno aggregato è stato di +3.99 rispetto a Full. Il raffinamento della consistenza reciproca ha contribuito con un ulteriore +1.36 rispetto alla decisione Forward.
EmbSpatial: Su 2.434 domande coppia-relazione filtrate, SEER ha migliorato Qwen3-Instruct, Qwen3-Thinking e InternVL3.5 rispettivamente di +4.35, +5.09 e +11.79.
Analisi del Meccanismo:
- Local Refocus: Passare da Full a una vista ritagliata (Crop) ha prodotto un guadagno di +1.25.
- Role Conditioning: L'aggiunta di espliciti marker S/O al ritaglio (Self-Marker) ha prodotto un guadagno aggiuntivo di +1.64.
- Oracle Gap: L'uso di box ground-truth (Oracle-Marker) ha fornito un guadagno di +6.17 rispetto a Self-Marker, indicando un margine di miglioramento significativo nella qualità della localizzazione.
- Robustezza: I guadagni sono persistiti anche rimuovendo le relazioni "on" ambigue o i nomi di entità ripetuti, sebbene le prestazioni siano variate per tipo di relazione (ad esempio, forti guadagni su "inside", risultati misti su "right-of").
Limitazioni: Il metodo non si trasferisce uniformemente ai giudizi di verità binaria (ad esempio, VSR, SpatialSense), dove la consistenza reciproca è meno efficace. Le prestazioni sono limitate dalla qualità del self-grounding; sebbene l'IoU sia imperfetto, i guadagni persistono anche con una bassa sovrapposizione.

Significato e Rivendicazioni

Il paper sostiene che la costruzione esplicita dell'evidenza è l'intervento principale per migliorare il ragionamento spaziale nei VLM congelati. Rendendo le posizioni e i ruoli specifici della query congiuntamente ispezionabili, SEER mitiga i fallimenti causati dal concentrarsi sull'istanza errata o dal fare affidamento su prior linguistici.

Evidenza sopra il Ragionamento: I risultati suggeriscono che anche i checkpoint di ragionamento avanzati beneficiano significativamente di interfacce di evidenza visiva migliori, stabilendo che "una risposta spaziale è buona solo quanto la sua evidenza di input".
Efficienza Senza Addestramento: SEER ottiene questi guadagni senza addestramento, usando una regola fissa e un VLM congelato. Sebbene comporti un costo computazionale (circa 7.12x un singolo punteggio Full), gli autori notano che un gating adattivo può mantenere l'81% del guadagno con un costo di circa 2.57x.
Modestia: Gli autori dichiarano esplicitamente che SEER è un interfaccia di evidenza, non un certificato di grounding esatto. I miglioramenti non implicano un recupero perfetto delle istanze, e il metodo rimane limitato dalla visibilità delle relazioni nell'aspetto locale e nel layout 2D. Il raffinamento della consistenza reciproca è descritto come un "piccolo raffinamento specifico per il protocollo" piuttosto che una soluzione universale.

In conclusione, SEER dimostra che il controllo dello stato dell'evidenza visiva — specificamente attraverso il target-relation-hidden self-grounding e il condizionamento del ruolo esplicito — può riparare significativamente i fallimenti del ragionamento spaziale nei VLM, offrendo un'alternativa robusta e senza addestramento al retraining del modello o agli strumenti di detection esterni.