ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning

1. Enunciato del Problema

Il paper identifica un critico divario di validità nei benchmark attuali per la valutazione dell'Intelligenza Spaziale Visiva (VSI) nei Modelli Linguistici Visivi (VLM). Nello specifico, benchmark ampiamente utilizzati come VSI-Bench soffrono di due difetti sistemici che rendono le loro valutazioni inaffidabili nelle impostazioni moderne dei VLM:

1. Deriva tra Annotazione e Verità Terrena Video: I benchmark esistenti riutilizzano annotazioni 3D basate su nuvole di punti (originariamente progettate per la percezione 3D statica) per la valutazione basata su video. Queste annotazioni contengono spesso errori dovuti a ricostruzioni 3D imperfette, come oggetti mancanti visibili nel video grezzo, identità etichettate erroneamente o geometria corrotta (ad esempio, dimensioni delle stanze errate). Di conseguenza, molte coppie Domanda-Risposta (QA) sono fattualmente errate o ambigue se confrontate con le prove video reali.
2. Disallineamento Osservabilità-Scena: I benchmark tradizionali spesso assumono l'accesso alla "scena completa" (migliaia di fotogrammi), mentre i VLM pratici operano su fotogrammi campionati in modo sparso (ad esempio, 16–64 fotogrammi). Questo disallineamento significa che gli oggetti chiave interrogati nelle domande possono essere completamente assenti dai fotogrammi di input del modello, rendendo le domande irrisolvibili o rendendo la verità terrena non valida per il budget di input specifico.

Questi problemi portano a conclusioni inaffidabili, dove i modelli possono apparire performanti sfruttando i bias del dataset o allucinando risposte basate su priorità piuttosto che su prove visive.

2. Metodologia: Costruzione del Benchmark ReVSI

Gli autori propongono ReVSI, un benchmark e un protocollo di valutazione ricostruiti per garantire che ogni coppia QA sia risolvibile e corretta sotto gli input visivi effettivi del modello. La metodologia coinvolge tre pilastri fondamentali:

A. Riannotazione Allineata al Video

• Ambito: Riannotazione di 381 scene da 5 dataset (ScanNetv2, ScanNet++, ARKitScenes, 3RScan, MultiScan).
• Processo: Utilizzo di strumenti professionali di annotazione 3D per verificare e rifinire manualmente le etichette degli oggetti, le caselle di delimitazione 3D e la geometria della stanza direttamente rispetto ai fotogrammi video grezzi.
• Miglioramenti:
  • Open-Vocabulary: Espansione da 65 etichette a set chiuso a 504 etichette open-vocabulary (ad esempio, marchi specifici come "Sony PlayStation").
  • Correzione Geometrica: Correzione manuale di mesh 3D frammentati e oggetti mancanti.
  • Dimensioni della Stanza: Sostituzione dei calcoli algoritmici della forma Alpha con annotazione manuale di poligoni dei confini del pavimento per garantire misurazioni accurate dell'area.

B. Rigenerazione QA con Mitigazione del Bias

• Raffinamento dei Modelli: Ridisegno dei modelli di domanda per eliminare l'ambiguità (ad esempio, distinguere tra dimensioni di "stanza" e "scena", gestione di video multistanza).
• Riduzione del Bias:
  • Conteggio: Reintroduzione del conteggio di singoli oggetti (precedentemente escluso) e aggiunta del conteggio cumulativo per impedire ai modelli di indovinare "2" come valore predefinito.
  • Distanza: Rimozione di domande banali a breve raggio (<1m) che possono essere risolte tramite indizi 2D, concentrandosi sul ragionamento 3D a lungo raggio.
  • Verifica: Applicazione di una rigorosa verifica umana per garantire che ogni domanda sia supportata dalla specifica prova video.

C. Protocolli di Valutazione Consapevoli dei Fotogrammi

• Verità Terrena Adattiva: A differenza di VSI-Bench, che utilizza una singola verità terrena per tutti gli input, ReVSI genera coppie QA adattive ai fotogrammi. Per ogni budget di campionamento (16, 32, 64 o Tutti i fotogrammi), il sistema calcola quali oggetti sono visibili.
• Metadati di Visibilità: Fornisce metadati granulari sulla visibilità degli oggetti per fotogramma, consentendo esperimenti diagnostici controllati.
• Video Finti: Costruzione di video "test di stress" in cui i fotogrammi contenenti l'oggetto interrogato vengono rimossi (Query-Drop), sostituiti con fotogrammi neri o ripetuti. Questo crea scenari in cui la verità terrena è definitivamente zero (per il conteggio) o sconosciuta, testando se i modelli si affidano a prove visive o priorità memorizzate.

3. Contributi Chiave

1. Benchmark ReVSI: Un dataset ad alta fedeltà, verificato manualmente, con 381 scene e 5.365 oggetti, caratterizzato da etichette open-vocabulary e un allineamento coerente tra video e verità terrena.
2. Valutazione con Budget di Fotogrammi: Un protocollo che allinea la verità terrena della valutazione al numero specifico di fotogrammi forniti al modello, eliminando il problema della "domanda irrisolvibile".
3. Strumenti Diagnostici: Introduzione di test di stress con video finti per quantificare i tassi di allucinazione e distinguere tra ragionamento spaziale genuino e affidamento su priorità della scena.
4. Analisi Completa: Una dissezione sistematica del motivo per cui i benchmark esistenti falliscono e di come distorcano le capacità percepite sia dei modelli proprietari che di quelli open-source.

4. Risultati Chiave

Le valutazioni su ReVSI rivelano discrepanze significative rispetto a VSI-Bench:

• Modelli Proprietari vs Open-Source:
  • VSI-Bench: Suggeriva che i modelli open-source fossero competitivi o superiori ai modelli proprietari.
  • ReVSI: Rivela che i modelli proprietari (GPT-5.2, Gemini 3) superano costantemente i modelli open-source. I modelli open-source subiscono cali di accuratezza fino al 40% in compiti come il conteggio degli oggetti e la direzione relativa, esponendo la loro dipendenza dai bias del dataset piuttosto che da un ragionamento robusto.
• Efficacia del Fine-Tuning:
  • I modelli fine-tunati su dati spaziali 3D (ad esempio, Spatial-MLLM, SpaceR) hanno mostrato guadagni marginali o negativi su ReVSI rispetto ai loro modelli base.
  • In alcuni casi, il fine-tuning ha portato a un peggioramento delle prestazioni, suggerendo che i modelli hanno appreso pattern errati dalle annotazioni rumorose dei benchmark precedenti.
• Allucinazione e Priorità (Test di Stress):
  • Risultati Video Finti: Quando gli oggetti interrogati venivano rimossi dal video (Verità Terrena = 0), i modelli specializzati fine-tunati fallivano catastroficamente, prevedendo conteggi non nulli (ad esempio, prevedendo 2 cuscini quando nessuno era visibile).
  • Modelli Zero-Shot: I modelli proprietari e alcuni forti modelli open-source zero-shot (come Qwen3-VL) hanno previsto correttamente "0" in questi scenari, dimostrando un migliore ancoraggio alle prove visive.
  • InternVL3.5: Ha mostrato alti tassi di allucinazione, prevedendo spesso priorità standard della scena (ad esempio, "2") anche su video neri, indicando un grave overfitting sulle distribuzioni dei dati di addestramento.

5. Significato

• Correzione del Bias di Valutazione: Il paper dimostra che i benchmark precedenti sottostimavano sistematicamente i modelli proprietari e sovrastimavano i modelli open-source a causa di errori di annotazione e disallineamenti nel campionamento dei fotogrammi.
• Ancoraggio alle Prove: ReVSI dimostra che alti punteggi nei benchmark non garantiscono un vero ragionamento spaziale; i modelli possono raggiungere alta accuratezza memorizzando priorità della scena. Il nuovo protocollo "video finti" è essenziale per rilevare questo comportamento.
• Direzione Futura: Il lavoro evidenzia che la qualità dei dati e la fedeltà della supervisione sono più critiche della quantità di dati. Invoca un cambiamento nello sviluppo dei VLM verso una valutazione rigorosa e coerente con i fotogrammi per costruire capacità di ragionamento 3D realmente robuste per applicazioni nel mondo reale (ad esempio, robotica, AR/VR).

In sintesi, ReVSI fornisce un necessario "reality check" per il settore, stabilendo un nuovo standard per la valutazione dell'intelligenza spaziale visiva che dà priorità alla coerenza dell'input e alla fedeltà della verità terrena rispetto alla convenienza.