Riepilogo Tecnico: Primitive 3D come Linguaggio Spaziale per i VLM

Enunciato del Problema

I Modelli Vision-Language (VLM) mostrano un paradosso sorprendente riguardo al ragionamento spaziale. Sebbene spesso falliscano in semplici domande spaziali in linguaggio naturale (ad esempio, contare oggetti o identificare relazioni) quando presentati con un'immagine, gli stessi modelli possono frequentemente generare codice eseguibile (ad esempio, Three.js, Unity C#) che ricostruisce la scena 3D con conteggi corretti degli oggetti, classi e posizioni approssimative. Ciò suggerisce che i VLM possiedono una conoscenza spaziale latente non accessibile attraverso interrogazioni dirette in linguaggio naturale. Il documento ipotizza che questa discrepanza rappresenti un "fallimento di instradamento del compito", in cui la capacità del modello di esternalizzare la comprensione spaziale tramite codice strutturato non viene trasferita efficacemente alla risposta diretta alle domande. Inoltre, i benchmark esistenti spesso confondono la competenza spaziale con la familiarità con un formato di output specifico (linguaggio naturale o un singolo linguaggio di codice), non riuscendo a isolare le genuine capacità di ragionamento spaziale.

Metodologia

Gli autori propongono un framework centrato su primitive geometriche 3D (cubi, sfere, cilindri, ecc.) espresse in codice eseguibile come strumento diagnostico e rappresentazione intermedia. La metodologia è composta da tre componenti principali:

1. Benchmark SPATIALBABEL

Per disaccoppiare la comprensione spaziale dalla familiarità con il formato, gli autori introducono SPATIALBABEL, un benchmark che valuta i VLM su due domini di scena e sei linguaggi di codice-scena.

• Domini di Scena:
  • Primitive Split: 1.000 scene generate proceduralmente in Blender contenenti 3–20 primitive geometriche senza occlusioni maggiori. Ciò fornisce una verità di base esatta con zero rumore di etichetta.
  • Hypersim Split: 405 scene interne fotorealistiche con geometrie complesse e sostanziali occlusioni, che fungono da dominio di validazione più difficile.
• Linguaggi di Codice-Scena: Il benchmark valuta la ricostruzione attraverso sei formati distinti: Three.js (JavaScript), Unity C#, Blender Python, Open3D Python, JSON Canonico (uno schema dichiarativo introdotto in questo lavoro) e un DSL (Domain Specific Language) per le scene.
• Compiti:
  • Ricostruire: Generare codice eseguibile per ricreare la scena.
  • QA: Rispondere a domande in linguaggio naturale sulla scena (localizzazione, relazione, conteggio, esistenza, confronto).
• Metriche: Un SpatialBabel-Reconstruct-Score composito che aggrega il tasso di analisi, F1 (corrispondenza degli oggetti abbinata con l'algoritmo ungherese), accuratezza della classe, fedeltà della posizione e fedeltà della scala.

2. Code-CoT (Catena di Pensiero tramite Codice)

Una strategia di inferenza senza addestramento progettata per colmare il divario al momento dell'inferenza.

• Meccanismo: Invece di rispondere direttamente a una domanda spaziale, al modello viene prima chiesto di ricostruire la scena come codice eseguibile basato su primitive. Successivamente, risponde alla domanda spaziale condizionato alla propria output strutturata.
• Razionale: Questo costringe il modello a instradare il proprio ragionamento attraverso il "linguaggio spaziale" del codice, dove ha dimostrato una maggiore competenza, prima di tradurre tale comprensione nuovamente in linguaggio naturale.

3. S3-FT (Fine-Tuning Spaziale Auto-Supervisionato)

Un intervento al momento dell'addestramento per distillare la conoscenza spaziale nel ragionamento visivo generale, mirando specificamente a modelli con capacità di codifica più deboli.

• Pipeline:
  1. Generazione di Pseudo-GT: Il VLM di base genera codice di ricostruzione Three.js per scene primitive. Un filtro di qualità sintattica garantisce che il codice sia valido.
  2. Estrazione delle Annotazioni: Il codice generato viene analizzato in modo deterministico per estrarre annotazioni spaziali strutturate (conteggi degli oggetti, classi, pose 3D, relazioni). Queste vengono combinate con coppie di domande e risposte in linguaggio naturale generate tramite regole e descrizioni della scena.
  3. Fine-Tuning: Lo stesso VLM viene affinato (utilizzando LoRA) su questo mix multi-compito.
• Caratteristica Chiave: Il processo è interamente auto-supervisionato; non richiede etichette umane né un modello "insegnante" esterno, poiché il segnale di supervisione è derivato dalla generazione di codice ad alta fedeltà del modello stesso.

Risultati Chiave

Risultati del Benchmark (SPATIALBABEL)

• Performance Dipendente dal Linguaggio: Le prestazioni dei VLM variano drasticamente tra i linguaggi di codice-scena. Per lo stesso modello sulle stesse immagini, i punteggi F1 di rilevamento degli oggetti possono variare fino a 5,7 volte a seconda del linguaggio target.
• Correlazione Debole: Esiste una debole correlazione (Pearson $r \approx 0,12$) tra il punteggio F1 di ricostruzione di un modello e la sua accuratezza diretta nelle risposte alle domande. Un modello può essere altamente accurato nella generazione di codice ma scarso nel rispondere a domande dirette, confermando il fallimento di instradamento del compito.
• Efficacia di Code-CoT: Code-CoT migliora i punteggi QA sulle scene primitive fino a +6,4% (ad esempio, Gemini-2.5-Pro) e aumenta l'accuratezza su CV-Bench-3D per foto reali di +5,0% per modelli con forti capacità di codifica. Tuttavia, mostra rendimenti decrescenti o regressione su scene affollate e fotorealistiche, dove il vocabolario delle primitive è insufficiente.

Performance di S3-FT

• Guadagni In-Distribution: L'addestramento su immagini primitive da solo migliora significativamente le prestazioni sul compito SpatialBabel-Primitive-QA. Per Qwen3-VL-8B, S3-FT produce miglioramenti da +4,6% a +8,6% attraverso le modalità di inferenza.
• Trasferimento Out-of-Distribution: Crucialmente, l'addestramento solo su scene primitive si trasferisce a benchmark di ragionamento visivo generale.
  • HallusionBench: +17% di miglioramento.
  • CV-Bench-2D: +9,7% di miglioramento.
  • CV-Bench-3D: +3,3% di miglioramento.
• Generalizzazione: La ricetta si trasferisce tra diverse famiglie di modelli (Qwen, InternVL, LLaVA) e scale, sebbene i guadagni siano dipendenti dalla capacità.

Significato e Affermazioni

Il documento stabilisce che le primitive geometriche 3D in codice eseguibile fungono sia da strumento diagnostico che da vocabolario spaziale trasferibile per i VLM.

1. Strumento Diagnostico: Il benchmark SPATIALBABEL rivela che la comprensione spaziale è spesso intrecciata con prior specifici di generazione del codice. I grandi divari di performance tra i linguaggi indicano che i benchmark standard potrebbero misurare la familiarità con il formato piuttosto che il vero ragionamento spaziale.
2. Vocabolario Trasferibile: Il successo di Code-CoT e S3-FT suggerisce che i VLM hanno implicitamente "tokenizzato" lo spazio 3D attraverso primitive geometriche durante il pre-addestramento. Sfruttando questa rappresentazione strutturata, i modelli possono accedere a conoscenze spaziali latenti altrimenti inaccessibili tramite prompt diretti in linguaggio naturale.
3. Distillazione Auto-Supervisionata: S3-FT dimostra che un ragionamento spaziale di alta qualità può essere distillato in VLM generali senza annotazione umana o modelli insegnante, a condizione che il modello di base possa generare ricostruzioni primitive sufficientemente accurate. Questo abbassa la barriera per migliorare le capacità spaziali nei modelli open-weight.

Gli autori concludono che, sebbene l'approccio mostri limiti chiari su scene fotorealistiche altamente complesse e occluse (dove l'approssimazione tramite primitive si rompe), fornisce un percorso robusto per potenziare il ragionamento spaziale nei VLM attraverso la rappresentazione intermedia del codice 3D eseguibile.