Sintesi Tecnica: I Token di Percezione Immaginativa Migliorano il Ragionamento Spaziale nei Modelli Linguistici Multimodali

1. Definizione del Problema

I modelli visione-linguaggio (VLM) eccellono attualmente nel riconoscimento di oggetti e attributi, ma faticano significativamente nel ragionamento spaziale, in particolare quando le informazioni richieste non sono direttamente osservabili nell'input. Molti compiti spaziali richiedono una percezione immaginativa: simulare punti di vista non osservati, tracciare traiettorie attraverso spazi occlusi o integrare viste parziali in una mappa spaziale coerente.

Gli approcci esistenti tentano di colmare questo divario utilizzando rappresentazioni visive intermedie (ad esempio, pensieri visivi, mappe di profondità o token di bounding box). Tuttavia, questi metodi si limitano a raffinare strutture già visibili nell'input o a estrarre attributi percettivi. Essi non riescono ad affrontare la sfida centrale della costruzione di rappresentazioni spaziali che non sono direttamente osservate, il che spesso richiede di predire la struttura spaziale mancante implicata dalle evidenze piuttosto che limitarsi a descrivere ciò che è visibile. Inoltre, forzare il ragionamento spaziale attraverso la catena di pensiero testuale (Chain-of-Thought, CoT) porta spesso a un disallineamento modale, poiché serializzare vincoli geometrici e trasformazioni di viewpoint in linguaggio è soggetto a errori ed inefficiente.

2. Metodologia

2.1. Concetto Centrale: Token di Percezione Immaginativa (IPT)

Gli autori propongono i Token di Percezione Immaginativa (IPT), una forma di rappresentazione percettiva intermedia che esternalizza ciò che un VLM percepirebbe sotto una configurazione spaziale alternativa, pur rimanendo coerente con l'input osservato. A differenza degli intermedi standard che descrivono strutture visibili, gli IPT rappresentano nuove viste spaziali (ad esempio, una vista da una nuova coordinata o una mappa dall'alto che integra più viste) che devono essere inferite.

2.2. Task e Dataset

Per studiare questa capacità, gli autori formulano tre task che richiedono la percezione immaginativa, costruendo dataset di circa 20.000 esempi ciascuno, spaziando tra ambienti simulati (AI2-THOR, Habitat) e contesti reali:

1. Prendere la Prospettiva (Perspective Taking - PET): Data una vista in prima persona e una posizione target, predire la scena dal nuovo punto di vista (ad esempio, "Dopo esserti spostato in 'X' e aver girato a sinistra, l'oggetto è alla tua sinistra o alla tua destra?"). La verità di base (ground truth) è un'immagine da un nuovo punto di vista.
2. Tracciamento del Percorso (Path Tracing - PT): Data una mappa dall'alto e viste frontali in vari punti di passaggio (waypoints), identificare gli oggetti visibili in un punto intermedio lungo un percorso. La verità di base è un'immagine laterale (rendering in prima persona dal punto intermedio).
3. Conteggio Multivista (Multiview Counting - MVC): Date più cornici in prima persona, determinare il conteggio totale di un oggetto specifico integrando le viste per risolvere occlusioni e duplicati. La verità di base è una mappa Bird's-Eye View (BEV) dall'alto.

Ogni dataset include coppie di immaginazioni intermedie (ground-truth) e risposte finali, accompagnate da benchmark di valutazione filtrati da esseri umani.

2.3. Architettura del Modello e Addestramento

Gli autori utilizzano BAGEL, un trasformatore decoder-only unificato che supporta nativamente la comprensione e la generazione intermecciate.

• Architettura: BAGEL impiega un design Mixture-of-Transformer-Experts (MoT) con esperti separati per la comprensione (token SigLIP2 ViT) e la generazione (token latenti FLUX VAE).
• Obiettivo di Addestramento: Il modello è addestrato con una perdita multi-task ($L_{total}$) composta da:
  1. Perdita di Flow-Matching ($L_{fm}$): Il modello impara a predire il campo di velocità per trasformare il rumore Gaussiano nella rappresentazione latente target della vista non osservata (l'IPT).
  2. Perdita di Modellazione del Linguaggio ($L_{lm}$): Il modello minimizza la log-verosimiglianza negativa dei token della risposta finale, condizionata dal contesto osservato e dai token immaginativi di ground-truth.
• Modalità di Inferenza:
  • Modalità Immaginazione: Il modello genera l'immagine intermedia, la ricodifica e la usa come contesto per predire la risposta.
  • Modalità Solo Risposta: Il modello predice direttamente la risposta senza generare un'immagine al momento dell'inferenza, facendo affidamento sulle rappresentazioni interne apprese durante l'addestramento.

3. Risultati Chiave

3.1. Performance sui Task Spaziali

Utilizzando il backbone BAGEL, la supervisione tramite IPT migliora significativamente il ragionamento spaziale in tutti e tre i task rispetto ai baseline:

• Conteggio Multivista (MVC): L'IPT migliora l'accuratezza del 3,4% rispetto all'addestramento con solo etichette (67,3% vs 63,9%) e supera la CoT testuale (62,3%).
• Prendere la Prospettiva (PET): L'IPT raggiunge il 96,8% di accuratezza sui dati in-domain di AI2-THOR, superando la sola etichetta (il massimo è 97,5%, ma l'IPT è competitivo) e battendo significativamente la CoT testuale (83,1%). Sui dati out-of-domain (Habitat), l'IPT raggiunge l'87,0%, superando la sola etichetta (82,0%).
• Tracciamento del Percorso (PT): L'addestramento misto (IPT + solo etichette) ottiene i risultati migliori, raggiungendo il 66,7% sui dati sintetici e il 58,6% sui benchmark del mondo reale, superando sia la sola etichetta che la CoT testuale.

3.2. Confronto con la Catena di Pensiero Testuale (Textual CoT)

Il paper rileva che la CoT testuale è spesso dannosa in questi task. Ad esempio, su PET, la CoT riduce le prestazioni all'83,1% rispetto al 96,8% dell'IPT. Gli autori attribuiscono ciò a un disallineamento modale: forzare il ragionamento spaziale (cambi di viewpoint, occlusioni) attraverso il linguaggio introduce rumore e compete con la capacità di predizione della risposta. Al contrario, gli IPT rappresentano queste relazioni direttamente nella modalità visiva.

3.3. Inferenza e Generalizzazione

• Rappresentazioni Interne: Fondamentalmente, i guadagni di performance persistono anche quando il modello non genera un'immagine durante l'inferenza (modalità Answer-Only). Ciò suggerisce che l'addestramento con supervisione IPT aiuta i modelli a sviluppare rappresentazioni spaziali interne più forti.
• Apprendimento per Trasferimento (Transfer Learning): I modelli addestrati con IPT mostrano un miglioramento nel trasferimento su benchmark esterni (es. SAT, MessyTable) e altri task spaziali (ScanNet, MindCube), indicando che il ragionamento spaziale appreso si generalizza oltre i target specifici dei token.
• Ablazione sulla Risoluzione: Token latenti a risoluzione più elevata (Latent-64, 1024x1024) producono immaginazioni più nitide e spazialmente fedeli, correlandosi con una maggiore accuratezza nei task a valle.

4. Significato e Rivendicazioni

Il paper sostiene che i Token di Percezione Immaginativa forniscono un segnale di supervisione principato per il ragionamento su strutture non osservate. I principali contributi e rivendicazioni sono:

1. Nuova Rappresentazione Intermedia: Gli IPT sono distinti dai precedenti intermedi visivi perché predicono configurazioni spaziali non osservate invece di raffinare quelle visibili.
2. Allineamento Modale: Supervisionare i modelli con predizioni visive intermedie è più efficace della CoT testuale per i task spaziali, evitando i colli di bottiglia della serializzazione dei vincoli geometrici in linguaggio.
3. Generalizzazione: L'addestramento con supervisione immaginativa produce un ragionamento spaziale più forte e intermedi più interpretabili, allineati con la geometria sottostante del task, anche senza generazione esplicita di immagini durante l'inferenza.
4. Benchmarking: Il lavoro introduce i primi dataset progettati esplicitamente per addestrare e valutare il ragionamento spaziale intermedio visivamente ancorato, evidenziando un "gap di prospettiva" e la necessità di un'immaginazione spaziale costruttiva nei VLM.

Gli autori concludono che, sebbene gli attuali modelli unificati spesso scambino la robustezza della comprensione con la capacità di generazione, l'integrazione della supervisione della percezione immaginativa permette ai modelli di raggiungere prestazioni competitive con i forti modelli closed-source nei complessi compiti di ragionamento spaziale.