Token Warping Helps MLLMs Look from Nearby Viewpoints

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) basati su Transformer hanno dimostrato eccellenti capacità di ragionamento visivo, ma rimangono fragili di fronte ai cambiamenti di punto di vista (viewpoint changes).

• Limiti attuali: Quando si chiede a un MLLM di immaginare come appare una scena da un punto di vista diverso (ad esempio, ruotando la telecamera di 45 gradi), i modelli spesso falliscono.
• Fallimento del Warping a livello di Pixel: Le tecniche tradizionali di warping (deformazione) delle immagini a livello di pixel sono altamente sensibili a piccoli errori nella stima della profondità. Anche errori minimi nella mappa di profondità si traducono in distorsioni geometriche severe e artefatti visivi quando si tenta di generare una nuova vista, degradando la capacità del modello di comprendere il contenuto semantico.
• Mancanza di comprensione 3D reale: Anche modelli fine-tunati con supervisione 3D esplicita o che incorporano caratteristiche 3D mostrano scarse capacità di ragionamento spaziale trasformativo.

2. Metodologia: Token Warping

Gli autori propongono un approccio innovativo ispirato alle teorie cognitive dell'immaginazione mentale, che suggeriscono che la trasformazione della prospettiva si basa su rappresentazioni strutturali a livello di "parti" piuttosto che a livello di oggetto intero o di singolo pixel.

L'idea centrale è applicare le trasformazioni geometriche non ai pixel, ma agli image token (i vettori di embedding che rappresentano le patch dell'immagine nei modelli ViT-based MLLM).

Componenti Chiave del Metodo:

1. Robustezza dei Token: Gli esperimenti dimostrano che gli MLLM sono intrinsecamente tolleranti al rumore posizionale. Se si sposta leggermente il centro di una patch da cui estrarre un token, il modello mantiene la sua capacità di riconoscere il contenuto semantico. Questo rende i token un substrato ideale per la trasformazione geometrica rispetto ai pixel.
2. Strategie di Warping:
   • Forward vs. Backward Warping:
     • Forward: Proietta i token dalla vista sorgente alla vista target. Spesso genera una distribuzione di token irregolare e sparsa sulla vista target, creando input "fuori distribuzione" per il modello.
     • Backward (Scelto): Definisce una griglia densa e regolare sulla vista target e recupera i token corrispondenti dalla vista sorgente. Questo garantisce che l'input al MLLM mantenga la struttura spaziale regolare su cui è stato addestrato.
   • Strategie di Recupero (Fetching):
     • Nearest Fetching: Per ogni punto della griglia target, si recupera il token esistente più vicino nella griglia sorgente.
     • Adaptive Fetching: Si ritaglia dinamicamente una nuova patch dalla vista sorgente centrata esattamente sul punto target calcolato.
3. Pipeline:
   • Data un'immagine sorgente, una mappa di profondità e una posa della telecamera target.
   • Si costruisce un proxy 3D leggero dalla mappa di profondità.
   • Si esegue il ray casting per mappare le coordinate della griglia target alla vista sorgente.
   • Si recuperano i token (con strategia Nearest o Adaptive) e si forniscono all'MLLM insieme alla domanda, senza generare nuovi pixel.

3. Contributi Chiave

• Introduzione del Token Warping: Dimostrazione che la manipolazione degli spazi latenti (token) è superiore alla manipolazione dei pixel per il ragionamento spaziale in MLLM.
• ViewBench: Creazione di un nuovo benchmark specifico per valutare la capacità degli MLLM di ragionare su cambiamenti di punto di vista. Include tre sottocompiti:
  • ViewBench-Text: Relazioni spaziali (es. "A è a sinistra di B?").
  • ViewBench-Shape: Relazioni tra forme geometriche.
  • ViewBench-Object: Descrizione di oggetti dalla nuova prospettiva.
  • I dati sono costruiti su scene reali (ScanNet) con coppie di viste sovrapposte a diversi livelli di difficoltà (5-35% di sovrapposizione).
• Analisi Comparativa: Dimostrazione che il Backward Token Warping (specialmente con Nearest Fetching) supera tutte le alternative, inclusi modelli specializzati fine-tunati e metodi di sintesi di nuove viste generativi.

4. Risultati Sperimentali

I risultati su ViewBench mostrano un miglioramento significativo rispetto agli stati dell'arte:

• Prestazioni Superiori: Il metodo Backward Token Warping raggiunge le migliori prestazioni in tutti i task.
  • Su ViewBench-Text (sovrapposizione 5-15%), il metodo Backward-Nearest ottiene il 74.87% di accuratezza (con profondità ground-truth), superando di gran lunga i modelli specializzati come SpatialReasoner (46.73%) e VLM-3R (63.82%).
  • Anche con profondità stimate (predette), il metodo mantiene un vantaggio significativo rispetto al warping a livello di pixel.
• Robustezza al Rumore: A differenza del warping a pixel che crolla in presenza di errori di profondità, il warping a token mantiene la coerenza semantica.
• Efficienza: Il metodo richiede un calcolo minimo al momento dell'inferenza (solo mappatura geometrica e recupero token) e non necessita di fine-tuning aggiuntivo del modello MLLM.
• Confronto con Metodi Generativi: I metodi di sintesi di nuove viste (come GenWarp basato su diffusion) tendono ad allucinare oggetti o perdere dettagli, mentre il token warping preserva fedelmente il contenuto originale spostandolo solo geometricamente.

5. Significato e Impatto

Questo lavoro cambia il paradigma su come gli MLLM dovrebbero gestire la trasformazione spaziale:

1. Validazione Cognitiva: Conferma che le rappresentazioni a livello di "parti" (token) sono più adatte per l'immaginazione mentale rispetto ai pixel grezzi o agli oggetti astratti.
2. Soluzione Pratica: Offre una soluzione leggera ed efficace per abilitare la percezione consapevole del punto di vista senza la necessità di costosi modelli generativi o di addestramenti massicci su dati 3D.
3. Fondamento per Agenti Autonomi: Migliora la capacità degli agenti AI di navigare e ragionare in ambienti 3D basandosi su osservazioni parziali, permettendo loro di "vedere" ciò che è nascosto o di prevedere come appare una scena da angolazioni diverse.

In sintesi, il paper dimostra che trasformare i token è la chiave per rendere gli MLLM capaci di ragionamento spaziale robusto e affidabile in scenari di cambiamento di prospettiva.