Riepilogo Tecnico: GeoWeaver

Enunciato del Problema

I modelli Vision-Language (VLM) attuali faticano a garantire un ragionamento spaziotemporale affidabile, in particolare in compiti che coinvolgono la stima della distanza relativa, la comprensione della disposizione degli oggetti e il tracciamento delle relazioni spaziali in scene dinamiche. Sebbene gli approcci recenti tentino di potenziare l'intelligenza spaziale incorporando informazioni geometriche attraverso rami strutturali, supervisione 3D-consapevole o fusione in fase tardiva, essi trattano tipicamente gli indizi geometrici come un segnale condiviso tra tutti i token visivi.

Gli autori identificano una limitazione critica nei paradigmi esistenti: diversi token visivi richiedono prove geometriche diverse a seconda dei loro ruoli spaziali specifici (ad esempio, confini locali rispetto alla disposizione globale). I metodi attuali spesso non riescono ad affrontare questa eterogeneità, trattando la geometria come un segnale ausiliario iniettato tardivamente nella pipeline (sia prima della fusione che all'interno dello stack di ragionamento del LLM). Ciò costringe il decoder a risolvere congiuntamente l'allineamento visivo-geometrico e il ragionamento relazionale di alto livello, intrecciando l'ancoraggio percettivo con il ragionamento cognitivo e riducendo l'affidabilità.

Metodologia: GeoWeaver

GeoWeaver propone un framework di ancoraggio geometrico pre-ragionamento che tratta la geometria come un prerequisito rappresentazionale piuttosto che come un segnale di fusione tardiva. La filosofia di fondo è "ancorare poi ragionare", plasmando le rappresentazioni visive prima che entrino nel modello linguistico.

1. Panoramica dell'Architettura

Il framework è costituito da tre fasi principali:

• Ramo Visivo Semantico: Utilizza un LLM multimodale preaddestrato (nello specifico Qwen3.5 nell'implementazione) con un encoder visivo nativo per estrarre token visivi semantici ($V$).
• Ramo Geometrico Congelato: Impiega un encoder geometrico congelato (VGGT) per estrarre priors geometrici espliciti dagli stessi frame di input. Invece di utilizzare solo la rappresentazione finale, GeoWeaver costruisce una Banca Geometrica Multi-Livello raccogliendo stati nascosti da livelli più profondi (ad esempio, livelli 12–23 di un VGGT a 24 livelli). Questa banca funge da serbatoio di prove strutturali che spaziano dai dettagli locali alle astrazioni globali.
• Ancoraggio Geometrico Adattivo ai Token: Questa è l'innovazione centrale. Prima della decodifica linguistica, i token visivi interrogano la banca geometrica per recuperare prove pertinenti.

2. Allocazione Adattiva delle Prove per Token

Il processo di ancoraggio coinvolge quattro passaggi specifici per garantire che ogni token visivo riceva l'astrazione geometrica più pertinente:

• Normalizzazione e Allineamento: Le caratteristiche geometriche provenienti da diversi livelli vengono normalizzate e fuse spazialmente (2×2) per corrispondere alla risoluzione e alla dimensione nascosta dei token visivi.
• Instradamento Condizionato alla Query: Un router leggero prevede pesi di preferenza sui livelli geometrici selezionati per ogni singolo token visivo ($v_i$). Questo riconosce che diverse regioni spaziali richiedono diversi livelli di astrazione geometrica.
• Selezione Compatta delle Prove: Per evitare di diluire l'ancoraggio specifico del token con indizi ridondanti, il modello impiega un instradamento sparso. Seleziona solo i livelli geometrici top-$K$ (di default $K=2$) più pertinenti per ogni token, mascherando il resto.
• Ancoraggio Residuo: Le prove geometriche selezionate vengono aggregate e iniettate nei token visivi tramite una connessione residua ($v'_i = v_i + W_o g_i$). La matrice di proiezione $W_o$ è inizializzata a zero, permettendo al modello di iniziare come una mappatura identità e imparare gradualmente a rimodellare le rappresentazioni durante il fine-tuning.

3. Obiettivo di Addestramento

Il modello viene addestrato utilizzando la previsione standard del token successivo (perdita autoregressiva) su compiti di ragionamento spaziotemporale a valle. L'encoder geometrico rimane congelato e il modulo di ancoraggio viene ottimizzato congiuntamente con il modello multimodale di base. Non vengono introdotte perdite di ricostruzione geometrica ausiliaria o contrastive; il modello impara ad allocare e sfruttare le prove geometriche puramente attraverso supervisione end-to-end.

Contributi Chiave

1. Diagnosi Rappresentazionale: Gli autori identificano la mancanza di token visivi ancorati alla geometria come un collo di bottiglia chiave nei VLM attuali, sostenendo che il ragionamento spaziotemporale dipende dal fatto che i token siano geometricamente ancorati prima di entrare nel modello linguistico.
2. Framework GeoWeaver: Un framework innovativo che alloca prove geometriche specifiche per token da una banca geometrica multi-livello prima della decodifica linguistica. Questo sposta l'allineamento visivo-geometrico dallo stack di ragionamento all'interfaccia percettiva.
3. Meccanismo Adattivo ai Token: L'introduzione di un meccanismo di instradamento sparso e condizionato alla query che permette a diversi token visivi di recuperare astrazioni geometriche distinte, evitando un'esposizione uniforme a tutti i livelli geometrici.
4. Validazione Empirica: Esperimenti estesi che dimostrano come l'ancoraggio pre-ragionamento produca prestazioni superiori senza dimenticare catastroficamente le capacità multimodali generali.

Risultati Sperimentali

GeoWeaver è stato valutato su molteplici benchmark di ragionamento spaziale, tra cui VSI-Bench, ReVSI, SPAR-Bench, ViewSpatial, BLINK, 3DSRBench ed EmbSpatial.

• VSI-Bench: GeoWeaver-5B ha ottenuto un punteggio medio di 72.8, superando la baseline open-source più forte (SpatialStack-5B) di 5.3 punti. GeoWeaver-10B ha raggiunto 75.05. Sono stati osservati guadagni significativi in categorie sensibili alla geometria come il conteggio degli oggetti, la stima delle dimensioni, la direzione relativa e la pianificazione del percorso.
• ReVSI: In impostazioni consapevoli dei frame, GeoWeaver-10B ha raggiunto un'accuratezza del 57.5% con 32 frame, superando i precedenti VLM spaziali. I risultati suggeriscono che un ancoraggio geometrico efficace è più critico del semplice aumento del numero di frame di input.
• SPAR-Bench: GeoWeaver-5B ha ottenuto un nuovo punteggio stato dell'arte di 69.2, un miglioramento massiccio di +26.8 punti rispetto al precedente migliore, in particolare nei compiti di ragionamento di medio e alto livello (corrispondenza di posizione, inferenza di distanza, immaginazione spaziale).
• Capacità Generali: Le valutazioni su MMBench, Video-MME e TempCompass hanno mostrato che GeoWeaver mantiene o migliora leggermente le prestazioni multimodali generali rispetto alle baseline, confermando che l'ancoraggio geometrico non causa un dimenticare catastrofico.

Significato e Affermazioni

Il documento afferma che il beneficio principale di GeoWeaver deriva non dall'iniettare semplicemente più dati geometrici nel modello, ma dal rimodellare la rappresentazione visiva prima che inizi il ragionamento linguistico. Convertendo gli indizi geometrici multi-livello grezzi in token visivi ancorati alla geometria, il framework permette al modello linguistico di operare su rappresentazioni "pronte per la geometria".

Gli autori sostengono che le informazioni geometriche producono il maggior beneficio non come segnale ausiliario di fusione tardiva, ma come prerequisito fondamentale che plasma la base rappresentazionale. Questo approccio disaccoppia con successo l'allineamento visivo-geometrico di basso livello dal ragionamento relazionale di alto livello, portando a un'intelligenza spaziotemporale più robusta preservando al contempo la competenza multimodale generale del modello. Il lavoro suggerisce che i progressi futuri nell'intelligenza spaziale richiedono di affrontare il collo di bottiglia rappresentazionale all'interfaccia percettiva piuttosto che ottimizzare esclusivamente lo stack di ragionamento.