Sintesi Tecnica: OneCanvas: Comprensione di Scena 3D tramite Riproiezione Panoramica

Definizione del Problema

I modelli Vision-Language (VLM) esistenti faticano nella comprensione di scene 3D, in particolare nei compiti di ragionamento situato (ad esempio, "Quanto è lontana la sedia dalla porta?" o "Cosa è visibile da questo punto di vista?"). Gli approcci attuali rientrano tipicamente in due categorie, entrambe le quali comportano costi significativi:

1. Complessità Architetturale: Aumentare i VLM 2D pre-addestrati con encoder geometrici dedicati (ad esempio, tokenizer di nuvole di punti, encoder condizionati dalla profondità) o complessi moduli di fusione. Ciò richiede un addestramento congiunto su larga scala per allineare i nuovi componenti geometrici con il backbone linguistico.
2. Scalabilità dei Dati: Fare affidamento su massicci dataset curati di coppie domanda-risposta spaziali per insegnare il ragionamento geometrico attraverso la pura esposizione.

Audit recenti suggeriscono che, anche con queste adattamenti, molti modelli falliscono nel ragionare realmente su input geometrici, affidandosi invece a regolarità statistiche dei template delle domande e delle classi di scene. Inoltre, questi metodi spesso elaborano le scene a pezzi attraverso i frame senza un sistema di coordinate spaziali unificato, rendendo difficile il ragionamento situato da specifici punti di vista.

Metodologia: OneCanvas

OneCanvas riformula la comprensione della scena 3D come ragionamento spaziale 2D su una singola tela panoramica. Evita di modificare l'architettura del VLM o di aggiungere termini di perdita ausiliari. Invece, trasforma i dati RGB-D multi-vista in una rappresentazione che un VLM pre-addestrato può ingerire come una normale immagine.

1. Estrazione delle Caratteristiche e Lifting 3D

Dato un insieme di $K$ immagini RGB pose $\{I_k\}$ con mappe di profondità metrica $\{D_k\}$ e costanti intrinseche della camera:

• Un encoder visivo congelato (Q-wen3-VL) estrae caratteristiche a livello di patch $F_k$ da ogni vista.
• Ogni patch $(u, v)$ viene "sollevata" (lifting) in una coordinata mondo 3D $p_{world}$ utilizzando la sua profondità $z$, le costanti intrinseche della camera e la posa camera-mondo $T_k$.
• Ciò produce un insieme di patch sollevate $P = \{(p_i, f_i, t_i)\}$, dove $p_i$ è la coordinata 3D nel mondo, $f_i$ è la caratteristica e $t_i$ è l'indice temporale del frame di origine.

2. Riproiezione Panoramica

Le patch sollevate vengono aggregate su una singola tela panoramica equirettangolare definita da un'origine scelta $c$ e un'orientazione $R$.

• Posizionamento Continuo: A differenza dei metodi di rasterizzazione che mediano o selezionano patch sovrapposte, OneCanvas posiziona ogni patch nella sua posizione angolare continua (longitudine $\theta$ e latitudine $\phi$) sulla tela. Le patch co-locate rimangono token distinti.
• Codifica della Posizione: Viene utilizzato il nativo 3D Rotary Position Embedding (3D-RoPE) del VLM, dove le dimensioni spaziali corrispondono alla longitudine e alla latitudine continue, e la dimensione temporale corrisponde all'indice del frame di origine.
• Embedding della Posizione 3D: Per ripristinare la profondità metrica persa quando le coordinate 3D vengono collassate in posizioni angolari sulla tela, un embedding di posizione 3D viene aggiunto alla caratteristica di ogni patch. Questo embedding codifica l'offset metrico $(q_x, q_y, q_z)$ nel frame della tela utilizzando codifiche sinusoidali per gli assi, primitive radiali e direzioni di raggio unitario. Ciò consente al VLM di accedere alle informazioni di scala metrica attraverso il suo standard meccanismo di attenzione.

3. Addestramento in Due Fasi

Il metodo impiega una pipeline di addestramento in due fasi per superare la difficoltà di apprendere la geometria solo tramite QA a valle:

• Fase 1: Curriculum di Pre-addestramento Spaziale: Il modello viene addestrato su un curriculum generato proceduralmente dove le caratteristiche degli oggetti (tratte da immagini reali) sono collocate su una tela altrimenti vuota a specifiche coordinate 3D. I compiti includono misurazione metrica, direzione egocentrica, navigazione, osservabilità, conteggio e lettura di bounding-box. Questa fase forza il modello a imparare il ragionamento geometrico senza fare affidamento su shortcut di priorità di classe o di scena.
• Fase 2: Adattamento al Target: I pesi della Fase 1 vengono fusi nel modello base. Un nuovo adattatore LoRA a basso rango viene addestrato su dataset di QA spaziale (SQA3D, VSI-Bench, ViCA) per adattare le capacità di ragionamento geometrico alle distribuzioni di scene del mondo reale.

Contributi Chiave

1. Riproiezione delle Caratteristiche Panoramiche: Un meccanismo che aggrega le caratteristiche delle patch da tutte le viste su una singola tela equirettangolare. Questo si adatta al formato di input dei VLM pre-addestrati, non richiede modifiche all'architettura e supporta origini della tela flessibili per il ragionamento situato.
2. Curriculum di Pre-addestramento Spaziale: Una strategia di addestramento innovativa abilitata dalla rappresentazione panoramica. Posizionando proceduralmente le caratteristiche delle patch su una tela vuota, gli autori generano supervisione on-the-fly per diversi compiti spaziali con distribuzioni di risposta controllate, sopprimendo efficacemente i shortcut statistici del dataset.

Risultati

OneCanvas raggiunge prestazioni allo stato dell'arte sui principali benchmark di ragionamento spaziale 3D utilizzando significativamente meno calcolo di addestramento rispetto ai metodi concorrenti:

• SQA3D: Raggiunge 65.3 EM@1 (2.3 punti sopra il precedente migliore), con guadagni significativi nei tipi di domande "Quale" e "Può" che testano il ragionamento situato.
• VSI-Bench: Raggiunge un'accuratezza media del 70.1, guidando nella pianificazione del percorso e nella stima delle dimensioni della stanza.
• SPBench: Raggiunge il 72.1 di accuratezza complessiva zero-shot (4.8 punti sopra il secondo miglior risultato), dimostrando una forte generalizzazione ai dati out-of-distribution.
• Efficienza: Il metodo utilizza un ordine di grandezza in meno di calcolo di addestramento (circa 290 ore-GPU equivalenti ad A100) rispetto ai più forti metodi concorrenti (es. SenseNova-SI con ~27.648 ore-GPU equivalenti ad A100).

Gli studi di ablazione confermano che sia la riproiezione panoramica che il curriculum di pre-addestramento spaziale sono critici, in particolare per compiti che richiedono il ragionamento metrico e la navigazione multi-step.

Significato e Limitazioni

Il paper sostiene che OneCanvas dimostri che una comprensione di scena 3D di alta qualità può essere ottenuta senza complessi encoder geometrici o massicci dataset curati, a patto che la rappresentazione dell'input sia strutturata per allinearsi alle capacità pre-addestrate del VLM. Unificando i dati multi-vista in un singolo sistema di coordinate spaziali e iniettando esplicitamente embedding di posizione metrica, il metodo consente al VLM di ragionare sullo spazio 3D utilizzando i suoi meccanismi di attenzione nativi.

Limitazioni:

• Dipendenza da Profondità e Posa: Il metodo richiede profondità metrica e pose della camera, che i metodi puramente RGB evitano. Sebbene la ricostruzione feed-forward possa stimarle, gli errori possono degradare la tela.
• Trade-off del Panorama Globale: Rappresentare la scena come un singolo panorama globale scambia la precisione spaziale fine con la compattezza, potenzialmente limitando le prestazioni su scene molto grandi o esterne.
• Design del Curriculum: Il curriculum di pre-addestramento è scritto a mano; introdurre nuove abilità spaziali qualitative richiede la scrittura di nuovi generatori di task piuttosto che la semplice raccolta di più dati.
• Requisiti del Backbone: Il metodo assume un backbone con almeno un encoding di posizione 2D (ad esempio, multi-axis RoPE) per trasportare longitudine e latitudine, il che potrebbe non valere per i modelli con posizionamento 1D.