Riepilogo Tecnico: DéjàView – Transformer Ricorsivi per la Ricostruzione 3D Multi-Vista

Enunciato del Problema

La ricostruzione 3D multi-vista tradizionale si basa su pipeline iterative di Structure-from-Motion (SfM) che includono l'abbinamento delle caratteristiche, la stima della posa e l'aggiustamento del fascio. I recenti progressi hanno spostato l'attenzione verso transformer feed-forward che regrediscono la geometria 3D in un singolo passaggio. Tuttavia, questi modelli all'avanguardia sono cresciuti fino a superare il miliardo di parametri, seguendo la tendenza dell'aumento della capacità del modello nella visione artificiale.

Gli autori ipotizzano che i guadagni di prestazioni derivanti dalla profondità in questi grandi transformer possano derivare da un affinamento iterativo implicito piuttosto che da una capacità rappresentativa unica. Le evidenze suggeriscono che i livelli contigui del transformer spesso si comportano come applicazioni ripetute di operazioni simili, e i livelli del decoder affinano progressivamente le previsioni. Le architetture attuali pagano questo "iterazione" in modo inefficiente utilizzando parametri unici per ogni livello. Il lavoro affronta la necessità di un'architettura che renda esplicito questo processo iterativo, consentendo una ricostruzione di alta qualità con parametri significativamente inferiori e la possibilità di scambiare potenza di calcolo per accuratezza al momento dell'inferenza.

Metodologia: DéjàView

Architettura Principale

DéjàView sostituisce lo stack profondo di transformer feed-forward con un singolo blocco transformer ricorsivo applicato ricorsivamente $K$ volte.

1. Inizializzazione: Le caratteristiche per vista vengono inizializzate utilizzando un encoder DINOv2 pre-addestrato. Token registrabili apprendibili e token della camera vengono anteposti alla sequenza di token.
2. Ciclo Ricorsivo: Un singolo blocco transformer condiviso viene applicato $K$ volte allo stato evolutivo $z_k$. Il blocco è composto da due sottoblocchi di attenzione:
   • Attenzione per Frame: Elabora ogni vista indipendentemente utilizzando embedding di posizione rotazionali 2D.
   • Attenzione Globale: Opera sulla sequenza congiunta di tutti i token attraverso tutte le viste, abilitando il ragionamento inter-vista.
3. Condizionamento Temporale: A differenza dei precedenti transformer con pesi vincolati che si condizionano su indici di passo discreti, DéjàView condiziona il blocco su un intervallo di tempo continuo $(t_k, t_{k+1})$. L'aggiornamento è formulato come:
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   Ciò consente a un singolo insieme di pesi di coprire una gamma di conteggi di passi $K$ senza riaddestramento.
4. Aggiornamenti Gateati: Il blocco impiega vettori di scala a canale ($s_{attn}, s_{mlp}, s_{out}$) controllati da un MLP inizializzato a zero condizionato sull'intervallo di tempo. Questa progettazione modula gli aggiornamenti dell'attenzione, dell'MLP e del flusso residuo.

Strategia di Addestramento

• Addestramento a $K$ Variabile: Durante l'addestramento, il numero di passi di affinamento $K$ viene campionato per batch da una distribuzione Beta scalata a $[K_{min}, K_{max}]$ (ad esempio, $[8, 16]$). Ciò crea un singolo checkpoint che funge da "manopola di calcolo".
• Funzione di Perdita: Il modello è supervisionato direttamente sulla geometria prevista utilizzando cinque termini di perdita: profondità, raggi, punti nel mondo e parametri della camera. Le previsioni sono normalizzate tramite fattori di scala inversi prima del calcolo delle perdite $\ell_2$ e $\ell_1$.
• Addestramento della Profondità in Due Fasi:
  • Fase 1: Addestramento end-to-end con una testa di profondità a pixel-shuffle lineare e perdita $\ell_2$ semplice.
  • Fase 2: La testa di profondità viene sostituita con una testa convoluzionale (per eliminare gli artefatti ai confini delle patch), e la rete viene affinata con una perdita ponderata sulla confidenza mentre gli altri parametri vengono congelati.

Inferenza

All'inferenza, l'utente seleziona un conteggio di passi $K_{inf}$. Il modello esegue il singolo blocco condiviso $K_{inf}$ volte. Se $K_{inf}$ rientra nell'intervallo addestrato $[K_{min}, K_{max}]$, il modello mantiene un'alta accuratezza; le prestazioni peggiorano se $K_{inf}$ viene spinto significativamente oltre il budget addestrato.

Osservazioni Chiave sulle Dinamiche

Gli autori caratterizzano la ricorrenza come affinamento direzionale. Lo stato non converge a un punto fisso nello spazio delle caratteristiche (la norma $\|z_k\|$ cresce monotonicamente). Invece, la direzione del vettore di stato si stabilizza, con la similarità coseno rispetto allo stato finale che tende a 1 e la norma dell'aggiornamento relativo che decade in modo significativo. Ciò consente al decoder (che utilizza pre-norm) di assorbire la crescita della norma mentre la rappresentazione decodificata converge nella direzione.

Contributi Chiave

1. Modello DéjàView: Un'architettura di transformer ricorsivo che applica ricorsivamente un singolo blocco condiviso alle caratteristiche inizializzate con DINOv2, condizionata su intervalli di tempo continui.
2. Ricetta di Addestramento a $K$ Variabile: Un metodo per addestrare un singolo checkpoint che supporta una gamma di conteggi di passi di inferenza, esponendo il calcolo come una manopola regolabile senza riaddestramento.
3. Efficienza all'Avanguardia: Il modello raggiunge una qualità di ricostruzione competitiva o superiore su cinque benchmark (interni, esterni, centrati su oggetti, guida) utilizzando una frazione dei parametri e un calcolo comparabile o inferiore rispetto a baseline feed-forward molto più grandi.
4. Validazione del Bias Induttivo: Gli esperimenti dimostrano che la formulazione con pesi condivisi supera una variante identica con parametri indipendenti per passo, suggerendo che l'iterazione esplicita con condivisione dei pesi è un bias induttivo più forte per la ricostruzione 3D multi-vista rispetto alla scalatura dei parametri.

Risultati Sperimentali

Il lavoro valuta DéjàView su cinque benchmark: DTU, ETH3D, 7-Scenes, ScanNet++ e nuScenes.

• Accuratezza: DéjàView eguaglia o supera modelli significativamente più grandi (ad esempio, VGGT-1B, Pi3, DA3-G) nell'accuratezza delle pointmap (Relativo $\ell_2$ e Rapporto Inlier) e nell'accuratezza della posa della camera (AUC@3° e AUC@30°). Ad esempio, su ScanNet++, supera VGGT-Ω-1B di quasi 50 punti in AUC@3°.
• Efficienza:
  • Parametri: DéjàView utilizza 117M parametri, rispetto a baseline che variano da 356M a oltre 1,2B.
  • Calcolo: Richiede 75,9 TFLOPs per 24 viste, comparabile o inferiore rispetto alle baseline che richiedono 2-10 volte più calcolo.
  • Memoria: La memoria di picco per l'inferenza è inferiore a 5 GiB su un A100, significativamente inferiore rispetto a molte baseline.
• Studi di Ablazione:
  • La sola condivisione dei pesi migliora le prestazioni rispetto ai blocchi disaccoppiati nonostante abbia 16 volte meno parametri.
  • I gate residui condizionati al tempo e i gate di stato forniscono miglioramenti monotoni.
  • L'addestramento a $K$ variabile eguaglia le prestazioni a $K$ fisso entro circa il 2-3% allo stesso budget di inferenza, validando la flessibilità del singolo checkpoint.

Significato e Affermazioni

Il lavoro afferma che la scalatura dei parametri non è l'unica strada percorribile per la ricostruzione 3D. Rendendo esplicito il processo di affinamento iterativo attraverso un ciclo condiviso condizionato al tempo, DéjàView dimostra che:

1. L'iterazione può essere esplicita: I benefici delle reti profonde possono essere ottenuti riutilizzando un singolo blocco, evitando la ridondanza dei parametri di livello unici.
2. Il calcolo è una manopola: Un singolo modello può adattarsi a diversi budget di inferenza (compromessi latenza/accuratezza) senza riaddestramento.
3. I pesi condivisi sono superiori: La formulazione con pesi condivisi agisce come un bias induttivo più forte rispetto ai parametri indipendenti, suggerendo che la "profondità" nei modelli SOTA attuali è in gran parte un proxy per l'affinamento iterativo piuttosto che una capacità rappresentativa unica.

Gli autori notano limitazioni: il modello non si estrapola bene oltre il suo intervallo di passi addestrato ($K_{max}$) e non gestisce esplicitamente scene dinamiche. Tuttavia, il lavoro stabilisce che una ricostruzione multi-vista di alta qualità può essere ottenuta con una frazione del costo computazionale e delle dimensioni del modello dei giganti feed-forward attuali.