RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

Sintesi Tecnica di RegimeVGGT

Problema
Il Visual Geometry Grounded Transformer (VGGT) rappresenta un significativo avanzamento nel recupero di strutture di scene 3D dense da immagini multi-vista in un singolo passaggio in avanti (forward pass). Tuttavia, la sua architettura si basa su un aggregatore a 24 strati con attenzione cross-frame globale e frame-wise alternata, che comporta un costo computazionale di $O(S^2P^2)$, dove $S$ è il numero di frame e $P$ è il numero di patch per frame. Questa scalabilità quadratica causa l'esaurimento della memoria del modello vanilla su sequenze che superano i ~300 frame (anche su GPU di fascia alta come la NVIDIA H800) e rende la variante ottimizzata per la memoria (VGGT*) proibitivamente lenta per sequenze lunghe. Gli attuali acceleratori senza addestramento (training-free) tentano di mitigare questo problema riducendo uniformemente la computazione lungo un singolo asse (ad esempio, fondendo i token in tutti gli strati o sottocampionando le coppie Key/Value su una griglia spaziale). Questi approcci non tengono conto dell'eterogeneità degli strati di VGGT, perdendo opportunità di compressione più efficienti e mirate.

Metodologia
RegimeVGGT affronta queste limitazioni attraverso un framework senza addestramento che applica una compressione a forma di U, per strato, lungo due assi ortogonali: l'asse del conteggio dei token e l'asse della densità K/V (Key/Value). La metodologia si basa su analisi spettrali, di probing e causali che rivelano come i 24 strati di attenzione globale di VGGT si suddividano in tre regimi funzionalmente distinti:

1. Strati Superficiali (L1–L10): Mancano di struttura cross-view e presentano un basso rango effettivo.
2. Strati Medi (L11–L18): Guidano l'allineamento cross-view e la ricostruzione della nuvola di punti, caratterizzati da un alto rango effettivo e da una concentrazione di token salienti per geometria e bordi.
3. Strati Profondi (L19–L24): Geometricamente inerti per la ricostruzione densa ma essenziali per la stima della posa; esibiscono una ridondanza quasi di rango 1 ma richiedono un percorso cross-frame preservato per i token della telecamera.

Sulla base di questa analisi, RegimeVGGT impiega due operatori composti all'interno di ogni blocco globale:

1. Fusione a Bande Guidata dalla Salienza (Asse del Conteggio dei Token):

   • Strategia: Applica un rapporto di fusione ($\rho$) a forma di U che rispecchia il profilo del rango: fusione aggressiva negli strati superficiali ($\rho=0.99$) e profondi ($\rho=0.99$), e fusione conservativa nella banda centrale ($\rho=0.50$).
   • Protezione: Per evitare la perdita di informazioni critiche sui confini 3D, il metodo protegge un sottoinsieme di token identificati da un punteggio di salienza della classe-attention di DINOv2 congelato ($\Psi$). Questo approssima la posizione dei token salienti per geometria e bordi senza richiedere la profondità ground-truth o addestramento aggiuntivo.
   • Ottimizzazione: Utilizza il caching allineato alle bande per ammortizzare i costi di matching e l'attenzione consapevole delle dimensioni (size-aware attention) per pesare correttamente i token fusi.

2. Downsampling K/V Selettivamente Protetto (Asse della Densità K/V):

   • Strategia: Comprime l'insieme K/V utilizzando un tasso a forma di U, mantenendo i K/V più densi nella banda centrale e i più sparsi nelle fasce laterali.
   • Griglia a Sfasamento (Phase-Shifted Grid): Per evitare lacune spaziali sistematiche, la sottogriglia per la ritenzione K/V è sfasata in base all'indice del frame. Man mano che la lunghezza della sequenza cresce, l'unione delle posizioni trattenute si avvicina alla copertura spaziale completa.
   • Preservazione del Percorso Critico: Il metodo preserva rigorosamente il percorso di attenzione cross-frame essenziale per la stima della posa. Ciò include:
     • Mantenere i token Camera e Register alla piena densità.
     • Mantenere un "ancoraggio" a piena densità al Frame 0 per fornire un riferimento stabile del mondo per l'allineamento.
     • Proteggere i patch salienti per geometria e bordi (identificati da $\Psi$) dal downsampling.

Contributi Chiave

• Scoperta del Regime: Il lavoro stabilisce che la ridondanza di VGGT non è uniforme ma segue un regime a tre bande (superficiale, medio, profondo) con ruoli funzionali e proprietà spettrali distinti.
• Compressione a Doppio Asse: Introduce un framework che comprime simultaneamente lungo gli assi del conteggio dei token e della densità K/V, sfruttando l'eterogeneità specifica di ogni regime.
• Design Consapevole della Posa (Pose-Aware): A differenza di altri metodi che possono degradare la stima della posa, RegimeVGGT preserva esplicitamente il percorso di attenzione cross-frame tra i token camera/register e i patch, garantendo la stabilità nelle sequenze lunghe.
• Efficienza Senza Addestramento (Training-Free): L'intera pipeline opera senza fine-tuning, affidandosi a modelli pre-addestrati congelati (DINOv2) per la stima della salienza e a programmi di compressione deterministici.

Risultati Sperimentali
Valutato su dataset tra cui 7 Scenes, NRGBD, ScanNet-50, Tanks & Temples e DTU, RegimeVGGT dimostra guadagni di efficienza significativi senza compromettere la qualità della ricostruzione:

• Accelerazione: Ottiene un'accelerazione end-to-end di 6.7× rispetto a VGGT* su ScanNet-1000 (1000 frame) mantenendo una qualità di ricostruzione corrispondente (Chamfer Distance).
• Scalabilità: Elabora con successo sequenze di 1000 frame dove l'originale VGGT esaurisce la memoria e VGGT* è significativamente più lento.
• Stima della Posa: Mantiene un'elevata accuratezza nella stima della posa della telecamera (AUC@30, ATE, ARE) attraverso sequenze brevi e lunghe, superando o eguagliando gli acceleratori training-free concorrenti (FastVGGT, S-VGGT) e il baseline VGGT*.
• Efficienza della Memoria: Riduce l'uso della memoria GPU di picco rispetto ai baseline che si affidano a buffer ausiliari o indici di fusione, consentendo l'inferenza su sequenze lunghe entro i vincoli di 80GB di VRAM.

Significatività
Il paper sostiene che la significatività di RegimeVGGT risieda nella dimostrazione che l'attenzione globale nei transformer della visione 3D è "eterogeneamente ridondante". Passando da strategie di compressione uniforme a una programmazione di compressione su misura per i regimi funzionali specifici della rete (preservando il percorso della posa e comprimendo aggressivamente i livelli geometricamente ridondanti), il metodo raggiunge una scalabilità sostanziale. Ciò consente l'applicazione di VGGT a scenari reali a lunga sequenza (come la guida autonoma o la mappatura su larga scala) che prima erano impraticabili a causa dei vincoli di memoria e computazionali, il tutto senza necessità di retraining o fine-tuning.