Riepilogo Tecnico: QVGGT - Post-Training Quantized Visual Geometry Grounded Transformer

Definizione del Problema

Il Visual Geometry Grounded Transformer (VGGT) rappresenta un avanzamento significativo nella visione artificiale 3D, capace di predire parametri della telecamera, mappe di profondità e nuvole di punti in un unico passaggio in avanti (forward pass) da input RGB multi-vista. Tuttavia, la scala massiccia di VGGT (1,26 miliardi di parametri) crea un ingombro di memoria e una richiesta computazionale considerevoli, rendendolo impraticabile per il deployment su dispositivi edge con risorse limitate, come UAV o sistemi AR per dispositivi mobili.

Sebbene esistano tecniche standard di compressione dei modelli come il pruning e la distillazione della conoscenza, queste offrono spesso un'accelerazione limitata sull'hardware moderno. La quantizzazione, che riduce la precisione numerica, è un'alternativa promettente ma rimane in gran parte inesplorata per i transformer di ricostruzione 3D su larga scala. L'applicazione diretta degli esistenti metodi di Post-Training Quantization (PTQ) a VGGT fallisce a causa di tre sfide specifiche:

1. Eterogeneità della Sensibilità: Diversi blocchi transformer all'interno di VGGT esibiscono gradi variabili di sensibilità alla quantizzazione; una quantizzazione uniforme a basso bit causa una degradazione sproporzionata dell'accuratezza, in particolare nella stima della posa della telecamera.
2. Sbilanciamento delle Attivazioni a Livello di Token: I token della telecamera e i token di registro generano attivazioni ad alta magnitudo che agiscono come outlier. Questi outlier dominano la stima della scala durante la calibrazione, portando a una risoluzione di quantizzazione sbilanciata e amplificando gli errori per la maggior parte dei token.
3. Disallineamento del Compito (Task Misalignment): Gli obiettivi di ricostruzione standard per livello non catturano pienamente la coerenza geometrica a valle richiesta per i compiti 3D (ad esempio, la relazione tra posa della telecamera, profondità e mappe di punti).

Metodologia: Framework QVGGT

Gli autori propongono QVGGT, un framework PTQ su misura in tre fasi, progettato per comprimere VGGT preservando la coerenza geometrica 3D. Il framework opera in un setting W4A16 (pesi a 4 bit, attivazioni a 16 bit).

1. Quantizzazione a Precisione Mista Selettiva

Gli autori conducono innanzitutto un'analisi di sensibilità fine-grained quantizzando selettivamente i singoli blocchi e misurando l'impatto sulle teste a valle.

• Osservazione: La testa della telecamera è altamente sensibile alla precisione dei blocchi, mentre le teste di profondità e di mappa di punti sono più robuste. Alcuni blocchi (specificamente il 14°, 17° e 23° blocco frame, e il 23° blocco globale) sono identificati come "fragili".
• Strategia: Invece di una quantizzazione uniforme, QVGGT impiega una strategia a precisione mista selettiva. I blocchi fragili mantengono la precisione FP16 per i loro strati di proiezione dell'attenzione, mentre i restanti blocchi robusti vengono quantizzati a INT4. Ciò bilancia la compressione con la preservazione dei segnali geometrici critici.

2. Filtraggio dei Token con Compensazione dell'Informazione della Telecamera (CIC)

Per affrontare il problema degli outlier causati dai token della telecamera e di registro:

• Filtraggio dei Token: Durante la fase di calibrazione per la ricerca della scala, i token della telecamera e di registro sono esclusi dal calcolo delle statistiche di attivazione. Questo evita che la stima della scala sia influenzata da pochi valori estremi, garantendo che la scala di quantizzazione rifletta il range dinamico della maggioranza (immagine) dei token.
• Compensazione dell'Informazione della Telecamera (CIC): L'esclusione di questi token rimuove informazioni geometriche globali essenziali. Per ripristinare questa informazione, gli autori sintetizzano un token CIC. Questo token è derivato eseguendo una Top-K PCA sulle attivazioni dei token della telecamera nel set di calibrazione. Il risultante prior geometrico globale a bassa varianza, a livello di dataset, viene reinserito nella sequenza di token prima della testa della telecamera durante l'inferenza.

3. Meccanismo di Ricerca della Scala Consapevole del Compito (Task-Aware)

La PTQ standard minimizza l'errore di ricostruzione per livello, il che non garantisce l'accuratezza delle predizioni 3D. QVGGT introduce una funzione obiettivo consapevole del compito per la selezione delle scale di quantizzazione:

• Supervisione Multi-Testa: La ricerca minimizza una combinazione di perdite (loss) dalle tre teste di predizione: posa della telecamera ($L_{camera}$), profondità ($L_{depth}$) e mappe di punti ($L_{point}$).
• Coerenza Geometrica: Viene introdotta una nuova Perdita di Coerenza Geometrica ($L_{geom}$). Essa impone l'accordo tra la mappa di punti predetta direttamente dalla testa dei punti e una mappa di punti ricostruita proiettando all'indietro la profondità predetta usando la posa della telecamera predetta.
• Ottimizzazione: L'obiettivo finale combina l'errore di ricostruzione con queste perdite specifiche del compito e di coerenza geometrica, guidando la ricerca della scala verso soluzioni che preservano la struttura 3D intrinseca attraverso tutte le teste.

Contributi Chiave

1. Framework PTQ per i Transformer 3D: Il lavoro presenta il primo framework PTQ su misura per i transformer di geometria 3D, dimostrando che la sensibilità eterogenea alla quantizzazione di VGGT può essere sfruttata tramite strategie a precisione mista selettiva.
2. Schema di Calibrazione a Livello di Token: Gli autori identificano e affrontano un tipico sbilanciamento delle attivazioni nei transformer 3D, proponendo uno schema di calibrazione con filtraggio dei token e compensazione basata su PCA per migliorare la robustezza.
3. Ricerca della Scala Consapevole del Compito: È stato progettato un nuovo meccanismo di ricerca della scala che allinea l'ottimizzazione della quantizzazione con i compiti di predizione 3D a valle attraverso la supervisione multi-testa e i vincoli di coerenza geometrica.
4. Validazione Empirica: Il framework raggiunge una quantizzazione W4A16 quasi priva di perdite su molteplici benchmark, riducendo la dimensione del modello di oltre il 75% e la memoria di inferenza di 3–4,9×.

Risultati Sperimentali

Gli autori hanno valutato QVGGT su quattro benchmark: CO3Dv2, RealEstate10K, 7-Scenes e NRGBD.

• Stima della Posa della Telecamera: Su CO3Dv2 e RealEstate10K, QVGGT (W4A16) raggiunge un AUC@30 rispettivamente di 89,4 e 85,0, eguagliando quasi la baseline a precisione intera FP16 (89,5 e 85,3). Al contrario, i metodi PTQ generici come GPTQ e AWQ subiscono cali di prestazioni significativi (ad esempio, AWQ scende a 54,6 su CO3Dv2).
• Ricostruzione 3D: Su 7-Scenes e NRGBD, QVGGT mantiene un'accuratezza, completezza e coerenza delle normali comparabili alla baseline FP16, superando significativamente SmoothQuant, GPTQ e AWQ nelle stesse condizioni W4A16.
• Efficienza:
  • Memoria: QVGGT riduce l'uso di picco della memoria di 4,9× per l'input a singolo frame e di 3,0× per l'input a 22 frame rispetto al VGDT FP32. Permette di elaborare fino a 30 frame su una GPU da 24GB senza errori di Out-Of-Memory (OOM), laddove il modello a precisione intera fallisce.
  • Latenza: Il metodo ottiene un'accelerazione hardware fino a 2,8× rispetto a FP32 e un'accelerazione della latenza di 1,93× rispetto alle baseline FP16 su una RTX 4090.
• Robustezza: Gli studi di ablazione mostrano che il metodo è robusto rispetto alla dimensione del dataset di calibrazione, performando bene anche con soli 16 immagini di calibrazione.

Significato e Rivendicazioni

Il lavoro afferma che QVGGT rende la percezione 3D ad alta fedeltà fattibile su dispositivi edge, consentendo il deployment pratico di modelli di ricostruzione 3D feed-forward in ambienti reali con risorse limitate.

Gli autori posizionano QVGGT come complementare al lavoro concorrente come QuantVGGT. Mentre QuantVGGT si concentra sulla stabilizzazione numerica generica (orientata alla distribuzione), QVGGT enfatizza un design orientato alla geometria e al compito. Tenendo conto esplicitamente delle caratteristiche uniche dei transformer 3D — come il ruolo specifico dei token della telecamera e le relazioni geometriche tra le teste di predizione — QVGGT ottiene una ritenzione dell'accuratezza superiore nei compiti 3D rispetto agli approcci di quantizzazione generici. Il lavoro dimostra che, con un attento allineamento architettonico e degli obiettivi, i modelli di visione 3D su larga scala possono essere compressi a pesi a 4 bit senza sacrificare la fedeltà geometrica richiesta per applicazioni di robotica e AR.