Riepilogo Tecnico: Quantizzazione Guidata da Fisher per il Trasformatore di Geometria Visiva

Enunciato del Problema

I modelli di ricostruzione 3D feed-forward, esemplificati dal Visual Geometry Grounded Transformer (VGGT), hanno raggiunto prestazioni all'avanguardia prevedendo congiuntamente molteplici compiti geometrici—stima della profondità, previsione della posa della camera e ricostruzione della mappa dei punti—in un singolo passaggio in avanti. Tuttavia, questi modelli si basano su parametri su scala di miliardi, creando sovraccarichi di memoria e computazione proibitivi che ostacolano il dispiegamento su dispositivi.

Sebbene la Quantizzazione Post-Addestramento (PTQ) offra una soluzione per ridurre tale sovraccarico, i metodi esistenti per i modelli 3D feed-forward affrontano una limitazione critica: trattano il modello come un'entità a singolo compito. Gli approcci PTQ attuali si concentrano principalmente sulla mitigazione delle distribuzioni di attivazione a coda pesante (causate da token speciali come token della camera o di registro) e sulla costruzione di dataset di calibrazione diversificati. Trascurano l'architettura multi-task intrinseca del VGGT.

Gli autori osservano che diversi blocchi del transformer e canali nascosti contribuiscono in modo distinto a ciascun compito a valle. Di conseguenza, questi componenti mostrano sensibilità sostanzialmente diverse agli errori di quantizzazione. Una strategia di quantizzazione uniforme, che pesa tutti i compiti in modo uguale durante la calibrazione, enfatizza involontariamente compiti insensibili (ad esempio, la stima della posa della camera) causando al contempo un degrado significativo dell'accuratezza in compiti altamente sensibili (ad esempio, la ricostruzione della mappa dei punti). Come dimostrato nel documento, l'applicazione della quantizzazione uniforme può portare a un Degrado delle Prestazioni Normalizzato (NPD) del 200%–500% per la ricostruzione della mappa dei punti, mentre la stima della posa rimane relativamente robusta.

Metodologia: Quantizzazione Guidata da Fisher (FGQ)

Per affrontare il problema della sensibilità multi-task, gli autori propongono la Quantizzazione Guidata da Fisher (FGQ), un framework PTQ consapevole del compito. Il metodo opera su tre granularità: compiti, blocchi del transformer e canali nascosti.

1. Misurazione della Sensibilità tramite Informazione di Fisher

La FGQ quantifica la sensibilità di ciascun componente agli errori di quantizzazione utilizzando la matrice diagonale dell'informazione di Fisher.

• Base Teorica: Il metodo deriva i punteggi di sensibilità da un'espansione di Taylor del secondo ordine della perdita del compito. Assumendo che il modello sia vicino a un ottimo locale, la variazione attesa della perdita è governata dal termine Hessiano. Per evitare il costo computazionale proibitivo del calcolo dell'Hessiano completo, la FGQ utilizza la matrice dell'informazione di Fisher come surrogato trattabile, basandosi sull'identità secondo cui l'Hessiano atteso del log-verosimiglianza negativo è uguale alla matrice dell'informazione di Fisher in condizioni di regolarità standard.
• Approssimazione Diagonale: Per garantire efficienza e scalabilità, gli autori approssimano la matrice di Fisher completa con la sua forma diagonale. Questo riduce la complessità di archiviazione da $O(C^2)$ a $O(C)$ (dove $C$ è la dimensione del canale) e tratta le perturbazioni dei canali come localmente indipendenti.
• Punteggio Consapevole del Compito: Il punteggio di Fisher $F_k[l, c]$ misura la sensibilità del compito $k$ agli errori quadratici sul canale $c$ del blocco $l$. Questi punteggi sono calcolati utilizzando gradienti del primo ordine da un piccolo set di calibrazione, richiedendo un solo passaggio all'indietro per compito.

2. Integrazione nelle Trasformazioni Affini Apprendibili

La FGQ incorpora questi punteggi di sensibilità nella calibrazione delle Trasformazioni Affini Apprendibili, una tecnica utilizzata per sopprimere i valori anomali prima della quantizzazione.

• Obiettivo di Calibrazione Pesato: La calibrazione standard minimizza l'errore di ricostruzione tra le uscite del blocco in precisione completa e quantizzata utilizzando una perdita uniforme. La FGQ sostituisce questo con un obiettivo pesato con Fisher.
• Normalizzazione e Aggregazione: Per impedire che i compiti con maggiori magnitudini di gradiente grezzo dominino la calibrazione, i punteggi di Fisher sono normalizzati per compito e poi aggregati attraverso i compiti. Una normalizzazione per blocco garantisce che la scala della perdita rimanga confrontabile tra diversi livelli del transformer.
• Soglia Minima (Flooring): Un piccolo valore di soglia viene applicato ai pesi per garantire che i canali con bassi punteggi di Fisher non siano completamente ignorati, preservando l'integrità dell'intero modello.

La funzione obiettivo risultante assegna più capacità di calibrazione ai canali e ai blocchi critici per compiti specifici, preservando così le caratteristiche più sensibili al rumore di quantizzazione.

Contributi Chiave

1. Identificazione della Sensibilità Multi-Task: Il documento identifica che i modelli di ricostruzione 3D feed-forward mostrano sensibilità distinte alla quantizzazione attraverso compiti, blocchi e canali. Il trattamento uniforme di questi componenti porta a un degrado sproporzionato delle prestazioni in compiti sensibili come la ricostruzione della mappa dei punti.
2. Quantizzazione Guidata da Fisher (FGQ): Gli autori propongono un nuovo framework PTQ che utilizza la matrice diagonale dell'informazione di Fisher per quantificare la sensibilità per compito, per blocco e per canale. Queste sensibilità sono integrate nell'obiettivo della Trasformazione Affine Apprendibile per guidare la calibrazione verso i componenti più critici.
3. Validazione Empirica: Esperimenti estensivi dimostrano che la FGQ supera costantemente le linee di base PTQ all'avanguardia (inclusi QuantVGGT, FlatQuant e QuaRot) sotto quantizzazione a 4 bit, con i miglioramenti più significativi osservati nei compiti di ricostruzione geometrica densa.

Risultati Sperimentali

Gli autori hanno valutato la FGQ sul modello VGGT-1.2B su tre compiti principali: stima della posa della camera, ricostruzione della mappa dei punti e stima della profondità.

• Stima della Posa della Camera: Su Co3Dv2 e Re10K, la FGQ ha ottenuto risultati competitivi o superiori rispetto alle linee di base in entrambe le impostazioni W4A8 e W4A4. I miglioramenti sono stati modesti, suggerendo che la stima globale della posa è meno sensibile alla selezione specifica dei canali rispetto agli output densi.
• Ricostruzione della Mappa dei Punti: Questo compito ha mostrato il miglioramento più drammatico. Sotto quantizzazione W4A4, la FGQ ha ridotto significativamente le metriche di errore rispetto a QuantVGGT. Ad esempio, sul dataset 7-Scenes, la FGQ ha ridotto l'errore medio di completezza da 0,085 (QuantVGGT) a 0,059 e ha migliorato l'accuratezza media. I risultati qualitativi hanno mostrato che la FGQ ha preservato dettagli strutturali più fini, mentre i metodi di base hanno prodotto ricostruzioni sfocate.
• Stima della Profondità: Su KITTI (monoculare e video), la FGQ ha costantemente superato le linee di base nelle impostazioni W4A8 e W4A4, ottenendo i migliori risultati nelle metriche AbsRel, SqRel e RMSE.
• Efficienza: L'analisi del tempo di esecuzione su una GPU NVIDIA A100 ha mostrato che, sebbene la trasformazione affine apprendibile introduca un leggero sovraccarico rispetto alla semplice quantizzazione per arrotondamento all'intero più vicino, la FGQ ottiene comunque un speedup di 1,81× rispetto all'inferenza in precisione completa nell'impostazione W4A4, mantenendo la maggior parte dei benefici di efficienza della quantizzazione a basso numero di bit.

Significato e Affermazioni

Il documento afferma che il significato principale della FGQ risiede nella sua capacità di risolvere la limitazione "taglia unica" dei metodi PTQ attuali per i modelli di visione 3D multi-task. Sfruttando l'informazione di Fisher per identificare e proteggere i canali critici per il compito, la FGQ consente il dispiegamento di modelli di ricostruzione 3D con miliardi di parametri su dispositivi con risorse limitate senza sacrificare la fedeltà degli output geometrici sensibili.

Gli autori sottolineano che il loro approccio non richiede cambiamenti architetturali o riaddestramento da zero, rendendolo una soluzione pratica per i modelli 3D feed-forward esistenti. I risultati suggeriscono che le future strategie di quantizzazione per modelli multi-modali o multi-task devono andare oltre la calibrazione uniforme per tenere conto della sensibilità eterogenea dei diversi output.