Technische Samenvatting: Fisher-geleide Quantisatie voor Visual Geometry Transformer

Probleemstelling

Feed-forward 3D-reconstructiemodellen, geïllustreerd door de Visual Geometry Grounded Transformer (VGGT), hebben state-of-the-art prestaties bereikt door gelijktijdig meerdere geometrische taken te voorspellen—diepteschatting, camera-posevoorspelling en puntkaartenreconstructie—in één enkele forward pass. Deze modellen vertrouwen echter op parameters in de orde van miljarden, wat prohibitieve geheugen- en rekenkosten met zich meebrengt die de implementatie op apparaten belemmeren.

Hoewel Post-Training Quantisatie (PTQ) een oplossing biedt om deze kosten te verlagen, staan bestaande methoden voor feed-forward 3D-modellen voor een kritieke beperking: ze behandelen het model als een entiteit met één enkele taak. Huidige PTQ-benaderingen richten zich voornamelijk op het mitigeren van zwaarstaartige activatieverdelingen (veroorzaakt door speciale tokens zoals camera- of register-tokens) en het construeren van diverse kalibratiedatasets. Ze negeren de inherente multi-task architectuur van VGGT.

De auteurs observeren dat verschillende transformer-blokken en verborgen kanalen op distincte wijze bijdragen aan elke downstream-taak. Bijgevolg vertonen deze componenten substantieel verschillende sensitiviteiten voor quantisatiefouten. Een uniforme quantisatiestrategie, die alle taken gelijk weegt tijdens de kalibratie, benadrukt per ongeluk ongevoelige taken (bijv. camera-poseschatting) te sterk, terwijl dit leidt tot significante nauwkeurigheidsdegradatie bij zeer gevoelige taken (bijv. puntkaartenreconstructie). Zoals aangetoond in het artikel, kan het toepassen van uniforme quantisatie leiden tot een Genormaliseerde Prestatiedegradatie (NPD) van 200%–500% voor puntkaartenreconstructie, terwijl poseschatting relatief robuust blijft.

Methodologie: Fisher-geleide Quantisatie (FGQ)

Om het probleem van multi-task sensitiviteit aan te pakken, stellen de auteurs Fisher-geleide Quantisatie (FGQ) voor, een taakbewust PTQ-kader. De methode werkt op drie granulariteiten: taken, transformer-blokken en verborgen kanalen.

1. Sensitiviteitsmeting via Fisher-informatie

FGQ kwantificeert de sensitiviteit van elke component voor quantisatiefouten met behulp van de diagonale Fisher-informatiematrix.

• Theoretische Basis: De methode leidt sensitiviteitsscores af uit een Taylor-expansie van tweede orde van de taakverliesfunctie. Aannemende dat het model zich nabij een lokaal optimum bevindt, wordt de verwachte verliesverandering beheerst door de Hessian-term. Om de prohibitieve rekenkosten van het berekenen van de volledige Hessian te vermijden, gebruikt FGQ de Fisher-informatiematrix als een hanteerbare vervanger, gebaseerd op de identiteit dat de verwachte Hessian van de negatieve log-likelihood gelijk is aan de Fisher-informatiematrix onder standaard regulariteitsvoorwaarden.
• Diagonale Benadering: Om efficiëntie en schaalbaarheid te waarborgen, benaderen de auteurs de volledige Fisher-matrix met zijn diagonale vorm. Dit reduceert de opslagcomplexiteit van $O(C^2)$ naar $O(C)$ (waarbij $C$ de kanaaldimensie is) en behandelt kanaalperturbaties als lokaal onafhankelijk.
• Taakbewuste Score: De Fisher-score $F_k[l, c]$ meet de sensitiviteit van taak $k$ voor kwadratische fouten op kanaal $c$ van blok $l$. Deze scores worden berekend met behulp van eerste-orde gradiënten uit een kleine kalibratieset, waarbij slechts één backward pass per taak vereist is.

2. Integratie in Leerbare Affiene Transformaties

FGQ integreert deze sensitiviteitsscores in de kalibratie van Leerbare Affiene Transformaties, een techniek die wordt gebruikt om outliers te onderdrukken voordat quantisatie plaatsvindt.

• Gewogen Kalibratie-Doelstelling: Standaard kalibratie minimaliseert de reconstructiefout tussen full-precision en gekwantiseerde blokuitgangen met behulp van een uniform verlies. FGQ vervangt dit door een Fisher-gewogen doelstelling.
• Normalisatie en Aggregatie: Om te voorkomen dat taken met grotere ruwe gradiëntmagnitudes de kalibratie domineren, worden de Fisher-scores per taak genormaliseerd en vervolgens geaggregeerd over de taken. Een normalisatie per blok zorgt ervoor dat de verlies-schaal vergelijkbaar blijft over verschillende transformerlagen.
• Ondergrens: Een kleine ondergrenswaarde wordt toegepast op de gewichten om ervoor te zorgen dat kanalen met lage Fisher-scores niet volledig worden genegeerd, waardoor de integriteit van het volledige model behouden blijft.

De resulterende doelstellingsfunctie alloceren meer kalibratiecapaciteit aan kanalen en blokken die kritiek zijn voor specifieke taken, waardoor de kenmerken die het meest gevoelig zijn voor quantisatieruis worden behouden.

Belangrijkste Bijdragen

1. Identificatie van Multi-Task Sensitiviteit: Het artikel identificeert dat feed-forward 3D-reconstructiemodellen distincte quantisatiesensitiviteiten vertonen over taken, blokken en kanalen. Een uniforme behandeling van deze componenten leidt tot een disproportionele prestatiedegradatie in gevoelige taken zoals puntkaartenreconstructie.
2. Fisher-geleide Quantisatie (FGQ): De auteurs stellen een nieuw PTQ-kader voor dat de diagonale Fisher-informatiematrix gebruikt om per-taak, per-blok en per-kanaal sensitiviteit te kwantificeren. Deze sensitiviteiten worden geïntegreerd in de doelstelling voor Leerbare Affiene Transformaties om de kalibratie te sturen naar de meest kritieke componenten.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat FGQ consistent beter presteert dan state-of-the-art PTQ-baselines (waaronder QuantVGGT, FlatQuant en QuaRot) onder 4-bit quantisatie, met de meest significante verbeteringen waargenomen in dichte geometrische reconstructietaken.

Experimentele Resultaten

De auteurs hebben FGQ geëvalueerd op het VGGT-1.2B-model over drie primaire taken: camera-poseschatting, puntkaartenreconstructie en diepteschatting.

• Camera-poseschatting: Op de Co3Dv2- en Re10K-benchmarks behaalde FGQ concurrerende of superieure resultaten vergeleken met baselines onder zowel W4A8- als W4A4-instellingen. De verbeteringen waren bescheiden, wat suggereert dat globale poseschatting minder gevoelig is voor de specifieke kanaalselectie dan dichte uitgangen.
• Puntkaartenreconstructie: Deze taak toonde de meest dramatische verbetering. Onder W4A4-quantisatie reduceerde FGQ de foutmetrieken significant vergeleken met QuantVGGT. Bijvoorbeeld, op de 7-Scenes-dataset reduceerde FGQ de gemiddelde volledigheidfout van 0,085 (QuantVGGT) naar 0,059 en verbeterde de gemiddelde nauwkeurigheid. Kwalitatieve resultaten toonden aan dat FGQ fijnere structurele details behield, terwijl basismethoden onscherpe reconstructies produceerden.
• Diepteschatting: Op KITTI (monoculair en video) presteerde FGQ consistent beter dan baselines in W4A8- en W4A4-instellingen, met de beste resultaten in de AbsRel-, SqRel- en RMSE-metrieken.
• Efficiëntie: Runtime-analyse op een NVIDIA A100 GPU toonde aan dat, hoewel de leerbare affiene transformatie een lichte overhead introduceert ten opzichte van eenvoudige round-to-nearest quantisatie, FGQ toch een 1,81× snelheidswinst behaalt ten opzichte van full-precision inferentie in de W4A4-instelling, waarbij het grootste deel van de efficiëntievoordelen van low-bit quantisatie behouden blijft.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis van FGQ ligt in het vermogen om de "one-size-fits-all" beperking van huidige PTQ-methoden voor multi-task 3D-visionmodellen op te lossen. Door Fisher-informatie te benutten om taakkritische kanalen te identificeren en te beschermen, maakt FGQ de implementatie van 3D-reconstructiemodellen met miljarden parameters op apparaten met beperkte middelen mogelijk, zonder de fideliteit van gevoelige geometrische uitgangen te offeren.

De auteurs benadrukken dat hun aanpak geen architecturale wijzigingen of hertraining vanaf nul vereist, waardoor het een praktische oplossing is voor bestaande feed-forward 3D-modellen. De resultaten suggereren dat toekomstige quantisatiestrategieën voor multi-modale of multi-task modellen moeten voorbijgaan aan uniforme kalibratie om rekening te houden met de heterogene sensitiviteit van verschillende outputkoppen.