Quantized Visual Geometry Grounded Transformer

Dit paper introduceert QuantVGGT, het eerste kwantisatiekader voor Visual Geometry Grounded Transformers (VGGTs) dat middels Dubbel-Gegladde Fijne-Korrelige Kwantisatie en Ruis-gefilterde Divers Steekproeven de hoge reken- en geheugenkosten van deze modellen aanzienlijk verlaagt zonder in te leveren op reconstructieprecisie.

De kern

🌍 De Dilemma: Een Supercomputer in je Broekzak?

Stel je voor dat je een geniale architect hebt die in één oogopslag een compleet 3D-gebouw kan bouwen op basis van een paar foto's. Dit is wat het model VGGT (Visual Geometry Grounded Transformer) doet. Het is een enorme, slimme AI die 3D-werelden kan reconstrueren.

Maar er is een probleem: deze architect woont in een gigantisch kasteel met duizenden kamers. Hij heeft een enorme hoeveelheid energie (rekenkracht) en ruimte (geheugen) nodig om te werken. Je kunt hem niet meenemen in je telefoon of een kleine drone; hij is te zwaar en te traag.

De oplossing? Je wilt de architect "verkleinen" zodat hij in je broekzak past, zonder dat hij zijn slimheid verliest. Dit noemen we kwantisatie (het omzetten van zware, precieze getallen naar lichtere, simpelere getallen).

🚧 Het Probleem: Waarom andere methoden falen

Tot nu toe lukte het verkleinen van dit specifieke model niet goed. Waarom? Omdat VGGT twee rare eigenschappen heeft die andere methoden in de war brengen:

1. De "Vaste Gasten" (Special Tokens):
   Stel je voor dat je een foto van een straat maakt. Meestal zijn alle onderdelen (auto's, bomen, mensen) variabel. Maar VGGT heeft ook een paar "vaste gasten" die altijd in het beeld staan, ongeacht wat er op de foto staat (zoals een camera-token of register-token).
   • De analogie: Het is alsof je een gewone foto van een feestje wilt comprimeren, maar er staat ook een gigantische, felgekleurde ballon in de hoek die nooit weggaat. Als je de hele foto verkleint, wordt die ballon zo groot dat hij de rest van de foto overneemt en alles vervormt. De andere details (de mensen) worden onherkenbaar.
2. De "Chaos van de Beelden" (Multi-view Data):
   VGGT kijkt naar veel verschillende hoeken tegelijk. Als je een proefgroepje kiest om het model te "trainen" voor het verkleinen, is het heel lastig om een eerlijke groep te vinden.
   • De analogie: Je wilt een recept voor een soep maken dat voor iedereen smaakt. Maar als je alleen maar mensen uitnodigt die extreem van chili houden (uitbijters), zal je soep te pittig zijn voor de rest. Bij 3D-data zijn die "chili-liefhebbers" (uitbijters) heel vaak aanwezig, waardoor je het recept (de instellingen) verkeerd instelt.

✨ De Oplossing: QuantVGGT

De auteurs van dit paper hebben een nieuwe methode bedacht, QuantVGGT, die deze twee problemen slim oplost. Ze gebruiken twee creatieve trucs:

1. De "Draai- en Gladmakende Truc" (Dual-Smoothed Fine-Grained Quantization)

In plaats van de "grote ballon" (de vaste gasten) gewoon te laten zitten, doen ze twee dingen:

• Draaien (Hadamard Rotation): Ze draaien de hele foto een beetje. Hierdoor verspreidt de felgekleurde ballon zich over de hele foto. Hij is niet meer één enorme vlek, maar een lichte tint overal.
• Gladmaken (Smoothing): Daarna maken ze de verdeling nog wat gelijkmatiger, zodat er geen enkele plek meer is die te zwaar is.
• Het resultaat: De "ballon" is nu verdwenen als storend element, en de foto kan veilig worden verkleind zonder dat de details (de mensen) vervormen.

2. De "Slimme Selectie" (Noise-Filtered Diverse Sampling)

Voor het trainen van het verkleinde model moeten ze een selectie maken van foto's.

• Filteren: Eerst kijken ze welke foto's "ruis" of extreme uitschieters hebben (zoals die ene foto met de gigantische ballon) en gooien die eruit.
• Groeperen: Vervolgens kijken ze niet naar de inhoud van de foto (is het een auto of een boom?), maar naar de relatie tussen de beelden. Ze groeperen foto's die op dezelfde manier bewegen of kijken.
• Het resultaat: Ze krijgen een perfecte, evenwichtige groep foto's om het model op te trainen. Geen rare uitschieters, maar een eerlijke representatie van de wereld.

🏆 Het Resultaat: Een Supermodel in je Broekzak

Wat levert dit op?

• Snelheid: Het model werkt nu 2,5 keer sneller.
• Ruimte: Het heeft 3,7 keer minder geheugen nodig.
• Kwaliteit: En het belangrijkste: het bouwt de 3D-wereld nog steeds 98% even goed na als het oorspronkelijke, zware model.

Kortom: QuantVGGT is als het verpakken van een zware, dure diamant in een klein, licht doosje. Je kunt de diamant nu overal mee naartoe nemen (naar je telefoon of drone), en hij glanst nog steeds net zo mooi als voorheen. Dit maakt geavanceerde 3D-reconstructie voor het eerst echt mogelijk op gewone apparaten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Quantized Visual Geometry Grounded Transformer" (QuantVGGT), gepresenteerd op ICLR 2026, in het Nederlands.

Probleemstelling

Learning-based 3D-reconstructiemodellen, met name de Visual Geometry Grounded Transformer (VGGT), hebben aanzienlijke prestaties geboekt door gebruik te maken van grote transformers (tot 1,2 miljard parameters). Deze modellen kunnen echter hun reken- en geheugenkosten niet rechtvaardigen voor real-world implementatie. Hoewel Post-Training Quantization (PTQ) een gebruikelijke techniek is om modellen te comprimeren en te versnellen, faalt deze standaardmethode bij VGGT om twee specifieke redenen:

1. Data-onafhankelijke speciale tokens: VGGT gebruikt camera- en register-tokens die niet uit de invoerbeelden worden gegenereerd, maar vooraf getraind zijn. Deze tokens veroorzaken zware "heavy-tailed" activatiedistributies met extreme uitbijters (outliers). Standaard quantisatie kan deze extreme waarden niet goed afhandelen, wat leidt tot grote kwantiseringsfouten en informatieverlies.
2. Instabiliteit bij kalibratie: Vanwege de multi-view aard van 3D-data zijn de semantische ruimten complex en redundant. Het selecteren van kalibratie-steekproeven is zeer instabiel; als de steekproeven niet divers genoeg zijn of juist te veel uitbijters bevatten, worden de geschatte quantisatiebereiken vertekend, wat resulteert in slechte generalisatie op ongezane scènes.

Methodologie: QuantVGGT

Het paper introduceert QuantVGGT, het eerste PTQ-framework dat specifiek is ontworpen voor VGGT. De methode bestaat uit twee kerncomponenten:

1. Dual-Smoothed Fine-Grained Quantization (DSFQ)

Deze techniek richt zich op het gladmaken van de scheve distributies veroorzaakt door de speciale tokens.

• Pre-Global Rotation (Hadamard-transformatie): Er wordt een willekeurige Hadamard-matrix toegepast op de activaties. Dit verspreidt de invloed van de uitbijters over alle kanalen (vanwege het centrale limiettheorema), waardoor de zware staarten van de distributie worden afgevlakt en de activaties meer Gaussiaans worden.
• Post-Local Smoothing: Na de rotatie vertoont de distributie nog steeds lokale variatie tussen kanalen. Er wordt een kanaal-specifieke schaling toegepast om de variantie binnen de geroteerde ruimte te normaliseren. Dit voorkomt dat extreme waarden in specifieke kanalen de quantisatie verstoren.
• Fine-Grained Granulariteit: In plaats van tensor-gebaseerde quantisatie, gebruikt de methode token-wise quantisatie voor activaties en out-dimension-wise quantisatie voor gewichten. Dit verlaagt de quantisatiefout verder zonder extra rekentijd, omdat de sommatie alleen over de binnenste dimensie plaatsvindt.

2. Noise-Filtered Diverse Sampling (NFDS)

Deze strategie verbetert de stabiliteit van het kalibratieproces.

• Ruisfiltering: Voordat er gesampled wordt, worden steekproeven gefilterd op basis van statistieken van diepe lagen (gemiddelde en variantie). Steekproeven met een hoge "noise-score" (extreme uitbijters) worden verwijderd om de kalibratie niet te laten worden beïnvloed door zeldzame, niet-representatieve data.
• Frame-bewuste Clustering: In plaats van te clusteren op basis van labels of ruwe features (wat suboptimaal is voor 3D-geometrie), maakt NFDS gebruik van de inductieve bias van VGGT. Er wordt een correlatievector berekend tussen het eerste frame en de daaropvolgende frames. Op basis van deze relatieve geometrische relaties worden clusters gevormd.
• Diverse Sampling: Er wordt uniform gesampled binnen deze clusters om een kalibratiedataset te garanderen die de werkelijke data-distributie representatief en stabiel weergeeft.

Belangrijkste Bijdragen

1. Eerste systematische analyse: Het paper biedt de eerste diepgaande analyse van PTQ-uitdagingen bij VGGT, met name de impact van data-onafhankelijke tokens en multi-view statistieken.
2. Nieuwe Quantisatie-architectuur: De introductie van DSFQ, die een combinatie is van globale rotatie en lokale smoothing, wat aanzienlijk minder quantisatiefouten oplevert dan bestaande methoden.
3. Robuste Kalibratiestrategie: De NFDS-methode lost het probleem van instabiele steekproefselectie op door ruis te filteren en gebruik te maken van frame-relatieve clustering.
4. State-of-the-art prestaties: QuantVGGT is het eerste framework dat VGGT succesvol kwantiseert naar 4-bit (W4A4) zonder significante prestatieverlies.

Resultaten

De experiments zijn uitgevoerd op benchmarks zoals CO3Dv2 (camera pose), DTU (point map), 7-Scenes en NRGBD (point cloud reconstruction).

• Prestaties: QuantVGGT behoudt >98% van de nauwkeurigheid van het full-precision model (FP16) zelfs bij extreme 4-bit quantisatie (W4A4).
  • Voorbeeld (CO3Dv2, 20 frames, W4A4): Full Precision AUC@30 is 90.0. QuaRot (SOTA) haalt 81.6, terwijl QuantVGGT 88.2 haalt.
• Efficiëntie:
  • Geheugenreductie: 3.7x compressie ten opzichte van FP16.
  • Snelheid: 2.5x versnelling in inferentie op echte hardware (NVIDIA RTX 4090).
• Vergelijking: QuantVGGT overtreedt bestaande generieke quantisatiemethoden (zoals SmoothQuant, QuaRot, GPTQ) met een grote marge, vooral bij lage bit-breedtes (4-bit).

Significantie

QuantVGGT demonstreert dat het mogelijk is om enorme 3D-reconstructiemodellen (1.2B parameters) efficiënt te deployen op apparaten met beperkte middelen, zonder in te leveren op reconstructiekwaliteit. Door de specifieke uitdagingen van 3D-data (speciale tokens en multi-view complexiteit) aan te pakken, opent dit onderzoek de weg voor real-time, high-fidelity 3D-toepassingen op edge-apparaten en in resource-constrained omgevingen. De code is open-source beschikbaar gemaakt, wat de reproduceerbaarheid en verdere adoptie bevordert.