Technische Samenvatting: QVGGT - Post-Training Quantized Visual Geometry Grounded Transformer

Probleemstelling

De Visual Geometry Grounded Transformer (VGGT) vertegenwoordigt een significante vooruitgang in 3D computer vision, in staat om cameraparameters, dieptekaarten en puntenwolken te voorspellen in een enkele forward pass vanuit multi-view RGB-inputs. De enorme schaal van VGGT (1,26 miljard parameters) creëert echter een aanzienlijke geheugenvoetafdruk en computationele vraag, wat de inzet op hulpbronnenbeperkte edge-apparaten zoals UAV's en mobiele AR-systemen onpraktisch maakt.

Hoewel standaard modelcompressietechnieken zoals pruning en knowledge distillation bestaan, bieden deze vaak beperkte versnelling op moderne hardware. Kwantisatie, waarbij de numerieke precisie wordt verminderd, is een veelbelovend alternatief maar blijft grotendeels onverkend voor grootschalige 3D-reconstructie-transformers. Het direct toepassen van bestaande Post-Training Quantization (PTQ) methoden op VGGT faalt door drie specifieke uitdagingen:

1. Heterogene Gevoeligheid: Verschillende transformer-blokken binnen VGGT vertonen variërende graden van gevoeligheid voor kwantisatie; uniforme low-bit kwantisatie veroorzaakt een onevenredige afname in nauwkeurigheid, met name bij de camera-pose schatting.
2. Token-niveau Activatie-imbalans: Camera-tokens en register-tokens genereren activaties met een hoge magnitude die fungeren als uitschieters (outliers). Deze uitschieters domineren de schatting van de schaal tijdens kalibratie, wat leidt tot een ongebalanceerde kwantisatie-resolutie en versterkte fouten voor de meerderheid van de tokens.
3. Taak-misalignement: Standaard laag-voor-laag reconstructiedoelen leggen de vereiste downstream geometrische consistentie voor 3D-taken (bijv. de relatie tussen camera-pose, diepte en puntenkaarten) niet volledig vast.

Methodologie: QVGGT Framework

De auteurs stellen QVGGT voor, een op maat gemaakt driefasen PTQ-framework dat is ontworpen om VGGT te comprimeren terwijl de 3D geometrische consistentie behouden blijft. Het framework opereert onder een W4A16 setting (4-bit gewichten, 16-bit activaties).

1. Selectieve Mixed-Precision Kwantisatie

De auteurs voeren eerst een fijnmazige gevoeligheidsanalyse uit door individuele blokken selectief te kwantiseren en de impact op downstream heads te meten.

• Observatie: De camera head is zeer gevoelig voor de precisie van blokken, terwijl depth en point-map heads robuuster zijn. Bepaalde blokken (specifiek de 14e, 17e en 23e frame-blokken, en het 23e globale blok) worden geïdentificeerd als "fragiel".
• Strategie: In plaats van uniforme kwantisatie hanteert QVGGT een selectieve mixed-precision strategie. De fragiele blokken behouden FP16 precisie voor hun attention projection layers, terwijl de overige robuuste blokken worden gekwantiseerd naar INT4. Dit balanceert compressie met het behoud van cruciale geometrische aanwijzingen.

2. Token Filtering met Camera Information Compensation (CIC)

Om het uitschietersprobleem veroorzaakt door camera- en register-tokens aan te pakken:

• Token Filtering: Tijdens de kalibratiefase voor de zoektocht naar de schaal worden camera- en register-tokens uitgesloten van de berekening van de activatiestatistieken. Dit voorkomt dat de schaalverdeling wordt vertekend door enkele extreme activaties, waardoor de kwantisatieschaal de dynamische range van de meerderheid (beeld) tokens weerspieelt.
• Camera Information Compensation (CIC): Het uitsluiten van deze tokens verwijdert essentiële globale geometrische aanwijzingen. Om deze informatie te herstellen, synthetiseren de auteurs een CIC-token. Deze token wordt afgeleid door Top-K PCA uit te voeren op de camera-token activaties uit de kalibratieset. De resulterende laag-variantie, dataset-brede globale geometrische prior wordt vóór de camera head tijdens inferentie opnieuw in de token-sequentie geïnjecteerd.

3. Taak-bewuste Schaalzoekmechanisme

Standaard PTQ minimaliseert de laag-voor-laag reconstructiefout, wat geen garantie biedt voor accurate 3D-voorspellingen. QVGGT introduceert een taak-bewuste objectieffunctie voor het selecteren van kwantisatieschalen:

• Multi-Head Supervisie: De zoektocht minimaliseert een combinatie van verliezen van de drie voorspellings-heads: camera pose ($L_{camera}$), diepte ($L_{depth}$) en puntenkaarten ($L_{point}$).
• Geometrische Consistentie: Een nieuwe Geometry Consistency Loss ($L_{geom}$) wordt geïntroduceerd. Deze dwingt overeenstemming af tussen de puntenkaart die direct door de point head wordt voorspeld en een puntenkaart die wordt gereconstrueerd door de voorspelde diepte te unprojecten met behulp van de voorspelde camera pose.
• Optimalisatie: De uiteindelijke objectieffunctie combineert reconstructiefout met deze taakspecifieke en geometrische consistentieverliezen, waardoor de schaalzoektocht wordt gestuurd naar oplossingen die de intrinsieke 3D-structuur over alle heads behouden.

Belangrijkste Bijdragen

1. PTQ Framework voor 3D Transformers: Het artikel presenteert het eerste op maat gemaakte PTQ-framework voor 3D geometrie-transformers, waarbij wordt aangetoond dat de heterogene kwantisatiegevoeligheid van VGGT kan worden benut via selectieve mixed-precision strategieën.
2. Token-niveau Kalibratieschema: De auteurs identificeren en adresseren een karakteristieke activatie-imbalans in 3D-transformers, en stellen een token-gefilterd kalibratieschema voor met PCA-gebaseerde compensatie om de robuustheid te verbeteren.
3. Taak-bewuste Schaalzoektocht: Een nieuw mechanisme voor schaalzoektocht is ontworpen dat de kwantisatie-optimalisatie afstemt op downstream 3D-voorspellingstaken door middel van multi-head supervisie en geometrische consistentie-restricties.
4. Empirische Validatie: Het framework bereikt een bijna verliesloze W4A16-kwantisatie over meerdere benchmarks, waarbij het modelformaat met meer dan 75% wordt verminderd en het inferentiegeheugen met 3–4,9×.

Experimentele Resultaten

De auteurs evalueerden QVGGT op vier benchmarks: CO3Dv2, RealEstate10K, 7-Scenes, en NRGBD.

• Camera Pose Estimatie: Op CO3Dv2 en RealEstate10K bereikt QVGGT (W4A16) een AUC@30 van respectievelijk 89,4 en 85,0, wat bijna overeenkomt met de full-precision FP16 baseline (89,5 en 85,3). In contrast hiermee lijden generieke PTQ-methoden zoals GPTQ en AWQ onder significante prestatieverliezen (bijv. AWQ daalt naar 54,6 op CO3Dv2).
• 3D Reconstructie: Op 7-Scenes en NRGBD behoudt QVGGT een nauwkeurigheid, volledigheid en normale consistentie die vergelijkbaar is met de FP16 baseline, en presteert het aanzienlijk beter dan SmoothQuant, GPTQ en AWQ onder dezelfde W4A16-instellingen.
• Efficiëntie:
  • Geheugen: QVGGT vermindert het piekgeheugengebruik met 4,9× voor single-frame input en 3,0× voor 22-frame input vergeleken met FP32 VGGT. Het maakt verwerking van tot 30 frames mogelijk op een 24GB GPU zonder Out-Of-Memory (OOM) fouten, terwijl het full-precision model hier faalt.
  • Latency: De methode bereikt tot 2,8× real hardware speedup over FP32 en een 1,93× latency speedup over FP16 baselines op een RTX 4090.
• Robuustheid: Ablatie-studies tonen aan dat de methode robuust is tegen de omvang van de kalibratiedataset, en goed presteert met zelfs slechts 16 kalibratiebeelden.

Betekenis en Claims

Het artikel claimt dat QVGGT hoogwaardige 3D-perceptie haalbaar maakt op edge-apparaten, wat de praktische inzet van feed-forward 3D-reconstructiemodellen in echte omgevingen met beperkte middelen mogelijk maakt.

De auteurs positioneren QVGGT als complementair aan gelijktijdig werk zoals QuantVGGT. Terwijl QuantVGGT zich richt op algemene numerieke stabilisatie (distributie-georiënteerd), legt QVGGT de nadruk op een geometrie- en taakbewust ontwerp. Door expliciet rekening te houden met de unieke kenmerken van 3D-transformers — zoals de specifieke rol van camera-tokens en de geometrische relaties tussen voorspellings-heads — bereikt QVGGT een superieure behoud van nauwkeurigheid in 3D-taken vergeleken met generieke kwantisatie-benaderingen. Het werk demonstreert dat met zorgvuldige architecturale en doelstelling-afstemming, grootschalige 3D visiemodellen kunnen worden gecomprimeerd naar 4-bit gewichten zonder de geometrische getrouwheid op te offeren die vereist is voor robotica en AR-toepassingen.