RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

Technische Samenvatting van RegimeVGGT

Probleemstelling
Visual Geometry Grounded Transformer (VGGT) vertegenwoordigt een significante vooruitgang in het herstellen van dichte 3D-scène structuren uit multi-view beelden in een enkele forward pass. De architectuur rust echter op een 24-laag aggregator met afwisselende frame-wise en globale cross-frame aandacht, wat een computationele kostenpost van $O(S^2P^2)$ met zich meebrengt, waarbij $S$ het aantal frames is en $P$ het aantal patches per frame. Deze kwadratische schaling zorgt ervoor dat het vanilla model vastloopt op geheugen bij sequenties die de ~300 frames overschrijden (zelfs op high-end GPU's zoals de NVIDIA H800) en maakt de geheugengeoptimaliseerde variant (VGGT*) onwerkbaar traag voor lange sequenties. Bestaande training-vrije versnellers proberen dit te mitigeren door computationeel uniform te reduceren langs een enkele as (bijvoorbeeld het samenvoegen van tokens over alle lagen of het subsampling van Key/Value paren op een ruimtelijk rooster). Deze benaderingen houden geen rekening met de heterogeniteit van de lagen van VGGT, waardoor kansen voor meer efficiënte, gerichte compressie worden gemist.

Methodologie
RegimeVGGT adresseert deze beperkingen via een training-vrij framework dat een laag-specifieke, U-vormige compressie toepast langs twee orthogonale assen: de token-aantal as en de Key/Value (K/V) dichtheidsas. De methodologie is geworteld in spectrale, probing en causale analyses die aantonen dat de 24 globale-aandachtslagen van VGGT zich verdelen in drie functioneel verschillende regimes:

1. Ondiepe lagen (L1–L10): Ontbreken aan cross-view structuur en vertonen een lage effectieve rang.
2. Middelste lagen (L11–L18): Drijven cross-view uitlijning en point-cloud reconstructie aan, gekenmerkt door een hoge effectieve rang en een concentratie van geometrie- en rand-saliente tokens.
3. Diepe lagen (L19–L24): Zijn geometrisch inert voor dichte reconstructie maar essentieel voor pose-estimatie; ze vertonen een bijna rank-1 redundantie maar vereisen een behouden cross-frame pad voor camera-tokens.

Op basis van deze analyse hanteert RegimeVGGT twee samengestelde operatoren binnen elke globale blok:

1. Saliency-Guided Banded Merging (Token-aantal as):

   • Strategie: Past een U-vormige merge-ratio ($\rho$) toe die de rang-profiel spiegelt: agressieve merging in ondiepe ($\rho=0.99$) en diepe ($\rho=0.99$) lagen, en conservatieve merging in de middelste band ($\rho=0.50$).
   • Bescherming: Om het verlies van kritieke 3D-grensinformatie te voorkomen, beschermt de methode een subset van tokens die zijn geïdentificeerd door een bevroren DINOv2 [CLS] class-attention saliency score ($\Psi$). Dit benadert de locatie van geometrie- en rand-saliente tokens zonder dat daarvoor ground-truth diepte of extra training nodig is.
   • Optimalisatie: Gebruikt band-aligned caching om matching-kosten te amortiseren en size-aware attention om samengevoegde tokens correct te wegen.

2. Selectief Beschermde K/V Downsampling (K/V-dichtheidsas):

   • Strategie: Comprimeert de K/V set met een U-vormige ratio ($\sigma$), waarbij de dichtste K/V in de middelste band wordt gehouden en de meest ijle in de flanken.
   • Phase-Shifted Grid: Om systematische ruimtelijke blinde vlekken te vermijden, is het sub-rooster voor K/V retentie gefaseerd verschoven op basis van de frame-index. Naarmate de sequentielengte groeit, nadert de unie van de behouden posities de volledige ruimtelijke dekking.
   • Critical Path Preservation: De methode behoudt strikt het cross-frame aandachtspad dat essentieel is voor pose-estimatie. Dit omvat:
     • Het behouden van Camera en Register tokens op volledige dichtheid.
     • Het handhaven van een full-density "anchor" bij Frame 0 om een stabiele wereldreferentie voor uitlijning te bieden.
     • Het beschermen van geometrie- en rand-saliente patches (geïdentificeerd door $\Psi$) tegen downsampling.

Belangrijkste Bijdragen

• Regime Discovery: Het paper stelt vast dat de redundantie van VGGT niet uniform is maar een drie-band regime volgt (ondiep, midden, diep) met onderscheidende functionele rollen en spectrale eigenschappen.
• Dual-Axis Compression: Het introduceert een framework dat gelijktijdig comprimeert langs de token-aantal as en de K/V-dichtheidsas, waarbij gebruik wordt gemaakt van de specifieke heterogeniteit van elk regime.
• Pose-Aware Design: In tegen mana de methoden die de pose-estimatie kunnen degraderen, behoudt RegimeVGGT expliciet het cross-frame aandachtspad tussen camera/register tokens en patches, wat zorgt voor stabiliteit in lange sequenties.
• Training-Free Efficiency: De gehele pipeline werkt zonder fine-tuning en vertrouwt op bevroren pre-trained modellen (DINOv2) voor saliency-estimatie en deterministische compressie-schema's.

Experimentele Resultaten
Geëvalueerd op datasets waaronder 7 Scenes, NRGBD, ScanNet-50, Tanks & Temples, en DTU, demonstreert RegimeVGGT significante efficiëntiewinsten zonder de reconstructiekwaliteit in gevaar te brengen:

• Versnelling: Bereikt een 6.7× end-to-end versnelling ten opzichte van VGGT* op ScanNet-1000 (1000 frames) terwijl de bijbehorende reconstructiekwaliteit (Chamfer Distance) behouden blijft.
• Schaalbaarheid: Verwerkt succesvol sequenties van 1000 frames waar de originele VGGT out-of-memory gaat en VGGT* aanzienlijk trager is.
• Pose-estimatie: Handhaaft een hoge nauwkeurigheid in camera pose-estimatie (AUC@30, ATE, ARE) over korte en lange sequenties, waarbij het concurrerende training-vrije versnellers (FastVGGT, S-VGGT) en de VGGT* baseline evenaart of overtreft.
• Geheugenefficiëntie: Vermindert het piek GPU-geheugengebruik vergeleken met baselines die vertrouwen op hulpbuffers of merge-indices, wat inferentie op lange sequenties mogelijk maakt binnen de 80GB VRAM-restricties.

Betekenis
Het paper claimt dat de betekenis van RegimeVGGT ligt in de demonstratie dat globale aandacht in 3D vision transformers "heterogeen redundant" is. Door verder te gaan dan uniforme compressiestrategieën en in plaats daarvan het compressieschema af te stemmen op de specifieke functionele regimes van het netwerk (het pose-pad behouden terwijl geometrisch redundante lagen agressief comprimeren), bereikt de methode substantiële schaalbaarheid. Dit maakt het mogelijk om VGGT toe te passen op lange-sequentie, real-world scenario's (zoals autonoom rijden of grootschalige mapping) die voorheen onhaalbaar waren vanwege geheugen- en computationele beperkingen, en dat alles zonder de noodzaak voor hertraining of fine-tuning.