OVGGT: O(1) Constant-Cost Streaming Visual Geometry Transformer

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een camera vasthoudt en door een heel groot, onbekend gebouw loopt. Je wilt dat een slimme computer in real-time een perfecte 3D-kaart van alles tekent wat je ziet.

Dit is precies wat OVGGT doet, maar dan met een heel slimme truc die het mogelijk maakt om dit te doen zonder dat de computer "dwaas" wordt van de hoeveelheid informatie.

Hier is de uitleg in gewone taal, met een paar handige vergelijkingen:

1. Het Probleem: De "Onuitputtelijke" Geheugenbak

Tot nu toe waren de slimste computersystemen voor 3D-kaarten (zoals StreamVGGT) als een student die alles onthoudt die hij ooit heeft gezien.

Hoe het werkte: Als je 100 foto's maakt, onthoudt de computer alle 100. Als je 500 foto's maakt, onthoudt hij alle 500.
Het probleem: Het geheugen van de computer (de VRAM) is als een kleine rugzak. Als je te veel foto's in die rugzak stopt, barst hij open. De computer crasht (OOM = Out of Memory) of wordt zo traag dat hij stopt. Je kunt dus niet oneindig lang lopen; na een paar minuten is de rugzak vol.

2. De Oplossing: OVGGT (De Slimme Verhuizer)

OVGGT is als een slimme verhuizer die je helpt om door een oneindig lange gang te lopen, zonder dat je rugzak ooit vol raakt. Het doet dit met twee hoofdtrucs:

Truc 1: De "Slimme Selectie" (Self-Selective Caching)

Stel je voor dat je een lange film kijkt. Je wilt niet elke seconde van de film in je hoofd bewaren, want dat kan niet. Je wilt alleen de belangrijkste momenten onthouden.

De oude manier: Bewaar alles, tot je rugzak vol is.
De OVGGT-methode: De computer kijkt continu naar wat hij ziet en zegt: "Is dit stukje beeld belangrijk voor de 3D-kaart?"
- Als het een saaie, egale muur is, zegt hij: "Niet belangrijk, weg ermee!" (Dit wordt het 'verwijderen' van tokens).
- Als het een hoekje is met veel details of een deur, zegt hij: "Dit is belangrijk, bewaar dit!"
De slimme twist: De computer gebruikt een trucje (gebaseerd op hoe actief de neuronen zijn) om te zien wat belangrijk is, zonder extra tijd te verliezen. Hij zorgt er ook voor dat hij niet alleen losse, willekeurige puntjes onthoudt, maar hele samenhangende stukken (zoals een heel raam, niet alleen één pixel). Zo blijft de kaart scherp.

Truc 2: De "Ankers" (Dynamic Anchor Protection)

Stel je voor dat je in een groot park loopt. Als je alleen maar naar de nieuwe bomen kijkt die je nu ziet, en je vergeet waar je bent begonnen, kun je op een gegeven moment de weg kwijtraken. Je weet niet meer of je links of rechts van de ingang bent.

Het probleem: Als je te veel oude informatie verwijdert, begint de 3D-kaart te "drijven" (drift). De muren beginnen te wiebelen of de kamer wordt groter dan hij is.
De OVGGT-oplossing: De computer plaatst onzichtbare ankers in de ruimte.
- Het Start-Anker: Hij onthoudt altijd heel goed hoe de eerste kamer eruitzag. Dit is het nulpunt van de kaart.
- De Historische Ankers: Als je ver weg loopt van het begin, kiest hij automatisch een paar nieuwe, belangrijke plekken (zoals een opvallend standbeeld of een hoek) om als nieuw anker te gebruiken.
Het resultaat: Zelfs als je uren loopt, weet de computer altijd precies waar hij staat ten opzichte van die ankers. De kaart blijft stabiel en rechte lijnen blijven recht.

3. Waarom is dit zo cool?

Oneindig lang: Je kunt nu een video van 500, 1000 of zelfs 10.000 beelden maken, en de computer crasht niet. Hij gebruikt altijd evenveel geheugen, of je nu 10 seconden of 1 uur filmt.
Sneller en schoner: Omdat hij niet met een volle rugzak worstelt, is hij sneller. En omdat hij alleen de beste informatie onthoudt (en de rommel weggooit), is de 3D-kaart vaak zelfs nauwkeuriger dan die van systemen die alles proberen te onthouden.
Werkt op een gewone laptop: Je hebt geen supercomputer van 100.000 euro nodig; het werkt zelfs op een goede consumenten-graphicskaart.

Samenvatting in één zin

OVGGT is als een slimme fotograaf die door een oneindige stad loopt: hij gooit de saaie, saaie beelden weg om ruimte te maken, maar houdt de belangrijkste plekken (de ankers) vast in zijn geheugen, zodat hij nooit de weg kwijtraakt en zijn 3D-kaart altijd perfect en scherp blijft, ongeacht hoe lang hij loopt.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Het reconstrueren van 3D-geometrie uit streaming video is een fundamenteel probleem in computer vision, essentieel voor toepassingen zoals autonoom rijden, augmented reality en robotica. Bestaande "geometric foundation models" (zoals VGGT) bereiken uitstekende kwaliteit door gebruik te maken van all-to-all attention, waarbij elke frame met alle andere frames wordt vergeleken. Dit leidt echter tot een kwadratische kost ( $O(N^2)$ ) in zowel geheugen als rekentijd, wat deze modellen beperkt tot korte, offline sequenties.

Om streaming te mogelijk maken, zijn modellen zoals StreamVGGT ontwikkeld die gebruikmaken van causale attention (alleen kijken naar het verleden). Hoewel dit streaming in één doorgang mogelijk maakt, groeit de KV-cache (Key-Value cache) lineair met het aantal frames. Dit resulteert in twee kritieke bottlenecks:

Geheugenoverschrijding (OOM): Na enkele honderden frames raakt het GPU-geheugen (VRAM) vol, waardoor langere sequenties onmogelijk worden.
Toenemende latentie: De rekentijd per frame neemt toe naarmate de cache groter wordt, wat real-time verwerking onmogelijk maakt voor lange video's.

Bestaande oplossingen die proberen tokens te verwijderen (evictie) leiden vaak tot een aanzienlijke degradatie van de reconstructiekwaliteit of zijn niet compatibel met efficiënte attention-mechanismen zoals FlashAttention.

Methodologie: OVGGT

De auteurs introduceren OVGGT, een trainingsvrij framework dat de geheugen- en rekentijd beperkt tot een vaste begroting, ongeacht de lengte van de video-sequentie. Dit wordt bereikt door twee complementaire componenten:

1. Self-Selective Caching (SSC)

Dit mechanisme bepaalt welke tokens in de cache behouden moeten worden en welke verwijderd kunnen worden, zonder de architectuur te wijzigen of FlashAttention te blokkeren.

Activatie Waarde Rating (Activation Value Rating): In plaats van attention-weights te gebruiken (die niet beschikbaar zijn bij FlashAttention), gebruikt SSC de grootte van de FFN-residu's (Feed-Forward Network residuals). Tokens met een hoge FFN-residu-magnitude worden geacht meer geometrisch significant te zijn. Deze scores zijn al beschikbaar tijdens de forward pass, wat nul extra rekentijd kost.
Activatie Smoothing: Om te voorkomen dat de behouden tokens willekeurig verspreid zijn over het beeld (wat de lokale coherentie verstoort), wordt een Gaussische smoothing toegepast op de activatiekaart. Dit zorgt ervoor dat ruimtelijk samenhangende groepen tokens behouden blijven, wat essentieel is voor nauwkeurige diepte- en puntwolkvoorspelling.
Hybride Score: Voor historische tokens (die geen actuele FFN-score hebben) wordt een diversiteitsmeting gebruikt (afstand tot het gemiddelde key-vector). Een gewogen som van de huidige activatiescores en de historische diversiteit bepaalt welke tokens worden verwijderd om de cache binnen het vaste budget te houden.

2. Dynamic Anchor Protection (DAP)

Om te voorkomen dat de geometrische consistentie verloren gaat door het verwijderen van cruciale referentiepunten (geometrische drift), worden specifieke "anchors" beschermd tegen verwijdering.

Global Initial Anchor: Alle tokens van het eerste frame worden permanent beschermd. Dit behoudt de coördinatenconsistentie voor de hele sequentie.
Historical Anchors: Naarmate de camera beweegt, kan het eerste frame geen visuele overlap meer hebben met de huidige weergave. Daarom worden adaptief nieuwe "anchors" geregistreerd op basis van view-overlap. De meest betrouwbare tokens van deze frames (gebaseerd op confidence scores) worden permanent beschermd.
FIFO-beleid: Het aantal actieve anchors is beperkt tot een maximum ( $K_{max}$ ); oude anchors worden verwijderd als de limiet wordt bereikt, maar de initiële anchor blijft altijd behouden.

Belangrijkste Bijdragen

OVGGT Framework: Het eerste trainingsvrije framework dat 3D-inferentie op willekeurig lange video's mogelijk maakt binnen een constante VRAM-omhulling en constante rekentijd ( $O(1)$ per frame).
Self-Selective Caching: Een innovatieve methode om de KV-cache te comprimeren op basis van FFN-residu's, volledig compatibel met FlashAttention en zonder extra trainingskosten.
Dynamic Anchor Protection: Een mechanisme om geometrische drift te onderdrukken door kritieke tokens (startframe en historische referenties) te beschermen, wat essentieel is voor lange trajecten.
State-of-the-Art Resultaten: Het behalen van superieure nauwkeurigheid vergeleken met bestaande methoden, zelfs op ultra-lange sequenties, terwijl het minder geheugen verbruikt.

Resultaten

De auteurs hebben OVGGT getest op diverse benchmarks (indoor, outdoor en ultra-lange sequenties) en vergeleken met state-of-the-art methoden zoals StreamVGGT, Evict3R en InfiniteVGGT.

Reconstructiekwaliteit: Op benchmarks zoals 7-Scenes, NRGBD, ETH3D en Long3D (tot 10.000 frames) behaalt OVGGT de beste nauwkeurigheid (Accuracy, Completeness, Normal Consistency).
- Opmerkelijk: OVGGT presteert vaak beter dan StreamVGGT met volledige cache. Dit suggereert dat het behouden van alle tokens (inclusief ruis en redundantie) de kwaliteit juist kan verlagen.
Efficiëntie:
- Geheugen: OVGGT blijft binnen een vast budget (bijv. ~10 GB VRAM voor 200K tokens), terwijl StreamVGGT na ~200 frames faalt door geheugenoverschrijding (OOM).
- Snelheid: OVGGT behoudt een constante hoge FPS (bijv. 14.20 FPS op 500 frames), terwijl andere methoden vertragen of stoppen.
Video Dieptebepaling: OVGGT toont stabiele nauwkeurigheid op lange sequenties (Bonn en KITTI datasets), terwijl andere methoden last hebben van cumulatieve fouten.

Significantie

OVGGT lost een fundamentele beperking op in het veld van 3D-vision: de schaalbaarheid van streaming inferentie.

Democratisering: Het maakt high-fidelity 3D-reconstructie mogelijk op consumentenhardware (single consumer GPU, bijv. RTX 5090) voor video's van onbeperkte lengte.
Praktische Toepasbaarheid: Het maakt langdurige toepassingen mogelijk, zoals permanente digitale twins, langdurige robotnavigatie en real-time AR, die eerder onmogelijk waren door geheugenbeperkingen.
Paradigmaverschuiving: Het bewijst dat een zorgvuldig beheerde, beperkte cache superieur kan zijn aan een volledige cache, door ruis te filteren en alleen de meest informatieve geometrische informatie te behouden.

Kortom, OVGGT biedt een schaalbare, efficiënte en nauwkeurige oplossing voor streaming 3D-reconstructie, waarbij de traditionele trade-off tussen geheugengebruik en kwaliteit wordt doorbroken.