💻 computer science

LongStream: Long-Sequence Streaming Autoregressive Visual Geometry

LongStream is een nieuw, online model dat door het loskoppelen van de pose van het eerste frame, het ontkoppelen van schaal en het corrigeren van transformer-attentie-bias, stabiele metrische 3D-reconstructie mogelijk maakt over duizenden frames zonder drift.

Oorspronkelijke auteurs: Chong Cheng, Xianda Chen, Tao Xie, Wei Yin, Weiqiang Ren, Qian Zhang, Xiaoyang Guo, Hao Wang

Gepubliceerd 2026-03-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chong Cheng, Xianda Chen, Tao Xie, Wei Yin, Weiqiang Ren, Qian Zhang, Xiaoyang Guo, Hao Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

LongStream: De "Onvermoeibare Wandelaar" voor 3D-kaarten

Stel je voor dat je een wandeling maakt door een enorme stad en je probeert tegelijkertijd een perfecte 3D-kaart van alles om je heen te tekenen. Je hebt een camera in je hand die elke seconde een foto maakt. Je wilt die foto's stap voor stap omzetten in een driedimensionale wereld, terwijl je loopt, zonder ooit te stoppen om alles opnieuw te berekenen.

Dit is wat LongStream doet. Het is een slim computerprogramma dat real-time 3D-kaarten maakt van video's, zelfs als die video's kilometers lang zijn.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vergeetachtige" Wandelaars

Vroeger waren de beste systemen voor dit werk als een architect die altijd terugkeert naar het begin.

Hoe het oude werk: Als je 100 meter loopt, kijkt het systeem steeds terug naar je allereerste stap (de eerste foto) om te weten waar je bent.
Het probleem: Naarmate je verder loopt, wordt die eerste stap steeds minder relevant. Het systeem raakt in de war, begint te twijfelen over de schaal (is dat een auto of een speelgoedauto?) en de kaart begint te "smelten" of te vervormen. Na een paar honderd meter is de kaart volledig onbruikbaar. Dit noemen ze "extrapolatiefouten".

2. De Oplossing van LongStream: De "Relatieve Kompas"

LongStream lost dit op met drie slimme trucs:

A. Geen "Oude Hoed" meer (Gauge-Decoupling)

Stel je voor dat je een wandeling maakt.

Oude methode: Je kijkt constant naar je startpunt in het park om te weten waar je bent. Als je 10 km loopt, is dat startpunt zo ver weg dat het niet meer helpt.
LongStream-methode: Je kijkt alleen naar je laatste bekende herkenningspunt (een "sleutelframe"). Je vraagt jezelf af: "Hoe ver en in welke richting ben ik sinds de laatste keer dat ik een kaartje heb gemaakt?"
Het resultaat: Het maakt niet uit of je 10 meter of 10 kilometer loopt. De vraag blijft altijd hetzelfde en even makkelijk. Je bouwt de kaart op in kleine, betrouwbare stapjes in plaats van één enorme, onmogelijke sprong.

B. De "Maatstaf" en de "Vorm" (Orthogonale Schaal)

Soms weten computers niet of ze naar een reusachtig kasteel of een klein speelgoedkasteel kijken. Ze verwarren de vorm van het object met de grootte.

LongStream-methode: Het scheidt deze twee taken. Er is één deel van het brein dat alleen kijkt naar de vorm (de straten, de gebouwen), en een ander deel dat alleen kijkt naar de grootte (hoe ver weg is het?).
De analogie: Het is alsof je een tekening maakt op een stuk papier (de vorm) en daarna pas beslist of je die tekening vergroot of verkleint (de schaal). Zo blijft de tekening nooit "uit elkaar vallen" omdat de grootte verkeerd is.

C. De "Geheugen-Reset" (Cache Consistentie)

Computers hebben een soort werkgeheugen (KV-cache) waar ze de recente foto's in bewaren.

Het probleem: Bij oude systemen raakt dit geheugen vol met "oude rommel". Het systeem blijft te veel letten op de allereerste foto (die "zink" of "put" in de aandacht) en vergeet wat er nu gebeurt.
LongStream-methode:
1. Oefenen zoals spelen: Het systeem wordt getraind op precies dezelfde manier als het later gaat werken. Het leert om niet te vertrouwen op de eerste foto, maar op de recente beelden.
2. Periodieke reset: Na een tijdje (bijvoorbeeld elke paar honderd meter) "veegt" het systeem zijn geheugen schoon van de alleroudste, verouderde informatie. Het houdt alleen de recente, schone informatie over. Dit voorkomt dat het systeem "dwaalt" door oude, foutieve herinneringen.

Waarom is dit geweldig?

Snelheid: Het werkt in echt tijd (18 beelden per seconde). Je kunt er mee lopen terwijl je camera opneemt, en de kaart wordt direct getekend.
Lengte: Terwijl andere systemen na 50 meter de geest geven en de kaart laten instorten, kan LongStream kilometers lang een stabiele, nauwkeurige kaart maken.
Toepassing: Denk aan zelfrijdende auto's die een hele stad moeten doorrijden, of robots die door een heel gebouw moeten navigeren zonder hun weg kwijt te raken.

Kortom: LongStream is als een wandelaar die niet naar het startpunt blijft staren, maar slim gebruikmaakt van zijn recente omgeving, zijn geheugen regelmatig opruimt, en zo een perfecte kaart tekent, ongeacht hoe ver hij loopt.

Probleemstelling

Bestaande methoden voor 3D-scèneherconstructie uit videostreams (streaming 3D reconstruction) kampen met ernstige beperkingen bij het verwerken van lange sequenties.

Catastrofaal Extrapolatiefout: Bestaande autoregressieve modellen (zoals Stream3R en StreamVGGT) zijn vaak "gauge-gekoppeld". Ze verankeren de camera-pose aan het eerste frame en voorspellen absolute posities. Dit leidt tot een "train-short, test-long" bias: het model leert op korte sequenties maar faalt bij extrapolatie naar lange afstanden.
Drift en Schaalverlies: Door de afhankelijkheid van het eerste frame en de accumulatie van fouten in de KV-cache (Key-Value cache) van Transformers, ontstaan er schaaldrift (scale drift) en extrapoleerfouten. Modellen "storten" vaak binnen enkele tientallen meters, wat leidt tot trackingverlies.
Attention Sink: Transformers vertonen een "attention sink" gedrag, waarbij ze ongezond veel aandacht besteden aan het eerste token (het eerste frame), wat de stabiliteit over lange tijdsseries ondermijnt.
Offline vs. Online: Traditionele methoden vereisen offline verwerking van de hele sequentie, wat niet geschikt is voor real-time toepassingen zoals autonoom rijden of AR/VR.

Methodologie: LongStream

LongStream introduceert een nieuw "gauge-ontkoppeld" (gauge-decoupled) streaming autoregressief raamwerk voor metrische 3D-herconstructie over duizenden frames. De kern van de methode bestaat uit drie pijlers:

1. Gauge-ontkoppelde Formulering

In plaats van absolute poses ten opzichte van het eerste frame te voorspellen, ontwerpt LongStream het systeem om invariant te zijn voor globale coördinaten en schaal:

Relatieve Positievoorspelling (SE(3)): Het model voorspelt de pose van het huidige frame relatief ten opzichte van de vorige keyframe ( $T_{i \leftarrow k}$ ), in plaats van absoluut ten opzichte van het eerste frame. Dit zet het probleem van lange-range extrapolatie om in een lokaal schattingsprobleem met een constante moeilijkheidsgraad, ongeacht de globale coördinaten.
Orthogonale Schaallearning (Sim(3)): Om schaaldrift te voorkomen, wordt geometrie volledig ontkoppeld van schatting van de metrische schaal. Een speciale "Scale Head" voorspelt de globale schalingsfactor ( $s$ ), terwijl de geometrische tak (die diepte en puntenkaarten genereert) in een schaal-invariante ruimte wordt geoptimaliseerd. Dit voorkomt dat geometrische fouten de schaal beïnvloeden en vice versa.

2. Cache-Consistente Training (CCT)

Om het probleem van de "attention sink" en de discrepantie tussen training en inferentie op te lossen:

CCT: Tijdens het trainingstraject wordt de KV-cache expliciet doorgegeven en bijgesneden (trimmed) tussen chunks, precies zoals tijdens inferentie. Dit zorgt ervoor dat het model leert zonder een persistente "anker" (het eerste frame) en voorkomt dat het model afhankelijk wordt van het begin van de sequentie.
Periodieke Cache Refresh: Voor ultra-lange sequenties wordt de cache periodiek ververst (reset) om verouderde context en "memory saturation" te elimineren, vergelijkbaar met marginalisatie in SLAM-systemen. Dit gebeurt zonder extra rekentijd en zonder de consistentie te breken, omdat het systeem in een keyframe-relatief coördinatenstelsel werkt.

3. Netwerkarchitectuur

Het model gebruikt een ViT-encoder (gebaseerd op DINOv2) die patch-tokens combineert met speciale tokens voor camera's, keyframes en schaal.
Een causale Transformer-aggregator fuseert deze tokens met een gedeelde KV-cache.
Het model voorspelt per frame: relatieve pose, dieptekaart, puntenkaart (pointmap) en globale schaal.

Belangrijkste Bijdragen

Gauge-Decoupled Design: Een theoretisch onderbouwde aanpak die de afhankelijkheid van het eerste frame elimineert door over te schakelen op keyframe-relatieve poses en orthogonale schaallearning.
Identificatie van Attention Sink: Het paper identificeert de "attention sink" en KV-cache contaminatie als de hoofdoorzaken van degradatie in lange sequenties en lost dit op via Cache-Consistent Training.
State-of-the-Art Performance: Het bereiken van stabiele, metrische 3D-herconstructie over kilometerslange sequenties in real-time (18 FPS), terwijl bestaande methoden falen.

Resultaten

LongStream werd getest op diverse datasets (KITTI, vKITTI, Waymo, TUM-RGBD, Oxford Spires, 7Scenes) en presteerde superieur:

Accuraatheid: Op de KITTI-dataset (tot 5 km sequenties) behaalde LongStream een gemiddelde Absolute Trajectorie Fout (ATE) van 51.90, wat aanzienlijk lager is dan concurrenten zoals Stream3R (227.77) of StreamVGGT (226.15).
Stabiliteit: In tegenstelling tot bestaande methoden die binnen tientallen meters "instorten" (catastrophic failure), behoudt LongStream een coherente traject continuïteit over honderden meters en kilometers.
Schaal: Het model levert stabiele metrische schattingen (schaalratio van 0.9905 t.o.v. ground truth op vKITTI).
Snelheid: Het werkt met 18 FPS op één GPU, wat het geschikt maakt voor real-time toepassingen.
Ablatie Studies: Experimenten tonen aan dat het combineren van alle componenten (relatieve pose, scale head, CCT, cache refresh) de fout met bijna twee orde van grootte verlaagt ten opzichte van een baseline.

Betekenis en Impact

LongStream opent de deur voor betrouwbare, real-time 3D-perceptie in dynamische en langdurige omgevingen.

Toepassingen: Het is cruciaal voor autonoom rijden (lange ritjes), AR/VR (naadloze werelduitbreiding) en robotica (langdurige navigatie zonder drift).
Paradigmaverschuiving: Het paper beweert dat de traditionele aanpak van "absolute pose anchoring" fundamenteel ongeschikt is voor lange sequenties. De verschuiving naar "gauge-decoupled" en "cache-consistent" training biedt een nieuwe richting voor het ontwerpen van autoregressieve visuele geometrie-modellen.
Efficiëntie: Door het vermijden van OOM (Out-of-Memory) fouten en het behoud van lage latentie, maakt het complexe 3D-herconstructie haalbaar op edge-apparatuur.

Kortom, LongStream lost het eeuwenoude probleem van drift en instabiliteit in streaming 3D-vision op door de fundamentele wiskundige formulering van het leerprobleem te herdefiniëren.