💻 computer science

HorizonStream: Long-Horizon Attention for Streaming 3D Reconstruction

HorizonStream is een nieuw Transformer-model voor lange tijdsreeksen dat state-of-the-art, stabiele online 3D-reconstructie bereikt op sequenties van meer dan 10.000 frames met constant geheugen en lineaire tijd door geometrische propagatie te ontbinden in multi-tijdschaal verval en gelokaliseerde spatiotemporale matching om de drift en geheugenbeperkingen van bestaande methoden te overwinnen.

Oorspronkelijke auteurs: Chong Cheng, Peilin Tao, Nanjie Yao, Guanzhi Ding, Xianda Chen, Yuansen Du, Xiaoyang Guo, Wei Yin, Weiqiang Ren, Qian Zhang, Zhengqing Chen, Hao Wang

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chong Cheng, Peilin Tao, Nanjie Yao, Guanzhi Ding, Xianda Chen, Yuansen Du, Xiaoyang Guo, Wei Yin, Weiqiang Ren, Qian Zhang, Zhengqing Chen, Hao Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Slechte Geheugen" van 3D-camera's

Stel je voor dat je door een enorme, eindeloze stad loopt terwijl je een bril met slimme technologie draagt die probeert in real-time een 3D-kaart van de wereld om je heen te bouwen.

De Uitdaging: Terwijl je loopt, moet de bril zich herinneren hoe de stad er 10 seconden geleden, 10 minuten geleden en zelfs 10 uur geleden uitzag om te weten waar je bent.
Het Falen: Bestaande methoden lijken op mensen met slechte geheugengewoonten.
- De "Schuivende Venster"-aanpak: Dit is als alleen de laatste 5 seconden te onthouden. Als je langs een herkenningspunt loopt en er 5 minuten later weer langs komt, zegt de bril: "Dit heb ik nog nooit gezien!" en de kaart breekt.
- De "Volledige Terugroep"-aanpak: Dit is als proberen elk enkel detail van je hele leven te onthouden. Uiteindelijk raakt je brein zo vol met oude, nutteloze informatie dat het begint te haperen, hallucinaties krijgt of crasht.
- De "Drift": Bij lange wandelingen raken deze systemen langzaam in de war. Ze denken dat je in een cirkel loopt terwijl dat niet zo is, of ze denken dat de straat breder of smaller wordt. Dit heet "drift" of "trillen".

De Oplossing: HorizonStream

De auteurs hebben HorizonStream ontwikkeld, een nieuw systeem dat fungeert als een slimme bibliothecaris voor je 3D-kaart. In plaats van alle herinneringen gelijk te behandelen, begrijpt het dat verschillende soorten informatie verschillende "levensduur" hebben.

1. De "Evidentie Invloed Kernel" (Het Reglement van de Bibliothecaris)

Het paper stelt dat niet alle herinneringen gelijk zijn.

Kortelevende evidentie: Een specifieke rode auto die voorbijrijdt of een persoon die over straat loopt. Deze veranderen snel. Je hoeft ze maar een paar seconden te onthouden.
Langelevende evidentie: De vorm van een gebouw, de indeling van een straat of de algemene grootte van de kamer. Deze blijven uren of dagen hetzelfde.

Oude systemen behandelden de rode auto en het gebouw op dezelfde manier, wat leidde tot verwarring. HorizonStream gebruikt een speciaal "reglement" (een Evidentie Invloed Kernel) om te beslissen hoe lang elk stukje informatie bewaard moet worden.

2. Het Tweeledige Geheugensysteem

HorizonStream splitst zijn brein in twee gespecialiseerde teams:

Het "Lokaal Team" (Geometrische Lokale Aandacht):
- Analogie: Dit team is als een detective die kijkt naar de directe kamer waarin je je bevindt.
- Taak: Ze matchen kleine details (zoals een barst in de muur of een specifiek raam) om precies te bepalen waar je nu bent. Ze zijn zeer kieskeurig en negeren alles wat er ruisig of onbetrouwbaar uitziet.
- Speciale Truc: Ze gebruiken een "betrouwbaarheidshek" om slechte aanwijzingen te negeren, waardoor het systeem niet in de war raakt door trillende camerabewegingen.
Het "Globaal Team" (Geometrische Lineaire Aandacht):
- Analogie: Dit team is als een historicus die een samenvatting van de hele stad bijhoudt.
- Taak: Ze onthouden niet elk enkel pixel. In plaats daarvan houden ze een beperkt, krimpend geheugen bij.
- De Magie: Ze gebruiken een "vervalrate". Stel je een emmer water voor waar het water langzaam uit lekt.
  - Als het water een rode auto voorstelt, is het gat in de emmer groot en lekt het snel weg (je vergeet de auto snel).
  - Als het water een wolkenkrabber voorstelt, is het gat piepklein en blijft het lang staan (je herinnert je het gebouw urenlang).
- Dit zorgt ervoor dat het systeem nooit "vol" raakt (geen geheugencrashes) en nooit het grote plaatje vergeet (geen drift).

3. De "Metrische Uitlezing" (De Liniaal)

Soms kan een camera je vertellen waar je bent, maar niet hoe groot dingen zijn. Je zou kunnen denken dat een deur 1 inch hoog is of 100 voet hoog.

HorizonStream heeft een speciaal "Liniaal-token" dat constant het globale geheugen controleert om ervoor te zorgen dat de grootte van de wereld consistent blijft. Het voorkomt dat de kaart per ongeluk krimpt of groeit terwijl je loopt.

Waarom Dit Belangrijk Is

Het paper beweert dat HorizonStream een doorbraak is omdat:

Het Efficiënt Is: Het gebruikt een constante hoeveelheid geheugen, ongeacht of je 100 stappen of 10.000 stappen loopt. Het wordt niet langzamer of zwaarder.
Het Stabiel Is: Het is getraind op zeer korte clips (slechts 48 frames lang), maar werkt perfect op sequenties langer dan 10.000 frames (meer dan 2 uur video).
Het de "Drift" Oplost: Terwijl andere systemen na een paar minuten beginnen te wiebelen en hun weg kwijtraken, houdt HorizonStream urenlang een rechte, stabiele lijn aan.

Samenvattende Analogie

Stel je voor dat je probeert een kaart van een stad te tekenen terwijl je loopt.

Oude methoden vergeten de stad na een paar blokken of raken zo overweldigd door het onthouden van elk blaadje op elke boom dat ze helemaal stoppen met tekenen.
HorizonStream is als een meester-cartograaf die weet: "Ik hoef het blaadje maar een seconde te onthouden, maar ik moet de berg voor altijd onthouden." Door te filteren wat bewaard moet worden en wat losgelaten kan worden, kan het een perfecte kaart van een heel continent tekenen zonder ooit papier te missen of moe te worden.

Het resultaat is een systeem dat eindeloze stromen video kan navigeren, een stabiele, accurate 3D-wereld bouwt die niet instort, trilt of verdwaalt.

Technische Samenvatting: HorizonStream

Probleemstelling

Online 3D-reconstructie vanuit streamende video vereist het schatten van camerapositie en scenes geometrie onder strikte causale en geheugengebonden beperkingen. Waar klassieke methoden vertrouwen op iteratieve optimalisatie met beperkte doorvoer, en recente offline feed-forward methoden hoge nauwkeurigheid bereiken door toegang tot toekomstige frames, worstelen strikt causale streamende methoden met lange sequenties.

Bestaande streamende architecturen lijden vaak aan drift, jitter of instorting naarmate de sequentielengte toeneemt. De auteurs identificeren de oorzaak als een fundamenteel misverstand tussen de aard van streamende geometrie en huidige architecturale ontwerpen:

Temporele Heterogeniteit: Streamende geometrie bevat bewijs met sterk verschillende levensduren. Lokale 2D-3D-correspondenties zijn kortlevend en worden snel ongeldig, terwijl globale schaal en scenes structuren persistent zijn en betrouwbaar moeten blijven over lange horizonnen.
Pathologische Invloedspatronen: Huidige methoden leggen uniforme propagatieregels op aan al het bewijs.
- Schuifvensters dwingen harde afsnijdingen af, waardoor nuttig verleden bewijs voortijdig wordt verworpen.
- Niet-gedekte recurrentie leidt tot zwaarstaartkernen met onbegrensde foutaccumulatie.
- Causale softmax-attention degradeert tot "attention sinks", waarbij focus ligt op irrelevante vroege tokens, terwijl KV-cache-verversingsmechanismen discontinuïteiten creëren.
- Deze pathologische kernen veroorzaken cache-saturatie en ernstige geometrische drift naarmate sequenties groeien.

Methodologie: HorizonStream

De auteurs stellen HorizonStream voor, een Transformer met lange horizon die expliciet de invloedskern van geometrisch bewijs factoriseert om de temporele heterogeniteit van streamende geometrie aan te pakken. Het framework verwerkt de meest recente $W$ frames causaal, terwijl het een $O(1)$ geometrische staat handhaaft voor structuur en schaal over vensters heen.

1. Invloedskern van Geometrisch Bewijs

Het reconstructieproces wordt geformaliseerd als het aggregeren van divers geometrisch bewijs via een spatiotemporale kern $K(t, i)$ , gefactoriseerd als:
$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$
Deze factorisatie koppelt specifieke computationele componenten aan de drie kernvereisten van streamende reconstructie: het selecteren van betrouwbare lokale correspondenties, het waarborgen van begrenste propagatie over meerdere tijdschalen, en het behouden van metrische schaal/positie.

2. Geometrische Lineaire Attention (Temporele Factor op Lange Afstand)

Om $K_{time}$ te modelleren, introduceren de auteurs Geometrische Lineaire Attention, die een gebonden, recurrente geometrische staat $S_t \in \mathbb{R}^{d \times d}$ handhaaft.

Gediskonteerde State-schatting: De staat wordt bijgewerkt via een gediskonteerde doelstelling waarbij de invloed van verleden bewijs exponentieel afneemt. Dit voorkomt onbegrensde accumulatie van verouderde informatie.
Kanaalwijze Retentie: In plaats van een scalair retentietempo leert het model een kanaalwijze retentievector $\gamma_t \in (0, 1)^d$ $γ_{t} \in (0, 1)^{d}$ .
- Kanalen met lage- $\gamma$ herzien snel vluchtig bewijs (bijv. lokale correspondenties).
- Kanalen met hoge- $\gamma$ behouden langlevend bewijs (bijv. scenes structuur, metrische schaal).
- Dit creëert een continu spectrum van effectieve geheugenlevensduren ( $\tau = -1/\log \bar{\gamma}$ ), wat stabiele propagatie over vensters mogelijk maakt zonder periodieke resets.

3. Geometrische Lokale Attention (Ruimtelijke Factor op Korte Afstand)

Om $K_{spatial}$ te modelleren, maken de auteurs gebruik van Geometrische Lokale Attention binnen het lokale venster ( $W$ frames).

Hoofd-wijze Gating: Elke attention-head krijgt een betrouwbaarheidsgate toegewezen om ruisachtige correspondenties te filteren en attention sinks te onderdrukken.
Spatiotemporale RoPE: Rotary Position Embeddings worden uitgebreid naar drie assen (tijd, hoogte, breedte) om de relatieve 3D-ruimtetijdindeling te coderen, zodat attention afhankelijk is van relatieve geometrische offsetten.

4. Metrische Readout Tokens (MRT)

Om aan metrische invariantie-beperkingen te voldoen, worden Metrische Readout Tokens geïntroduceerd. Deze tokens participeren in de Geometrische Lineaire Attention en lezen de metrische schaal direct uit de kanalen met hoge retentie van de recurrente staat.

Een schaal-head voorspelt een globale schaalfactor $\hat{s}$ om translatie en diepte te herschalen.
Fusie van relatieve posities over pose-tokens in het lokale venster schat een consensuspositie, waardoor foutaccumulatie door sequentiële keyframe-kettingen wordt vermeden.

5. Architectuur en Training

Ruggengraat: Een ViT-L, geïnitieerd vanuit VGGT en DINOv2, met afwisselende frame-blokken en globale blokken. Geometrische Lineaire Attention-lagen zijn op specifieke dieptes (4, 11, 17, 23) ingevoegd.
Training: Het model wordt getraind op clips van 48 frames met een causaal venster. Het wordt gesuperviseerd met verliesfuncties voor pose, diepte en schaal.
Optionele Loop Closure: Een module haalt opnieuw bezochte frameparen op om lokale geometrische correcties te schatten, en optimaliseert de globale trajectorie via pose-graph-optimalisatie.

Belangrijkste Bijdragen

Formalisatie van Streamende Reconstructie: Het artikel verenigt falen bij lange sequenties (drift, jitter, instorting) als pathologische kernvormen (harde afsnijdingen, discontinuïteiten, attention sinks) en stelt de invloedskern van geometrisch bewijs voor als een verenigend kader.
Beperkte Kern-Decompositie Architectuur (HorizonStream):
- Geometrische Lineaire Attention: Biedt gebonden, multi-tijdschaal propagatie over vensters heen via geleerde kanaalwijze retentie.
- Geometrische Lokale Attention: Maakt content-bewuste 3D-matching binnen vensters mogelijk via hoofd-wijze gating en Spatiotemporale RoPE.
- Metrische Readout Tokens: Behoudt metrische schaal en rigide pose door te lezen uit subspaces met hoge retentie.
Generalisatie en Efficiëntie: Getraind uitsluitend op clips van 48 frames, generaliseert HorizonStream stabiel naar sequenties van meer dan 10.000 frames met constant geheugen en lineaire tijd complexiteit, en presteert beter dan bestaande streamende methoden.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op meerdere datasets (KITTI, VBR, Oxford Spires, ScanNet++, Waymo, enz.), waarbij zowel cameratrajectorie-schatting (ATE) als dichte reconstructie (CD, F1) werden geëvalueerd.

Stabiliteit bij Lange Sequenties: Op de VBR-dataset (sequenties tot 18.846 frames) handhaaft HorizonStream stabiele trajecten met een gemiddelde ATE van 25,30m (18,84m met loop closure), wat significant beter presteert dan andere online methoden (bijv. Lingbot-map op 27,53m, LongStream op 77,93m) die lijden aan ernstige jitter of instorting.
KITTI Prestaties: Op KITTI-sequenties (tot 4.661 frames) bereikt HorizonStream een gemiddelde ATE van 19,75m (16,44m met loop closure), wat dicht in de buurt komt van of offline methoden en op optimalisatie gebaseerde SLAM-systemen overtreft.
Dichte Reconstructie: HorizonStream bereikt state-of-the-art online reconstructiekwaliteit (laagste CD en hoogste F1) op ETH3D, Oxford Spires, 7Scenes en TUM RGB-D benchmarks.
Geheugen en Tijd: In tegenstelling tot concurrerende methoden die super-lineaire geheugengroei vertonen of periodieke cache-resets vereisen, handhaaft HorizonStream een bijna constante piek GPU-geheugengebruik en schaalt soepel tot 10K frames.

Betekenis

Het artikel stelt dat HorizonStream het fundamentele misverstand in huidige architecturen voor streamende 3D-reconstructie oplost door expliciet de temporele heterogeniteit van geometrisch bewijs te modelleren. Door een gebonden, multi-tijdschaal retentiespectrum te leren in plaats van te vertrouwen op vaste vensters of onbegrensde recurrentie, bereikt de methode stabiele, metrisch consistente reconstructie over ultra-lange sequenties zonder de noodzaak van periodieke state-resets of toegang tot toekomstige frames. Dit maakt robuuste online 3D-perceptie mogelijk voor robotica en autonoom rijden in scenario's met lange horizonnen.