💻 computer science

HorizonStream: Long-Horizon Attention for Streaming 3D Reconstruction

HorizonStream ist ein neuartiger Transformer für lange Zeithorizonte, der durch die Faktorisierung der geometrischen Propagation in Multi-Zeitskalen-Zerfall und lokalisierte spatiotemporale Zuordnung einen drift- und speichereffizienten, stabilen Online-3D-Rekonstruktionszustand der Kunst auf Sequenzen von über 10.000 Bildern mit konstantem Speicherbedarf und linearer Laufzeit erreicht und damit die Drift- und Speichereinschränkungen bestehender Methoden überwindet.

Ursprüngliche Autoren: Chong Cheng, Peilin Tao, Nanjie Yao, Guanzhi Ding, Xianda Chen, Yuansen Du, Xiaoyang Guo, Wei Yin, Weiqiang Ren, Qian Zhang, Zhengqing Chen, Hao Wang

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chong Cheng, Peilin Tao, Nanjie Yao, Guanzhi Ding, Xianda Chen, Yuansen Du, Xiaoyang Guo, Wei Yin, Weiqiang Ren, Qian Zhang, Zhengqing Chen, Hao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „schlechte Gedächtnis" von 3D-Kameras

Stellen Sie sich vor, Sie laufen durch eine massive, endlose Stadt und tragen eine Brille mit Smart-Features, die versucht, in Echtzeit eine 3D-Karte der Welt um Sie herum zu erstellen.

Die Herausforderung: Während Sie laufen, muss die Brille sich daran erinnern, wie die Stadt vor 10 Sekunden, vor 10 Minuten und sogar vor 10 Stunden aussah, um zu wissen, wo Sie sich befinden.
Das Versagen: Bestehende Methoden sind wie Menschen mit schlechten Gedächtnisgewohnheiten.
- Der „Schiebende Fenster"-Ansatz: Dies ist wie das Erinnern nur an die letzten 5 Sekunden. Wenn Sie an einem Wahrzeichen vorbeigehen und 5 Minuten später wieder zu ihm zurückkehren, sagt die Brille: „Ich habe das noch nie gesehen!" und die Karte bricht zusammen.
- Der „Vollständige Abruf"-Ansatz: Dies ist wie der Versuch, jedes einzelne Detail Ihres gesamten Lebens zu erinnern. Irgendwann wird Ihr Gehirn so voll mit alten, unnützen Informationen, dass es anfängt zu stottern, Halluzinationen zu produzieren oder abzustürzen.
- Die „Drift": Bei langen Spaziergängen geraten diese Systeme langsam in Verwirrung. Sie glauben, Sie würden im Kreis laufen, obwohl Sie es nicht tun, oder sie denken, die Straße werde breiter oder schmaler. Dies wird als „Drift" oder „Zittern" bezeichnet.

Die Lösung: HorizonStream

Die Autoren haben HorizonStream entwickelt, ein neues System, das wie ein intelligenter Bibliothekar für Ihre 3D-Karte fungiert. Anstatt alle Erinnerungen gleich zu behandeln, versteht es, dass verschiedene Arten von Informationen unterschiedliche „Lebensdauern" haben.

1. Der „Evidenz-Einfluss-Kernel" (Das Regelbuch des Bibliothekars)

Das Papier argumentiert, dass nicht alle Erinnerungen gleich geschaffen sind.

Kurzlebige Evidenz: Ein spezifisches rotes Auto, das vorbeifährt, oder eine Person, die über die Straße geht. Diese ändern sich schnell. Sie müssen sie nur für einige Sekunden im Gedächtnis behalten.
Langlebige Evidenz: Die Form eines Gebäudes, die Anordnung einer Straße oder die Gesamtgröße eines Raums. Diese bleiben über Stunden oder Tage unverändert.

Alte Systeme behandelten das rote Auto und das Gebäude auf die gleiche Weise, was zu Verwirrung führte. HorizonStream verwendet ein spezielles „Regelbuch" (einen Evidenz-Einfluss-Kernel), um zu entscheiden, wie lange jedes Informationsteil aufbewahrt werden soll.

2. Das zweiteilige Gedächtnissystem

HorizonStream spaltet sein Gehirn in zwei spezialisierte Teams auf:

Das „Lokale Team" (Geometrische lokale Aufmerksamkeit):
- Analogie: Dieses Team ist wie ein Detektiv, der den unmittelbaren Raum betrachtet, in dem Sie sich befinden.
- Aufgabe: Sie stimmen winzige Details (wie einen Riss in der Wand oder ein bestimmtes Fenster) ab, um genau herauszufinden, wo Sie sich gerade jetzt befinden. Sie sind sehr wählerisch und ignorieren alles, was verrauscht oder unzuverlässig aussieht.
- Spezialtrick: Sie verwenden ein „Zuverlässigkeits-Gatter", um schlechte Hinweise zu ignorieren und verhindern, dass das System durch wackelige Kamerabewegungen verwirrt wird.
Das „Globale Team" (Geometrische lineare Aufmerksamkeit):
- Analogie: Dieses Team ist wie ein Historiker, der eine Zusammenfassung der gesamten Stadt führt.
- Aufgabe: Sie erinnern sich nicht an jedes einzelne Pixel. Stattdessen unterhalten sie ein begrenztes, schrumpfendes Gedächtnis.
- Die Magie: Sie verwenden eine „Abklingrate". Stellen Sie sich einen Eimer Wasser vor, aus dem das Wasser langsam ausläuft.
  - Wenn das Wasser ein rotes Auto darstellt, ist das Loch im Eimer groß, und es läuft schnell aus (Sie vergessen das Auto schnell).
  - Wenn das Wasser einen Wolkenkratzer darstellt, ist das Loch winzig, und er bleibt lange erhalten (Sie erinnern sich stundenlang an das Gebäude).
- Dies stellt sicher, dass das System niemals „voll" wird (keine Speicherabstürze) und niemals den Überblick verliert (keine Drift).

3. Der „Metrische Ausleser" (Das Lineal)

Manchmal kann eine Kamera Ihnen sagen, wo Sie sind, aber nicht, wie groß Dinge sind. Sie könnten denken, eine Tür sei 1 Zoll hoch oder 100 Fuß hoch.

HorizonStream verfügt über einen speziellen „Lineal-Token", der ständig das globale Gedächtnis überprüft, um sicherzustellen, dass die Größe der Welt konsistent bleibt. Er verhindert, dass die Karte beim Gehen versehentlich schrumpft oder wächst.

Warum das eine große Sache ist

Das Papier behauptet, HorizonStream sei ein Durchbruch, weil:

Es effizient ist: Es verwendet eine konstante Menge an Speicher, egal ob Sie 100 oder 10.000 Schritte laufen. Es wird nicht langsamer oder schwerer.
Es stabil ist: Es wurde auf sehr kurzen Clips trainiert (nur 48 Bilder lang), funktioniert jedoch perfekt auf Sequenzen, die länger als 10.000 Bilder sind (über 2 Stunden Video).
Es die „Drift" behebt: Während andere Systeme nach ein paar Minuten anfangen zu wackeln und sich zu verirren, hält HorizonStream über Stunden hinweg eine gerade, stabile Linie.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, eine Karte einer Stadt zu zeichnen, während Sie laufen.

Alte Methoden vergessen die Stadt entweder nach ein paar Blocks oder werden so von der Erinnerung an jedes einzelne Blatt auf jedem Baum überwältigt, dass sie ganz aufhören zu zeichnen.
HorizonStream ist wie ein Meister-Kartograf, der weiß: „Ich muss das Blatt nur für eine Sekunde im Gedächtnis behalten, aber ich muss den Berg für immer im Gedächtnis behalten." Durch das Filtern dessen, was behalten und was losgelassen werden soll, kann es eine perfekte Karte eines ganzen Kontinents zeichnen, ohne jemals das Papier auszugehen oder müde zu werden.

Das Ergebnis ist ein System, das endlose Videoströme navigieren kann, indem es eine stabile, genaue 3D-Welt erstellt, die nicht kollabiert, zittert oder sich verirrt.

Technische Zusammenfassung: HorizonStream

Problemstellung

Die Online-3D-Rekonstruktion aus Videostreams erfordert die Schätzung der Kamerapose und der Szenengeometrie unter strengen kausalen und speichergrenzbasierten Bedingungen. Während klassische Methoden auf iterative Optimierung mit begrenztem Durchsatz setzen und neuere Offline-Feed-Forward-Methoden durch Zugriff auf zukünftige Frames hohe Genauigkeit erreichen, kämpfen strikt kausale Streaming-Methoden mit langen Sequenzen.

Bestehende Streaming-Architekturen leiden häufig bei zunehmender Sequenzlänge unter Drift, Jitter oder Kollaps. Die Autoren identifizieren die Ursache als fundamentale Diskrepanz zwischen der Natur der Streaming-Geometrie und aktuellen Architekturentwürfen:

Temporale Heterogenität: Streaming-Geometrie enthält Evidenz mit stark unterschiedlichen Lebensdauern. Lokale 2D-3D-Korrespondenzen sind kurzlebig und werden schnell ungültig, während globaler Maßstab und Szenenstrukturen persistent sind und über lange Horizonte zuverlässig bleiben müssen.
Pathologische Einflussmuster: Aktuelle Methoden wenden einheitliche Ausbreitungsregeln auf alle Evidenzen an.
- Schlitzfenster (Sliding windows) erzwingen harte Abschneidungen und verwerfen nützliche vergangene Evidenz vorzeitig.
- Ungesteuerte Rekurrenz führt zu schwerfälligen Kernen mit ungebundener Fehlerakkumulation.
- Kausale Softmax-Aufmerksamkeit degeneriert zu „Aufmerksamkeits-Senken“ (attention sinks), die sich auf irrelevante frühe Tokens konzentrieren, während KV-Cache-Aktualisierungsmechanismen Diskontinuitäten erzeugen.
- Diese pathologischen Kerne verursachen Cache-Sättigung und schwere geometrische Drifts, sobald die Sequenzen wachsen.

Methodik: HorizonStream

Die Autoren schlagen HorizonStream vor, einen Transformer mit langem Horizont, der den geometrischen Evidenz-Einflusskern explizit faktorisiert, um die temporale Heterogenität der Streaming-Geometrie zu adressieren. Das Framework verarbeitet die neuesten $W$ Frames kausal, während es einen $O(1)$ -geometrischen Zustand für struktur- und maßstabsübergreifende Fenster aufrechterhält.

1. Geometrischer Evidenz-Einflusskern

Der Rekonstruktionsprozess wird formalisiert als Aggregation diverser geometrischer Evidenzen über einen raumzeitlichen Kern $K(t, i)$ , faktorisiert als:
$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$
Diese Faktorisierung ordnet spezifische Rechenkomponenten den drei Kernanforderungen der Streaming-Rekonstruktion zu: Auswahl zuverlässiger lokaler Korrespondenzen, Sicherstellung einer begrenzten Ausbreitung über mehrere Zeitskalen und Bewahrung des metrischen Maßstabs/der Pose.

2. Geometrische Lineare Aufmerksamkeit (Langreichweitiger Temporaler Faktor)

Um $K_{time}$ zu modellieren, führen die Autoren Geometrische Lineare Aufmerksamkeit ein, die einen begrenzten, rekurrenten geometrischen Zustand $S_t \in \mathbb{R}^{d \times d}$ aufrechterhält.

Abgezinstes Zustandsschätzung: Der Zustand wird über ein abgezinstes Ziel aktualisiert, bei dem der Einfluss vergangener Evidenzen exponentiell abklingt. Dies verhindert eine ungebundene Anhäufung veralteter Informationen.
Kanalweise Retention: Anstelle eines skalaren Retentionsfaktors lernt das Modell einen kanalweisen Retentionsvektor $\gamma_t \in (0, 1)^d$ $γ_{t} \in (0, 1)^{d}$ .
- Kanäle mit niedrigem $\gamma$ revidieren kurzlebige Evidenz rasch (z. B. lokale Korrespondenzen).
- Kanäle mit hohem $\gamma$ bewahren langlebige Evidenz (z. B. Szenenstruktur, metrischer Maßstab).
- Dies erzeugt ein kontinuierliches Spektrum effektiver Speicherlebensdauern ( $\tau = -1/\log \bar{\gamma}$ ), was eine stabile Ausbreitung über Fenster hinweg ohne periodische Zurücksetzungen ermöglicht.

3. Geometrische Lokale Aufmerksamkeit (Kurzreichweitiger Räumlicher Faktor)

Um $K_{spatial}$ zu modellieren, setzen die Autoren Geometrische Lokale Aufmerksamkeit innerhalb des lokalen Fensters ( $W$ Frames) ein.

Head-weises Gating: Jeder Aufmerksamkeitskopf erhält ein Zuverlässigkeits-Gate, um verrauschte Korrespondenzen zu filtern und Aufmerksamkeits-Senken zu unterdrücken.
Raumzeitliche RoPE: Rotierende Positionseingebettungen (Rotary Position Embeddings) werden auf drei Achsen (Zeit, Höhe, Breite) erweitert, um relative 3D-Raumzeit-Layouts zu kodieren und sicherzustellen, dass die Aufmerksamkeit von relativen geometrischen Verschiebungen abhängt.

4. Metrische Readout-Tokens (MRT)

Um metrische Invarianzbedingungen zu erfüllen, werden Metrische Readout-Tokens eingeführt. Diese Tokens nehmen an der Geometrischen Linearen Aufmerksamkeit teil und lesen den metrischen Maßstab direkt aus den hoch-retentiven Kanälen des rekurrenten Zustands.

Ein Skalakopf sagt einen globalen Skalafaktor $\hat{s}$ voraus, um Translation und Tiefe neu zu skalieren.
Die relative Pose-Fusion über Pose-Tokens im lokalen Fenster schätzt eine konsensbasierte Pose und vermeidet Fehlerakkumulation durch sequenzielle Keyframe-Ketten.

5. Architektur und Training

Backbone: Ein ViT-L, initialisiert mit VGGT und DINOv2, alterniert Frame-Blöcke und globale Blöcke. Schichten mit Geometrischer Linearer Aufmerksamkeit sind an spezifischen Tiefen (4, 11, 17, 23) eingefügt.
Training: Das Modell wird auf 48-Frame-Clips unter Verwendung eines kausalen Fensters trainiert. Es wird mit Verlusten für Pose, Tiefe und Maßstab überwacht.
Optionale Loop Closure: Ein Modul ruft wiederaufgesuchte Frame-Paare ab, um lokale geometrische Korrekturen zu schätzen und die globale Trajektorie über Pose-Graph-Optimierung zu optimieren.

Hauptbeiträge

Formalisierung der Streaming-Rekonstruktion: Die Arbeit fasst Fehler bei langen Sequenzen (Drift, Jitter, Kollaps) als pathologische Kernformen (harte Abschneidungen, Diskontinuitäten, Aufmerksamkeits-Senken) zusammen und schlägt den geometrischen Evidenz-Einflusskern als vereinheitlichendes Framework vor.
Eingeschränkte Kern-Zerlegungsarchitektur (HorizonStream):
- Geometrische Lineare Aufmerksamkeit: Bietet eine begrenzte, multi-timeskalige Ausbreitung über Fenster hinweg durch gelernte kanalweise Retention.
- Geometrische Lokale Aufmerksamkeit: Ermöglicht inhaltsbewusste 3D-Matching innerhalb von Fenstern mittels head-weisen Gatings und raumzeitlicher RoPE.
- Metrische Readout-Tokens: Bewahren metrischen Maßstab und starre Pose durch Lesen aus hoch-retentiven Unterräumen.
Generalisierung und Effizienz: Nur auf 48-Frame-Clips trainiert, generalisiert HorizonStream stabil auf Sequenzen von über 10.000 Frames mit konstantem Speicher und linearer Zeitkomplexität und übertrifft bestehende Streaming-Methoden.

Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf mehreren Datensätzen durchgeführt (KITTI, VBR, Oxford Spires, ScanNet++, Waymo usw.), wobei sowohl die Schätzung der Kameratrajektorie (ATE) als auch die dichte Rekonstruktion (CD, F1) bewertet wurden.

Stabilität bei langen Sequenzen: Auf dem VBR-Datensatz (Sequenzen bis zu 18.846 Frames) behält HorizonStream stabile Trajektorien mit einem durchschnittlichen ATE von 25,30 m (18,84 m mit Loop Closure) bei und übertrifft andere Online-Methoden deutlich (z. B. Lingbot-map bei 27,53 m, LongStream bei 77,93 m), die unter schwerem Jitter oder Kollaps leiden.
KITTI-Leistung: Auf KITTI-Sequenzen (bis zu 4.661 Frames) erreicht HorizonStream einen durchschnittlichen ATE von 19,75 m (16,44 m mit Loop Closure) und nähert sich Offline-Methoden sowie optimierungsbasierten SLAM-Systemen an oder übertrifft diese.
Dichte Rekonstruktion: HorizonStream erzielt State-of-the-Art-Qualität bei der Online-Rekonstruktion (niedrigster CD und höchster F1) auf den Benchmarks ETH3D, Oxford Spires, 7Scenes und TUM RGB-D.
Speicher und Zeit: Im Gegensatz zu konkurrierenden Methoden, die ein superlineares Speicherwachstum aufweisen oder periodische Cache-Zurücksetzungen erfordern, behält HorizonStream nahezu konstanten GPU-Speicherspitzenwert bei und skaliert nahtlos auf 10.000 Frames.

Bedeutung

Die Arbeit behauptet, dass HorizonStream die fundamentale Diskrepanz in aktuellen Streaming-3D-Rekonstruktionsarchitekturen löst, indem es die temporale Heterogenität geometrischer Evidenz explizit modelliert. Durch das Lernen eines begrenzten, multi-timeskaligen Retentionspektrums anstatt der Abhängigkeit von festen Fenstern oder ungebundener Rekurrenz erreicht die Methode eine stabile, metrisch konsistente Rekonstruktion über ultra-lange Sequenzen hinweg, ohne dass periodische Zustand-Zurücksetzungen oder Zugriff auf zukünftige Frames erforderlich sind. Dies ermöglicht eine robuste Online-3D-Wahrnehmung für Robotik und autonomes Fahren in Szenarien mit langem Horizont.