💻 computer science

GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction

GHOST ist ein trainingsfreies, geometriebewusstes Framework für eine effiziente 3D-Rekonstruktion aus langen monokularen Videos, das eine hierarchische Wichtigkeitsbewertung, einen speziellen Token-Schutz und eine schichtweise Budgetzuweisung einsetzt, um redundante Token online zu entfernen, wodurch die Speichernutzung erheblich reduziert und die Inferenz beschleunigt wird, ohne die Rekonstruktionsqualität zu beeinträchtigen.

Ursprüngliche Autoren: Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein perfektes 3D-Modell eines Raumes zu erstellen, indem Sie mit einer Kamera durch ihn gehen und bei jedem Schritt ein Foto machen. Um dies zu tun, muss Ihr Computerhirn (eine KI) jedes jemals gemachte Foto im Gedächtnis behalten, um zu verstehen, wie Wände, Möbel und Ecken zusammenhängen.

Das Problem? Wenn Sie lange gehen, läuft dem Computer der Speicher aus. Es ist wie der Versuch, einen Rucksack zu tragen, der mit jedem Schritt schwerer wird, bis Sie zusammenbrechen.

Der alte Weg: Der „vergessliche Bibliothekar"
Frühere Methoden versuchten, dieses Problem zu lösen, indem sie wie ein Bibliothekar agierten, der nur die neuesten Bücher oder diejenigen behielt, die dem aktuell gelesenen Buch am ähnlichsten sahen.

Der Fehler: Das Papier argumentiert, dass dies eine schlechte Strategie für 3D ist. Nur weil ein Foto dem aktuellen ähnelt, bedeutet das nicht, dass es nützlich ist. Sie benötigen möglicherweise ein Foto einer Wand, das vor 10 Minuten aufgenommen wurde, weil sich der Kamerawinkel leicht geändert hat, auch wenn die Wand gleich aussieht. Die alten Methoden warfen diese „geometrisch wertvollen" Fotos weg, weil sie in genau diesem Moment nicht aufregend genug aussahen.

Der neue Weg: GHOST (Der „kluge Architekt")
Die Autoren stellen GHOST vor, ein neues System, das wie ein kluger Architekt agiert. Anstatt nur zu betrachten, wie ähnlich Fotos aussehen, fragt GHOST: „Hilft mir dieses Foto, die Form des Raumes zu verstehen?"

So funktioniert GHOST mit drei einfachen Tricks:

1. Der zweistufige Punktestand (Das „große Ganze" vs. die „Details")

GHOST bewertet ein Foto nicht nur als Ganzes, sondern auf zwei Arten:

Stufe 1: Der Blickpunktwert. Hat sich die Kamera an einen neuen Ort bewegt? Ist der Raum voller interessanter Ecken und Kanten? Wenn sich die Kamera nur in einem leeren Flur im Kreis dreht, ist das langweilig (niedriger Wert). Wenn sich die Kamera in einen neuen Winkel bewegt, der eine komplexe Treppe zeigt, ist das Gold wert (hoher Wert).
Stufe 2: Der Patch-Wert. Selbst in einem großartigen Foto gibt es langweilige Teile (wie eine leere weiße Wand) und aufregende Teile (wie die Kante eines Tisches). GHOST behält die „aufregenden" Teile und wirft die „leere Wand"-Teile weg, selbst wenn das Foto an sich wichtig ist.

Analogie: Stellen Sie sich vor, Sie packen einen Koffer für eine Reise.

Alte Methode: „Ich behalte die letzten 5 Hemden, die ich getragen habe." (Vielleicht waren es alle identische weiße T-Shirts).
GHOST: „Ich behalte das Hemd, das zum Wetter passt (Blickpunkt) UND die spezifischen Taschen, die meinen Pass enthalten (Details), während ich die leeren Taschen wegwerfe."

2. Der VIP-Pass (Schutz der „speziellen Token")

Im Gehirn der KI gibt es spezielle „Token" (kleine Datenstücke), die wie die GPS-Koordinaten und der Bauplan des Raumes wirken. Wenn man diese verliert, fällt das gesamte 3D-Modell auseinander.

Das Problem: Manchmal sehen diese GPS-Token im Vergleich zu einem schillernden Foto eines bunten Spielzeugs „langweilig" aus, sodass das alte System sie versehentlich löscht, um Speicherplatz zu sparen.
Die GHOST-Lösung: GHOST vergibt diesen speziellen Token einen VIP-Pass. Egal wie „langweilig" sie aussehen, sie werden niemals weggeworfen. Sie sind geschützt, damit die KI ihren Sinn für Richtung oder die Gesamtstruktur der Szene nie verliert.

3. Das intelligente Budget (Geld dort ausgeben, wo es zählt)

Der Computer hat eine begrenzte Menge an „Speichergeld", das er für jede Schicht seines Gehirns ausgeben kann.

Der alte Weg: „Lassen Sie uns jeder Schicht des Gehirns exakt die gleiche Menge an Speicher geben."
Die GHOST-Lösung: GHOST untersucht die Schichten des Gehirns im Voraus. Es stellt fest, dass einige Schichten „harte Arbeiter" sind, die komplexe Transformationen durchführen (die Daten stark verändern), während andere „faul" sind und nur das wiederholen, was ihnen gegeben wurde.
- GHOST gibt den hart arbeitenden Schichten mehr Speicher, damit sie alle wichtigen Details behalten können.
- Es gibt den faulen Schichten weniger Speicher, da sie nicht so viel benötigen, um ihre Arbeit zu erledigen.

Das Ergebnis

Durch die Anwendung dieser drei Tricks kann GHOST doppelt so lange Videosequenzen verarbeiten, ohne den Speicher zu erschöpfen.

Es reduziert die Speichernutzung um fast 50 %.
Es macht den Computer 1,75-mal schneller.
Am wichtigsten ist, dass die 3D-Modelle, die es erstellt, genauer sind und weniger Fehler aufweisen als die bisherigen besten Methoden, selbst wenn das Video sehr lang ist.

Kurz gesagt: GHOST verhindert, dass die KI Platz für langweilige, repetitive Daten verschwendet, und konzentriert ihr begrenztes Gedächtnis auf die Teile des Videos, die ihr tatsächlich helfen, die 3D-Welt zu verstehen.

Technische Zusammenfassung: GHOST (Geometry-Hierarchical Online Streaming Token Eviction)

Problemstellung

Die Streaming-3D-Rekonstruktion aus langen monokularen Videosequenzen stößt auf einen kritischen Speicherengpass. Transformer-basierte Modelle wie VGGT erzielen State-of-the-Art (SOTA) Ergebnisse durch eine gemeinsame Aufmerksamkeit über alle Eingabeframes; diese gemeinsame Aufmerksamkeit skaliert jedoch quadratisch mit der Sequenzlänge und macht sie für lange Videos unpraktikabel. Streaming-Ansätze wie StreamVGGT und InfiniteVGGT versuchen dies zu mildern, indem sie einen wachsenden Key-Value (KV)-Cache verwalten und Tokens verwerfen, sobald ein festes Budget überschritten wird.

Bestehende Verwerfungsstrategien, insbesondere solche, die auf Heuristiken der Schlüssel-Ähnlichkeit basieren (z. B. das Verwerfen von Tokens mit Schlüsseln, die dem aktuellen Query am wenigsten ähnlich sind), leiden unter einer fundamentalen Einschränkung: Aufmerksamkeitswerte des aktuellen Query-Frames spiegeln den langfristigen geometrischen Wert historischer Tokens nicht zuverlässig wider. Wie in der Arbeit gezeigt, weisen Schlüssel-Ähnlichkeitswerte eine vernachlässigbare Korrelation mit Kamerapose-Änderungen auf ( $\rho = -0.07$ ) und nur eine moderate Korrelation mit der Varianz des Tiefengradienten ( $\rho = +0.31$ ). Folglich versagen diese Methoden darin, Tokens zu bewahren, die geometrisch einzigartig, aber visuell dem aktuellen Frame ähnlich sind, was zu einer Verschlechterung der Rekonstruktionsqualität in langen Sequenzen führt.

Methodik

Die Autoren schlagen GHOST (Geometry-Hierarchical Online Streaming Token Eviction) vor, ein training-freies Framework zur Verwaltung von KV-Caches für die Streaming-3D-Rekonstruktion. GHOST nutzt die eigenen 3D-Geometrieausgaben des Modells (Tiefe, Punktkarten und Kameraposen), um die Token-Bedeutung zu bestimmen, anstatt sich ausschließlich auf Aufmerksamkeitsmuster zu verlassen.

1. Hierarchische zweistufige Bedeutungsbewertung

GHOST zerlegt die Token-Bedeutung in zwei sich gegenseitig verstärkende Ebenen, die online inkrementell aktualisiert werden, ohne zusätzliche Forward-Passes:

Frame-Level-Bedeutung ( $s_{frame}$ ): Bestimmt den geometrischen Wert einer gesamten viewpoint. Sie integriert drei Signale:
- Kamerapose-Änderung: Bestraft translatorische Nähe und rotationale Ähnlichkeit, um sicherzustellen, dass Frames mit signifikanten viewpoint-Verschiebungen bewahrt werden.
- Varianz des Tiefengradienten: Priorisiert Frames mit reichen strukturellen Details (Kanten, Grenzen) gegenüber uniformen Oberflächen.
- Temporale Aktualität: Weist jüngeren Frames ein höheres Gewicht zu, um kontextuelle Überlappung aufrechtzuerhalten, während ältere Frames mit einzigartigen viewpoints dennoch bewahrt werden.
Token-Level-Bedeutung ( $s_{token}$ ): Identifiziert spezifische informative Patches innerhalb eines Frames. Sie aggregiert:
- Visuelle Salienz: Gemessen über die räumliche Gradientenstärke von Feature-Maps, um geometrische Korrespondenz zu verankern.
- Tiefenvertrauen: Die epistemische Gewissheit des Modells bezüglich Tiefenschätzungen.
- Punktvertrauen: Die Gewissheit des Modells bezüglich 3D-Punktkarten-Schätzungen.

Der finale Score pro Patch $\phi(t, p)$ ist eine gewichtete Summe der normalisierten Frame-Level- und Token-Level-Scores.

2. Mechanismus für Privilegien spezieller Tokens

Die Standard-Bedeutungsbewertung kann spezielle Tokens (Kamera-Tokens $c_t$ und Register-Tokens $\{r^i_t\}$ ) aufgrund ihres Mangels an visueller Salienz niedriger einstufen als informative Patch-Tokens. GHOST führt eine deterministische Aufwertung für diese Tokens ein. Durch Hinzufügen eines festen Offset-Werts ( $\Delta_{boost}$ ) und eines rangbasierten Tie-Breakers stellt der Mechanismus sicher, dass Tokens, die globale Szenengeometrie und strukturelle Priors kodieren, niemals verworfen werden, was eine Korruption der Pose-Schätzung und der Szenenglobalisierung verhindert.

3. Kosinus-Ähnlichkeits-gesteuerte Layer-weise Budgetzuweisung

In Anerkennung dessen, dass Transformer-Layer in ihrer „Transformationsstärke" variieren, vermeidet GHOST eine einheitliche Budgetverteilung.

Offline-Profilierung: Das System berechnet die mittlere Kosinus-Ähnlichkeit ( $\bar{\rho}_\ell$ ) zwischen Eingabe und Ausgabe jedes Layers über repräsentative Sequenzen hinweg.
Zuweisung: Layers mit hoher Ähnlichkeit (nahezu Identitäts-Transformationen) erhalten kleinere Budgets, während Layers mit niedriger Ähnlichkeit (starke Transformationen) größere Budgets erhalten. Dies konzentriert das Token-Budget dort, wo es für die Erhaltung der Repräsentation am dringendsten benötigt wird.

Hauptbeiträge

Geometrie-bewusste Bewertung: Ein neuartiges, training-freies Bewertungsschema, das die eigenen 3D-Ausgaben des Modells (Tiefe, Punkte, Pose) nutzt, um geometrisch wertvolle Tokens zu identifizieren und die Diskrepanz zwischen Aufmerksamkeitswerten und 3D-Struktur adressiert.
Schutz spezieller Tokens: Ein deterministischer Mechanismus, der die Bewahrung von Kamera- und Register-Tokens garantiert und so Kodierungen globaler Pose und Struktur vor Verwerfung schützt.
Adaptives Layer-Budgeting: Eine Offline-Profilierungsstrategie, die KV-Cache-Budgets basierend auf der layerweisen Transformationsstärke zuweist und den Trade-off zwischen Speichernutzung und Rekonstruktionsgenauigkeit optimiert.
Umfassende Evaluierung: Zahlreiche Experimente zeigen, dass GHOST SOTA-Baselines über mehrere Benchmarks und Eingabelängen hinweg übertreift und gleichzeitig den Speicherbedarf erheblich reduziert.

Experimentelle Ergebnisse

Die Autoren evaluierten GHOST auf vier Benchmarks: Bonn, 7-Scenes, NRGBD und Long3D, über verschiedene Eingabelängen (bis zu 9.545 Frames).

Leistung: GHOST erzielt konsistent die beste Leistung bei fast allen Metriken (Genauigkeit, Vollständigkeit, Normalen-Konsistenz und Depth Abs Rel) im Vergleich zu Baselines wie VGGT, StreamVGGT, CUT3R, Point3R, TTT3R und InfiniteVGGT.
- Auf 7-Scenes (300 Frames) reduzierte GHOST den mittleren Genauigkeitsfehler um 42,5 % im Vergleich zu InfiniteVGGT.
- Auf Long3D (bis zu 9.545 Frames) zeigte GHOST signifikante Gewinne, wobei Genauigkeitsverbesserungen mit der Sequenzlänge skalierten (z. B. 33,5 % Verbesserung auf der Library-Szene).
Effizienz:
- Speicherreduktion: GHOST halbiert die KV-Cache-Größe nahezu (z. B. 3,51 GB vs. 6,94 GB bei einem Budget von 600k), während eine wettbewerbsfähige Genauigkeit beibehalten wird.
- Inferenzgeschwindigkeit: Die Methode liefert bis zu 1,75× schnellere Inferenz im Vergleich zu State-of-the-Art-Methoden.
Ablationsstudien:
- Das Entfernen der Aufwertung spezieller Tokens verschlechterte die Genauigkeit und Normalen-Konsistenz, was die kritische Bedeutung des Schutzes globaler struktureller Tokens bestätigt.
- Die Kosinus-Ähnlichkeits-gesteuerte Budgetzuweisung schnitt besser ab als eine einheitliche Zuweisung und andere Profilierungsstrategien (Fisher-Information, Gradientenstärke).
- Das System zeigte Robustheit gegenüber Störungen in den Bedeutungsgewichten.

Bedeutung

Die Arbeit behauptet, dass GHOST eine fundamentale Einschränkung aktueller Streaming-3D-Rekonstruktion adressiert: die Unfähigkeit von auf Aufmerksamkeit basierenden Heuristiken, zwischen historisch redundanten Tokens und solchen zu unterscheiden, die geometrisch wertvoll sind. Durch die Verschiebung des Verwerfungskriteriums von Aufmerksamkeitsmustern hin zu 3D-Geometriesignalen bietet GHOST einen prinzipielleren Ansatz zum Token-Management. Das Framework ermöglicht eine hochwertige 3D-Rekonstruktion langer Sequenzen mit erheblich reduziertem Speicher-Overhead und verbesserter Inferenzgeschwindigkeit, was es zu einer praktikablen Lösung für reale Anwendungen macht, die eine kontinuierliche, unbegrenzte Videobearbeitung erfordern. Die Autoren betonen, dass diese Richtung – die Ausnutzung von Modellausgaben zur KV-Cache-Kompression in 3D-Aufgaben – in früheren Arbeiten nicht untersucht wurde.