Technische Samenvatting: GHOST (Geometry-Hierarchical Online Streaming Token Eviction)

Probleemstelling

Streaming 3D-reconstructie vanuit lange monoculaire videosequenties staat voor een kritiek geheugennauwte. Transformer-gebaseerde modellen, zoals VGGT, bereiken state-of-the-art (SOTA) resultaten door gezamenlijk te attenderen over alle invoerframes; deze gezamenlijke attentie schaalt echter kwadratisch met de sequentielengte, waardoor het onuitvoerbaar wordt voor lange video's. Streaming-benaderingen zoals StreamVGGT en InfiniteVGGT proberen dit te mitigeren door een groeiende Key-Value (KV) cache te onderhouden en tokens te verwijderen wanneer een vast budget wordt overschreden.

Bestaande verwijderingsstrategieën, met name die welke vertrouwen op heuristieken voor key-gelijksoortigheid (bijvoorbeeld het verwijderen van tokens met keys die het minst lijken op de huidige query), lijden onder een fundamentele beperking: attentiescores van de huidige query-frame weerspiegelen niet trouw de langetermijn-geometrische waarde van historische tokens. Zoals aangetoond in het paper, tonen key-gelijksoortigheidsscores een verwaarloosbare correlatie met camera-poseveranderingen ($\rho = -0,07$) en slechts een matige correlatie met de variantie van dieptegradienten ($\rho = +0,31$). Bijgevolg falen deze methoden om tokens te behouden die geometrisch onderscheidend zijn maar visueel vergelijkbaar met de huidige frame, wat leidt tot degradatie van de reconstructiekwaliteit in lange sequenties.

Methodologie

De auteurs stellen GHOST (Geometry-Hierarchical Online Streaming Token Eviction) voor, een trainingsvrij raamwerk ontworpen om KV-caches te beheren voor streaming 3D-reconstructie. GHOST maakt gebruik van de eigen 3D-geometrie-outputs van het model (diepte, puntkaarten en camera-poses) om tokenbelang te bepalen, in plaats van uitsluitend te vertrouwen op attentiepatronen.

1. Hiërarchische tweeledige belangsscore

GHOST decomposeert tokenbelang in twee wederzijds versterkende niveaus, die incrementeel online worden bijgewerkt zonder extra forward passes:

• Frame-niveau belang ($s_{frame}$): Bepaalt de geometrische waarde van een volledig gezichtspunt. Het integreert drie signalen:
  • Camera Pose Verandering: Straft translationele nabijheid en rotationele gelijkenis af om te waarborgen dat frames met significante gezichtspuntverschuivingen worden behouden.
  • Variantie van Dieptegradienten: Geeft prioriteit aan frames met rijke structurele details (randen, grenzen) boven uniforme oppervlakken.
  • Temporele Recenteheid: Wijs een hogere gewicht toe aan recente frames om contextuele overlap te behouden, terwijl toch oudere frames met unieke gezichtspunten worden behouden.
• Token-niveau belang ($s_{token}$): Identificeert specifieke informatieve patches binnen een frame. Het aggregeert:
  • Visuele Saliëntie: Gemeten via de ruimtelijke gradiëntgrootte van feature maps om geometrische correspondentie te verankeren.
  • Diepte Zekerheid: De epistemische zekerheid van het model met betrekking tot diepteschattingen.
  • Punt Zekerheid: De zekerheid van het model met betrekking tot schattingen van 3D-puntkaarten.

De uiteindelijke score per patch $\phi(t, p)$ is een gewogen som van de genormaliseerde frame-niveau- en token-niveauscores.

2. Speciale-token Privilege Mechanisme

Standaard belangsscores kunnen speciale tokens (camera-tokens $c_t$ en register-tokens $\{r^i_t\}$) lager rangschikken dan informatieve patch-tokens vanwege hun gebrek aan visuele saliëntie. GHOST introduceert een deterministische boost voor deze tokens. Door een vaste offset ($\Delta_{boost}$) en een op rang gebaseerde tie-breaker toe te voegen, zorgt het mechanisme ervoor dat tokens die globale scenes-geometrie en structurele priors coderen nooit worden verwijderd, waardoor corruptie van pose-schatting en globalisatie van de scène wordt voorkomen.

3. Cosine-gelijksoortigheid-geleide Laag-voor-laag Budgettoewijzing

Omdat transformer-lagen variëren in hun "transformatiesterkte", vermijdt GHOST een uniforme budgetverdeling.

• Offline Profiling: Het systeem berekent de gemiddelde cosine-gelijksoortigheid ($\bar{\rho}_\ell$) tussen de invoer en uitvoer van elke laag over representatieve sequenties.
• Toewijzing: Lagen met hoge gelijksoortigheid (transformaties dicht bij identiteit) krijgen kleinere budgetten toegewezen, terwijl lagen met lage gelijksoortigheid (sterke transformaties) grotere budgetten ontvangen. Dit concentreert het tokenbudget waar het het meest nodig is voor behoud van representatie.

Belangrijkste Bijdragen

1. Geometrie-bewuste Score: Een nieuw, trainingsvrij scoreschema dat de eigen 3D-outputs van het model (diepte, punten, pose) gebruikt om geometrisch waardevolle tokens te identificeren, waardoor de kloof tussen attentiescores en 3D-structuur wordt aangepakt.
2. Bescherming van Speciale Tokens: Een deterministisch mechanisme dat de behoud van camera- en register-tokens garandeert, waardoor coderingen van globale pose en structuur worden beschermd tegen verwijdering.
3. Adaptieve Laag-Budgettering: Een offline profilingstrategie die KV-cache-budgetten toewijst op basis van laag-voor-laag transformatiesterkte, waardoor de afweging tussen geheugengebruik en reconstructietrouw wordt geoptimaliseerd.
4. Uitgebreide Evaluatie: Uitgebreide experimenten die aantonen dat GHOST SOTA-baselines overtreft op meerdere benchmarks en invoerlengtes, terwijl het tegelijkertijd het geheugenvoetafdruk aanzienlijk verkleint.

Experimentele Resultaten

De auteurs hebben GHOST geëvalueerd op vier benchmarks: Bonn, 7-Scenes, NRGBD en Long3D, over verschillende invoerlengtes (tot 9.545 frames).

• Prestaties: GHOST bereikt consistent de beste prestaties op bijna alle metrieken (Nauwkeurigheid, Volledigheid, Normaal Consistentie en Diepte Abs Rel) in vergelijking met baselines zoals VGGT, StreamVGGT, CUT3R, Point3R, TTT3R en InfiniteVGGT.
  • Op 7-Scenes (300 frames) verminderde GHOST de gemiddelde nauwkeurigheidsfout met 42,5% ten opzichte van InfiniteVGGT.
  • Op Long3D (tot 9.545 frames) toonde GHOST significante winsten, waarbij nauwkeurigheidsverbeteringen schaalden met de sequentielengte (bijvoorbeeld 33,5% verbetering op de Library-scène).
• Efficiëntie:
  • Geheugenreductie: GHOST halveert de grootte van de KV-cache bijna (bijvoorbeeld 3,51 GB versus 6,94 GB bij een budget van 600k) terwijl het concurrerende nauwkeurigheid behoudt.
  • Inferentiesnelheid: De methode levert tot 1,75× snellere inferentie op in vergelijking met state-of-the-art methoden.
• Ablatiestudies:
  • Het verwijderen van de speciale-token boost verslechterde de nauwkeurigheid en normaalconsistentie, wat de kritieke aard van het beschermen van globale structurele tokens bevestigt.
  • Cosine-gelijksoortigheid-geleide budgettoewijzing presteerde beter dan uniforme toewijzing en andere profilingstrategieën (Fisher-informatie, gradiëntgrootte).
  • Het systeem toonde robuustheid tegen verstoringen in belangsgewichten.

Betekenis

Het paper stelt dat GHOST een fundamentele beperking in huidige streaming 3D-reconstructie aanpakt: het onvermogen van op attentie gebaseerde heuristieken om onderscheid te maken tussen historisch overbodige tokens en die welke geometrisch waardevol zijn. Door het verwijderingscriterium te verschuiven van attentiepatronen naar 3D-geometriesignalen, biedt GHOST een meer principieel aanpak voor tokenbeheer. Het raamwerk maakt hoge-kwaliteit, lange-sequentie 3D-reconstructie mogelijk met aanzienlijk verminderde geheugenoverhead en verbeterde inferentiesnelheid, waardoor het een levensvatbare oplossing wordt voor real-world toepassingen die continue, onbegrensde videobewerking vereisen. De auteurs benadrukken dat deze richting – het benutten van modeloutputs voor KV-cache-compressie in 3D-taken – in eerdere werken niet is onderzocht.