FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction

1. Het Probleem: Langdurige Instabiliteit in Streaming 3D Reconstructie

Streaming 3D reconstructie heeft als doel geometrie en camerabeweging te voorspellen vanuit een stroom van afbeeldingen, gebruikmakend van constante geheugengebruik en lage latentie. Recente recurrente architecturen (zoals CUT3R) behouden een compacte set van persistente "latent tokens" die de context van de scène samenvatten.

Echter, wanneer de sequentielengte de trainingshorizon overschrijdt, treden er twee kritieke fouten op:

• Drift: Kleine update-biasen stapelen zich op, waardoor de geschatte positie en geometrie langzaam afwijken van de werkelijkheid.
• Vergeten (Forgetting): Aggressieve updates (zoals uniforme overschrijving) laten nuttige historische informatie los, terwijl te conservatieve updates niet reageren op nieuwe bewijzen.

Bestaande methoden gebruiken vaak handmatig ontworpen regels (zoals uniforme overschrijving of heuristische poortmechanismen op basis van attentiestatistieken) om dit compromis te beheren. Deze methoden missen echter een expliciete representatie van onzekerheid en falen vaak bij langere rollouts, wat leidt tot instabiele geometrie en trajecten.

2. Methodologie: FILT3R

De auteurs introduceren FILT3R (Filtering for Latent State Adaptive Kalman Filter), een trainingsvrije, plug-and-play laag die recurrente state-updates herschrijft als stochastische state-schatting in token-ruimte.

Kernconcept: Adaptieve Kalman Filtering

FILT3R behandelt de recurrente state ($s_t$) als een "belief" (overtuiging) over de scène en de kandidaat-state van de decoder ($\tilde{s}_t$) als een ruisbevatte meting van die overtuiging. Het systeem gebruikt een Adaptieve Kalman Filter (AKF) raamwerk om de update te berekenen:

$$s_t = s_{t-1} + k_t \odot (\tilde{s}_t - s_{t-1})$$

Waarbij $k_t$ de Kalman-versterking (gain) is die bepaalt hoeveel vertrouwen er is in de nieuwe meting versus de bestaande state.

Belangrijke Ontwerpelementen:

1. Per-token Variance Propagatie: In plaats van een vaste update-snelheid, houdt FILT3R een per-token variantie ($p_t$) bij. Deze variantie krimpt naarmate er meer consistente bewijzen worden verzameld (stabiliteit), wat de versterking ($k_t$) verlaagt en de effectieve geheugenhorizon verlengt.
2. Adaptieve Procesruis ($Q_t$): De verwachte verandering van de scène tussen frames wordt geschat online. Dit gebeurt door de temporale drift (verschil) tussen opeenvolgende kandidaat-tokens te meten en te normaliseren met een Exponentially Moving Average (EMA) baseline.
   • Bij een statische scène is de drift laag $\rightarrow$ procesruis is laag $\rightarrow$ versterking daalt (conservatief).
   • Bij een scène-overgang is de drift hoog $\rightarrow$ procesruis stijgt $\rightarrow$ versterking stijgt (agressief aanpassen).
3. Vaste Meetruis ($R$): In tegenstelling tot sommige AKF-varianten, houdt FILT3R de meetruis ($r$) vast als een scalair hyperparameter. Dit voorkomt dat ruis in de schattingen van procesruis en meetruis gecorreleerd raken tijdens scène-overgangen, wat instabiliteit zou veroorzaken.
4. Trainingsvrij: De methode vereist geen hertraining van het onderliggende model. Het werkt als een vervanging voor de update-regel in bestaande recurrente architecturen (zoals CUT3R).

3. Belangrijkste Bijdragen

• Nieuwe Formulering: Streaming 3D reconstructie wordt herschreven als een probleem van stochastische state-schatting, waarbij de update-regel wordt afgeleid uit principes van Bayesiaanse filtering.
• FILT3R Laag: Een lichtgewicht, interpreteerbare en trainingsvrije laag die adaptieve procesruis schat uit interne modelsignalen en een vaste meetruis gebruikt.
• Theoretisch Onderbouwd: De auteurs tonen aan dat de Kalman-versterking in statische scènes natuurlijk afneemt met een snelheid van $O(1/t)$, wat leidt tot een exponentieel groeiende effectieve geheugenhorizon, in tegenstelling tot vaste of heuristische poorten.
• Unificatie: Bestaande methoden zoals uniforme overschrijving (CUT3R) en heuristische poorten (TTT3R) worden geïdentificeerd als speciale gevallen of benaderingen van dit algemene raamwerk.

4. Resultaten

FILT3R werd uitgebreid geëvalueerd op taken zoals video-diepteschatten, camerapose-schatting en 3D-reconstructie op datasets zoals TUM-RGBD, Bonn, KITTI, 7-Scenes en NRGBD.

• Langdurige Stabiliteit: Op sequenties die veel langer zijn dan de trainingshorizon (bijv. 1000 frames), overtreft FILT3R bestaande methoden (CUT3R, TTT3R) aanzienlijk.
  • Op TUM-RGBD (800 frames) daalt de oorsprong-gealigneerde ATE (Absolute Trajectory Error) van 0.214 (TTT3R) en 0.493 (CUT3R) naar 0.107 met FILT3R.
  • De drift groeit veel langzamer naarmate de sequentie langer wordt.
• 3D Reconstructie: Op 7-Scenes en NRGBD behoudt FILT3R coherente geometrie over lange rollouts, terwijl andere methoden leiden tot gefragmenteerde oppervlakken en inconsistenties bij herbezochte gebieden.
• Korte Horizon: FILT3R behoudt of verbetert de nauwkeurigheid op korte sequenties, wat aantoont dat het geen trade-off maakt tussen korte-termijn prestaties en lange-termijn stabiliteit.
• Efficiëntie: De methode behoudt een constante geheugenvoetafdruk (constant memory footprint), vergelijkbaar met CUT3R, en vermijdt de geheugenvraag van methoden die volledige attentie-maps moeten cacheën (zoals TTT3R).

5. Betekenis en Impact

FILT3R biedt een fundamentele oplossing voor het "catastrophic forgetting" en drift-probleem in streaming 3D visie. Door de update-logica te baseren op onzekerheidspropagatie in plaats van heuristieken, creëert het een systeem dat:

1. Zelfregulerend is: Het wordt conservatiever naarmate het meer zekerheid heeft, en reageert sneller wanneer de omgeving verandert.
2. Schalbaar is: Het werkt effectief op sequenties die veel langer zijn dan waar het model voor is getraind.
3. Toepasbaar is: Omdat het trainingsvrij is en als plug-in werkt, kan het direct worden toegepast op bestaande state-of-the-art recurrente 3D-modellen zonder hertraining.

De paper markeert een verschuiving van handmatig ontworpen update-regels naar een principieel, wiskundig onderbouwd raamwerk voor langdurige online scene-verstaanbaarheid.