PoseFM: Relative Camera Pose Estimation Through Flow Matching

Technische Samenvatting: PoseFM

1. Het Probleem (Problem Statement)

Monoculaire Visual Odometry (VO) is het proces waarbij de beweging van een camera wordt geschat op basis van een enkele videostroom. Hoewel deep learning-gebaseerde methoden de nauwkeurigheid van traditionele geometrische methoden hebben verbeterd, kampen de meeste huidige modellen met een fundamenteel probleem: ze maken gebruik van deterministische regressie.

Dit betekent dat het model slechts één enkel punt (een schatting) voorspelt voor de camerabeweging. In uitdagende scenario's — zoals bij weinig licht, bewegingsonscherpte (motion blur), textureloze oppervlakken of dynamische scènes — is er vaak sprake van geometrische ambiguïteit. Deterministische modellen kunnen deze onzekerheid niet representeren, wat leidt tot foutieve en overmoedige voorspellingen die cruciaal zijn voor veiligheidskritische toepassingen zoals autonome navigatie.

2. Methodologie (Methodology)

De auteurs stellen PoseFM voor, het eerste framework dat frame-to-frame VO herformuleert als een generatieve taak met behulp van Flow Matching (FM).

• Generatieve Formulering: In plaats van direct de pose $T$ te voorspellen, leert PoseFM een kansverdeling over mogelijke bewegingen. Het model leert een tijd-afhankelijk vectorveld $\mathbf{u}_\theta^\tau$ dat een eenvoudige basisverdeling (bijv. een normale verdeling voor translatie en een uniforme verdeling op $SO(3)$ voor rotatie) transformeert naar de complexe doelverdeling van de werkelijke camerabeweging.
• Flow Matching (FM) vs. Diffusie: Hoewel diffusiemodellen populair zijn, gebruikt PoseFM Flow Matching. FM leert een continue probabilistische stroom via Ordinary Differential Equations (ODE's). Dit is computationeel efficiënter en biedt een directere geometrische interpretatie van de transformatie tussen distributies.
• Pipeline Architectuur:
  1. Front-end: Een bevroren optical flow-estimator (zoals PWCNet of WAFT) extraheert visuele cues uit het paar opeenvolgende beelden ($I_n, I_{n+1}$).
  2. Vector Field Network: Een ResNet-gebaseerde encoder verwerkt de optical flow en camera-intrinsieken. Er worden specifieke embedding-lagen toegevoegd voor de tijdvariabele $\tau$ en de tussenliggende pose-toestand $X_\tau$.
  3. Inference (ODE Solver): Tijdens de uitvoering wordt een willekeurige beginpose gesampled en via een numerieke ODE-solver (bijv. de midpoint-methode) geïntegreerd langs het geleerde vectorveld om de uiteindelijke pose te bereiken.
• Onzekerheidsschatting: Omdat het een generatief model is, kan onzekerheid direct worden gekwantificeerd door meerdere keren te samplen. Een hoge variantie tussen de gegenereerde poses duidt op een lage betrouwbaarheid van de schatting.

3. Belangrijkste Bijdragen (Key Contributions)

• Eerste Generatieve VO-framework: De introductie van Flow Matching voor het schatten van relatieve camerabeweging in een frame-to-frame setting.
• Onzekerheid in Pose-ruimte: In tegenstelling tot eerdere methoden die onzekerheid op pixel-niveau modelleren, biedt PoseFM een principiële manier om onzekerheid direct in de bewegingsruimte (pose space) te modelleren.
• Robuustheid: Het model kan beter omgaan met visuele ambiguïteit door een distributie van mogelijke bewegingen te behouden in plaats van voortijdig te kiezen voor één (mogelijk foutieve) schatting.

4. Resultaten (Results)

Het model is geëvalueerd op drie belangrijke benchmarks: TartanAir, KITTI en TUM-RGBD.

• TartanAir: PoseFM (met PWCNet) presteert zeer competitief. Het verbeterde de Absolute Trajectory Error (ATE) met ongeveer 8% ten opzichte van de bestaande TartanVO. Het bereikte de laagste fout op verschillende trajecten.
• KITTI: Het model toonde sterke generalisatiekracht naar nieuwe omgevingen en presteerde vergelijkbaar met de beste frame-to-frame methoden, ondanks het feit dat het niet was getraind op deze specifieke dataset.
• TUM-RGBD: In indoor-omgevingen liet PoseFM sterke generalisatie zien en presteerde het op meerdere scènes beter dan de huidige state-of-the-art frame-to-frame methoden.
• Vergelijking: Hoewel multi-frame optimalisatiemethoden (zoals DPVO) nog steeds de laagste totale fout hebben, laat PoseFM zien dat een puur frame-to-frame generatieve aanpak de kloof aanzienlijk verkleint zonder de complexiteit van globale trajectoptimalisatie.

5. Betekenis (Significance)

PoseFM markeert een paradigmaverschuiving in Visual Odometry: van het simpelweg "voorspellen van een getal" naar het "modelleren van een bewegingsverdeling". Dit is essentieel voor de volgende generatie autonome systemen, waarbij het systeem niet alleen moet weten waar het is, maar ook hoe zeker het is van die positie. De efficiëntie van Flow Matching maakt dit bovendien potentieel bruikbaar in real-time toepassingen, wat een grote stap voorwaarts is ten opzichte van tragere diffusiemodellen.