FVO: Fast Visual Odometry with Transformers

Technische Samenvatting: Snelle Visuele Odometrie met Transformers (FVO)

Probleemstelling
Visuele odometrie (VO) heeft tot doel de trajectorie van een camera te schatten op basis van videosequenties. Hoewel hybride pijplijnen die diep leren combineren met klassieke optimalisatie (bijvoorbeeld bundelafstelling) hoge nauwkeurigheid hebben bereikt, kampen ze met aanzienlijke beperkingen. Deze methoden vertrouwen vaak op enorme, vooraf getrainde 3D-ruggengraten die zijn bevroren en schaal-ambigu, waardoor ze de onmogelijkheid erven om een absolute schaal te schatten. Bovendien creëren de afhankelijkheid van nabewerkingsstappen zoals bundelafstelling en kenmerkmatching knelpunten in de inferentiesnelheid en vereisen ze bekende camera-calibratieparameters, die in real-world implementaties vaak niet beschikbaar zijn. Pure end-to-end benaderingen, hoewel sneller, hebben historisch gezien achtergehouden in nauwkeurigheid en robuustheid. De uitdaging ligt in het ontwikkelen van een monocular VO-systeem dat snel, schaalbaar is, geen camera-intrinsieken of optimalisatie op het moment van testen vereist, en een nauwkeurige metrische schaal kan schatten zonder zware nabewerking.

Methodologie
De auteurs stellen Fast Visual Odometry (FVO) voor, een raamwerk voor directe regressie van relatieve pose dat traditionele nabewerking vervangt door een transformer-gebaseerde architectuur.

• Architectuur: De kern van FVO is een transformer-model ontworpen voor end-to-end gestructureerde voorspelling. Het maakt gebruik van een bevroren, vooraf getrainde image-encoder (gebaseerd op de CroCo-architectuur binnen het DUSt3R-raamwerk) om visuele kenmerken uit invoerframes te extraheren. Deze kenmerken worden verwerkt door een tijd-ruimte-decoder bestaande uit $L$ herhalende blokken.
  • Tijd-Ruimte Attention: De decoder maakt gebruik van een gefactoriseerde attention-mechanisme. Eerst aggregeert temporale attention informatie over frames voor dezelfde ruimtelijke locatie. Vervolgens staat ruimtelijke attention communicatie toe tussen verschillende ruimtelijke locaties binnen een frame.
  • Camera-Embeddings: Leerbare camera-embeddings worden geïntroduceerd om informatie specifiek te aggregeren voor pose-schatting. Cruciaal is dat deze embeddings alleen worden geïntegreerd binnen de ruimtelijke attention-lagen, aangezien het injecteren ervan in temporale attention bleek de prestaties te verslechteren.
• Regressie van Relatieve Pose: Het model voorspelt direct relatieve camera-transformaties ($SE(3)$) tussen opeenvolgende frames. De output omvat een rotatiematrix, een translatievector en confidence-scores voor beide.
  • Rotatiebehandeling: Om geldige rotaties te waarborgen, wordt de ruw voorspelde rotatiematrix geprojecteerd op de $SO(3)$-manifold met behulp van het speciale orthogonale Procrustes-probleem.
  • Onzekerheidsbewust Leren: In plaats van per-pixel confidence-labels te gebruiken, hanteert FVO een heteroscedastische onzekerheidsformulering. Het netwerk leert op zelftoezichtende wijze confidence-scores ($c_R, c_t$) te voorspellen voor rotatie en translatie. De verliesfunctie straft overzekerde voorspellingen met lage nauwkeurigheid af en verlaagt het gewicht van onzekere residuen, waardoor het model vertrouwen kan leren zonder expliciete labels.
• Inferentiemodule: Om het probleem van foutopbouw in monocular VO aan te pakken, maakt FVO gebruik van een overlapping-window-scheme. De invoervideo wordt opgedeeld in overlappende vensters, en het model voorspelt relatieve poses voor elk. Een confidence-aware inferentiemodule aggregeert deze overlappende voorspellingen. Voorspellingen worden gewogen op basis van hun geleerde confidence-scores (omgezet naar gewichten via softmax-normalisatie) en gemiddeld. Rotaties worden gemiddeld met behulp van het gewogen Fréchet-gemiddelde op $SO(3)$, terwijl translaties lineair worden gemiddeld. Dit proces mitigeert de impact van outliers en produceert een glad, globaal consistent traject zonder globale optimalisatie.

Belangrijkste Bijdragen

1. FVO-pijplijn: Een efficiënte, end-to-end pijplijn voor monocular visuele odometrie die concurrerende prestaties levert op meerdere benchmarks, terwijl het bijna $2\times$ sneller werkt dan de snelste baselines.
2. Directe Regressie op Basis van Transformers: Een nieuw netwerkarchitectuur die direct relatieve camera-poses en confidence-schattingen voorspelt op basis van beeldeenvolges. Het vertrouwen wordt zelftoezichtend geleerd en vereist alleen pose-annotaties.
3. Confidence-aware Inferentie: Een robuust module voor trajectherstel dat overlappende pose-voorspellingen aggregeert met behulp van geleerde confidence-gewichten, waardoor spookvoorspellingen effectief worden gemitigeerd zonder bundelafstelling of camera-calibratie.

Experimentele Resultaten
De methode werd geëvalueerd op diverse binnen- en buiten datasets, waaronder ARKitScenes, ScanNet, KITTI en TUM_RGBD (zero-shot).

• Nauwkeurigheid: FVO bereikt state-of-the-art of concurrerende prestaties in Absolute Translation Error (ATE), zowel uitgelijnd als niet-uitgelijnd. Opmerkelijk is dat het grootschalige 3D-modellen (zoals VGGT en CUT3R) en optimalisatie-gebaseerde methoden (zoals DPVO) overtreft in niet-uitgelijnde metrieken, wat superieure schatting van de schaal aantoont.
• Snelheid: Op handelshardware (NVIDIA RTX 3090) bereikt FVO een runtime die bijna $2\times$ sneller is dan bestaande baselines. Deze efficiëntie wordt toegeschreven aan het ontbreken van dure nabewerkingsstappen en de gestroomlijnde transformer-architectuur.
• Schaalbaarheid: Ablatiestudies bevestigen dat het model robuust schaalt met zowel meer trainingsdata (bijvoorbeeld het toevoegen van ARKitScenes aan ScanNet) als meer modelcapaciteit (meer decoderlagen).
• Ontwerpkeuzes: Experimenten valideren dat het specifieke tijd-ruimte attention-mechanisme met camera-tokens in ruimtelijke lagen, de $SO(3)$-projectie voor rotaties en de heteroscedastische onzekerheidsverliesfunctie cruciaal zijn voor de prestaties.

Betekenis en Claims
Het artikel stelt dat FVO een significante stap voorwaarts is door aan te tonen dat gestroomlijnde, end-to-end architecturen, wanneer gekoppeld aan voldoende data, complexe hybride pijplijnen kunnen vervangen. Door de behoefte aan optimalisatie op het moment van testen, camera-intrinsieken en handgemaakte componenten te elimineren, maakt FVO real-time, grootschalige implementatie mogelijk in scenario's waar traditionele methoden falen of te traag zijn. De auteurs benadrukken dat hun benadering succesvol diverse data benut om monocular schaambiguïteit direct op te lossen vanuit visuele aanwijzingen, en zo een robuust pad biedt voor real-time visuele odometrie in praktische toepassingen zoals autonoom rijden en robotica. Ze merken echter bescheiden op dat het model voornamelijk is getraind in statische omgevingen en mogelijk beperkingen ondervindt in sterk dynamische omgevingen, wat toekomstig werk suggereert op het gebied van data-curatie en model-schaalbaarheid.