DINO-VO: Learning Where to Focus for Enhanced State Estimation

Probleemstelling

Traditionele Visuele Odometrie (VO) en SLAM-systemen (zoals ORB-SLAM3) vertrouwen vaak op handmatig ontworpen modules voor feature-extractie. Deze methoden hebben moeite met generalisatie over verschillende datasets en omgevingen. Aan de andere kant gebruiken moderne, op deep learning gebaseerde systemen (zoals DPVO) vaak heuristische of willekeurige strategieën om patches (beeldfragmenten) te selecteren voor bundle adjustment.

• Het kernprobleem: Willekeurige selectie leidt ertoe dat een groot deel van de geselecteerde patches (bijvoorbeeld van de lucht of uniforme gebieden) geen waardevolle informatie bevat voor de positieschatting. Dit vermindert de nauwkeurigheid en robuustheid, vooral in grote, complexe omgevingen.
• Bestaande beperkingen: Bestaande leer-gebaseerde systemen scheiden vaak feature-extractie en state-estimation, waardoor ze niet optimaal kunnen leren welke features het meest nuttig zijn voor de downstream taak (pose-schatting).

Methodologie: DINO-VO

DINO-VO is een end-to-end monocular visuele odometrie-systeem dat drie hoofdcomponenten integreert om de kwaliteit van de geselecteerde features te maximaliseren:

1. Multi-task Feature Extractor:

   • In plaats van meerdere zware backbone-modellen te gebruiken, maakt het systeem gebruik van een enkele, voorgeöpleide backbone: DINOv2 (ViT-S).
   • Deze backbone wordt gekoppeld aan meerdere "heads" (hoofden) die gelijktijdig vier taken uitvoeren:
     • Context features: Voor algemene beeldbegrip.
     • Matching features: Voor het correleren van patches tussen frames.
     • Inverse depth map: Geleverd door Depth Anything v2 (een voorgeöpleid monocular depth model). Dit biedt betrouwbare dieptepriors.
     • Prior weight map: Een kaart die aangeeft welke gebieden in het beeld waarschijnlijk nuttig zijn voor bundle adjustment.
   • Door diepte-informatie direct te integreren, worden schaalambiguïteiten verminderd en wordt de stabiliteit van het systeem verbeterd.

2. Adaptive Patch Selector (Differentieerbaar):

   • Dit is de kerninnovatie. In plaats van willekeurig patches te kiezen, gebruikt het systeem een differentieerbare selector die geleerd wordt om de meest informatieve patches te identificeren.
   • Inferentie: De "prior weight head" voorspelt een gewicht voor elke patch. Patches met oneindige diepte (bijv. lucht) worden genegeerd. Vervolgens worden binnen regio's de patches met het hoogste gewicht geselecteerd (geïnspireerd door SuperPoint).
   • Training (Distillatie): Omdat het direct selecteren op basis van de posterior weights (uit de bundle adjustment) te rekenintensief is, wordt een distillatie-strategie gebruikt. De "prior weight head" leert van de output van de "hidden state updater" (die de posterior weights berekent) tijdens het trainen. Hierdoor leert de selector vooraf welke patches waarschijnlijk nuttig zijn.

3. Sparse Bundle Adjustment (BA) Layer:

   • Het systeem voert bundle adjustment uit op de geselecteerde patches.
   • Diepte-initialisatie: In tegenstelling tot eerdere methoden die een constante diepte gebruiken, initialiseert DINO-VO de inverse diepte van patches op basis van de voorspellingen van Depth Anything v2. Om schaalproblemen op te lossen, wordt de diepte na initialisatie herschaald op basis van de mediane diepte van de omgeving.
   • De BA-layer optimaliseert de camera-pose door een factor graph te minimaliseren, waarbij de gewichten van de patches dynamisch worden aangepast.

Belangrijkste Bijdragen

• Differentieerbare Adaptieve Patch Selector: Een nieuwe module die end-to-end leert waar in het beeld gefocust moet worden, waardoor het percentage effectieve patches voor bundle adjustment drastisch toeneemt.
• Multi-task Feature Extractor: Een efficiënte architectuur die gebruikmaakt van een enkele voorgeöpleide ViT-backbone (DINOv2) om zowel uiterlijke (appearance) als geometrische (diepte) features te extraheren, wat de generalisatie over datasets verbetert.
• Integratie van Diepte Priors: Het gebruik van Depth Anything v2 verhelpt schaalproblemen en stabiliseert de mapping, zelfs in texture-arme omgevingen.
• State-of-the-art Generalisatie: Het systeem is getraind op synthetische data (TartanAir) maar presteert uitstekend op real-world datasets (KITTI, EuRoC, TUM) zonder aanpassing.

Resultaten

DINO-VO werd getest op vier veelgebruikte datasets en presteerde over het algemeen beter dan bestaande traditionele en leer-gebaseerde methoden:

• TartanAir: Bereikte de laagste gemiddelde fout (ATE) in de testset, met een verbetering van 14% ten opzichte van DPVO. Het systeem reconstrueerde texture-rijke vloeren en objecten beter dan systemen met willekeurige selectie.
• KITTI (Outdoor): Bereikte een gemiddelde ATE van 22.38m (met loop closure), wat een verbetering is van 7.29m ten opzichte van DPVO. Het systeem was robuust in grote buitenomgevingen en bij hoge snelheden.
• TUM-RGBD (Indoor): Bereikte een gemiddelde ATE van 0.081m, wat de hoogste nauwkeurigheid was onder de vergeleken methoden, zelfs in uitdagende scenario's met bewegingsonscherpte.
• EuRoC: Toonde consistente prestaties over alle sequenties, met name in sequenties met pure rotaties waar andere methoden faalden.
• Efficiëntie: Het systeem behoudt real-time prestaties en selecteert een hoger percentage "high-weight" patches dan willekeurige methoden (zoals gevisualiseerd in Fig. 6 van het paper).

Betekenis en Impact

DINO-VO markeert een belangrijke stap in de evolutie van visuele odometrie door de kloof tussen feature learning en state estimation te dichten.

• Het bewijst dat het niet nodig is om handmatige heuristieken te gebruiken voor feature-selectie; in plaats daarvan kan het systeem zelf leren welke beeldgebieden het meest waardevol zijn voor de positieschatting.
• Door het gebruik van krachtige, voorgeöpleide modellen (DINOv2, Depth Anything v2) in een end-to-end pipeline, overbrugt het de generalisatielacune tussen synthetische en real-world data.
• De methode biedt een robuustere en schaalbare oplossing voor autonome systemen die moeten navigeren in diverse, complexe omgevingen, van binnenkant gebouwen tot grote buitenlandschappen.