MotionHint: Self-Supervised Monocular Visual Odometry with Motion Constraints

Dit paper introduceert MotionHint, een zelftoezichtend algoritme voor monocular visuele odometrie dat een door een neurale netwerk (PPnet) geleerde bewegingsmodel gebruikt om bestaande systemen te verbeteren door lokale minima te verminderen en de nauwkeurigheid op de KITTI-benchmark met tot 28,73% te verhogen.

De kern

Stel je voor dat je een blindeman bent die door een stad loopt. Je hebt een camera om je nek, maar je kunt niet zien waar je bent. Je moet alleen op basis van de beelden die je camera vastlegt, raden hoe je door de stad beweegt. Dit is wat een computer doet bij Visual Odometry (visuele odometrie): het proberen te begrijpen hoe een auto of robot beweegt, puur op basis van foto's.

Het probleem is dat deze computers vaak "in de war" raken. Ze kunnen denken dat ze rechtdoor gaan, terwijl ze eigenlijk een bocht maken, of ze kunnen vastlopen in een denkbeeldige doodlopende weg (in de vaktaal: een lokaal minimum). Ze zien een patroon dat logisch lijkt, maar het is niet de juiste route.

Hier komt MotionHint om de hoek kijken, een slimme nieuwe methode bedacht door onderzoekers. Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De Verkeerde Gids

Stel je voor dat je blindelings door een stad loopt en iemand vraagt: "Waar ga je naartoe?" Je kijkt naar de gebouwen en zegt: "Ik denk dat ik rechtdoor ga." Maar omdat je niet kunt zien dat de weg een bocht maakt, loop je tegen een muur op.

Bestaande computersystemen doen precies dit. Ze kijken naar de beelden en proberen een route te raden. Soms raden ze iets dat eruitziet alsof het klopt (een lage "fout" in hun berekening), maar het is eigenlijk verkeerd. Ze zitten vast in een valstrik.

2. De Oplossing: Een Slimme Navigatie-assistent (PPnet)

De onderzoekers hebben een nieuw hulpmiddel bedacht, een soort slimme navigatie-assistent die ze PPnet noemen.

Stel je voor dat je niet alleen naar de straat kijkt, maar ook naar je eigen lichaam. Je weet dat je een mens bent die op twee benen loopt. Je kunt niet plotseling 90 graden draaien in de lucht of door muren lopen. Je beweging heeft regels.

• De Regels van de Weg: Een auto kan niet zijwaarts rijden als een krab, en een drone kan niet zomaar stoppen in de lucht en dan plotseling 100 km/u gaan. Ze volgen fysieke wetten.
• De Assistent (PPnet): Dit is een klein brein dat deze regels heeft geleerd. Het kijkt naar de laatste paar stappen die je hebt gezet en zegt: "Oké, op basis van hoe je hebt gelopen, is de kans 99% dat je nu hier aankomt, en niet daar."

3. Hoe Werkt het Samen? (De "Hint")

Het systeem werkt in drie stappen, alsof je een leerling en een meester hebt:

1. De Leerling (Het oude systeem): De computer probeert de route te raden op basis van de foto's. Soms maakt hij fouten.
2. De Meester (PPnet): De assistent kijkt naar wat de leerling heeft gedaan en zegt: "Wacht even, als je daarheen bent gegaan, zou je nu hier moeten zijn. Maar jij denkt dat je daar bent. Dat kan niet, want auto's kunnen niet zomaar zweven."
3. De Hint: De assistent geeft de leerling een hint. Hij zegt: "Je hebt een foutje gemaakt. Luister naar mijn voorspelling, want die volgt de regels van de natuur."

Door deze hint toe te voegen, wordt de computer gedwongen om de "doodlopende wegen" te vermijden en de juiste, logische route te kiezen.

4. Waarom is dit zo slim?

Het meest geweldige aan MotionHint is dat de assistent niet hoeft te weten waar de auto echt is (dat is vaak onbekend of moeilijk te meten).

• Oefening maakt de meester: De assistent kan worden getraind op simpele, ruwe data. Stel je voor dat je een andere, minder nauwkeurige kaart gebruikt om de regels van de weg te leren. Zelfs als die kaart niet perfect is, leert de assistent wel de basisregels: "Auto's rijden meestal rechtdor of maken zachte bochten."
• Onzekerheid: De assistent is ook slim genoeg om te zeggen: "Ik ben niet zeker van deze bocht." Als hij twijfelt, luistert het systeem niet naar hem. Als hij zeker is, luistert het systeem wel.

5. Het Resultaat

In de test (op de beroemde KITTI-dataset, een soort examen voor zelfrijdende auto's) bleek dat dit systeem de fouten met wel 28% kon verkleinen.

Kortom:
MotionHint is als het toevoegen van een gezond verstand aan een computer die probeert te navigeren. De computer kijkt naar de foto's (wat het ziet), maar de "hint" zorgt ervoor dat het ook kijkt naar de regels van de fysieke wereld (wat het kan doen). Hierdoor verdwaalt de computer veel minder vaak en komt hij veel nauwkeuriger op zijn bestemming aan.

Het is alsof je een blindeman een stok geeft die niet alleen voelt waar de muur is, maar ook fluistert: "Hé, je loopt tegen een muur aan, draai eens een beetje naar links, want daar is de weg!"

Technische samenvatting

Probleemstelling

Visuele Odometrie (VO) is cruciaal voor toepassingen zoals autonoom rijden, augmented reality en robotnavigatie. Hoewel er veel op geometrie gebaseerde methoden bestaan, lijden deze vaak onder problemen in gebieden zonder textuur, bij onscherpe beelden en bij slecht gestelde problemen.

Recente leer-gebaseerde methoden bieden een oplossing, maar de supervised (toezicht) methoden vereisen ground truth-data voor training, wat in de praktijk moeilijk te verkrijgen is. Zelftoezicht (self-supervised) methoden lossen dit op door alleen monochrome video's te gebruiken en diepte en ego-beweging te voorspellen via fotometrische fouten (view synthesis).

Het fundamentele probleem met bestaande zelftoezicht-methode is echter dat hun verliesfuncties (consistency loss) vaak lokale minima bereiken. Zolang de voorspellingen aan bepaalde constraints voldoen, kan het verlies laag zijn, zelfs als de voorspelling ver van de werkelijke ground truth verwijderd is. Er is behoefte aan extra informatie of constraints om het systeem uit deze lokale minima te halen en naar het globale optimum te leiden.

Methodologie: MotionHint

De auteurs stellen MotionHint voor, een nieuw zelftoezicht-algoritme dat rekening houdt met bewegingsbeperkingen (motion constraints) van het voertuig waarop de camera is gemonteerd (bijv. auto's, drones). De kern van de aanpak is het gebruik van een bewegingsmodel om de prestaties van bestaande Self-Supervised Monocular VO (SSM-VO) systemen te verbeteren.

Het algoritme bestaat uit drie fasen:

1. Pre-training van het originele SSM-VO: Een bestaand SSM-VO-systeem (zoals MonoDepth2 of SC-Depth) wordt vooraf getraind.
2. Pre-training van PPnet (Motion Model):
   • Er wordt een nieuw neurale netwerk ontwikkeld, genaamd PPnet.
   • PPnet is een multivariate tijdsreeks-regressiemodel (gebaseerd op LSTM en lineaire lagen) dat de volgende pose en de bijbehorende onzekerheid voorspelt op basis van een reeks opeenvolgende vorige poses.
   • Training Data: PPnet kan worden getraind met poses gegenereerd door geometrische methoden (zoals ORB-SLAM2) of gesimuleerde data. Het vereist geen ground truth.
   • Technische innovaties in PPnet:
     • Pose Centralization: Om cumulatieve fouten te beperken, wordt het startpunt van de trajecten gereset zodat de invoer binnen een vast bereik blijft.
     • Scale Augmentation: Om schaal-overfitting te voorkomen, worden schalingsfactoren willekeurig toegepast op de invoerposities tijdens het trainen.
     • Uncertainty Modeling: PPnet voorspelt niet alleen de pose, maar ook de onzekerheid (variatie) per dimensie, gebaseerd op een probabilistisch model (general power exponential distribution).
3. Finetuning met Motion Loss:
   • Tijdens de training van het SSM-VO-systeem wordt PPnet gebruikt om een pseudo-label te genereren voor de huidige ego-beweging.
   • PPnet neemt een reeks eerder voorspelde poses als input en voorspelt de volgende pose ($p^m_t$).
   • Er wordt een Motion Loss ($L_{motion}$) berekend als het gewogen verschil tussen de door het SSM-VO voorspelde beweging en de door PPnet gegenereerde pseudo-label.
   • Alleen samples met een lage onzekerheid (hoge zekerheid) van PPnet worden gebruikt voor deze loss.
   • De totale verliesfunctie is een som van de originele verliesfunctie en de motion loss: $L = w_1 L_{origin} + w_2 L_{motion}$.
   • De gewichten ($w_1, w_2$) worden dynamisch bijgesteld met de Multi-Loss Rebalancing Algorithm (MLRA) om te voorkomen dat één loss-term de andere domineert.

Belangrijkste Bijdragen

• MotionHint Framework: Een nieuwe zelftoezicht-methode die bewegingsbeperkingen van voertuigen integreert in monocular VO.
• PPnet: Een speciaal ontworpen netwerk dat een bewegingsmodel leert en de volgende pose én de onzekerheid voorspelt zonder ground truth.
• Oplossing voor Lokale Minima: Door de motion loss toe te voegen, wordt het SSM-VO-systeem uit lokale minima geholpen en dichter bij het globale optimum geleid.
• Flexibiliteit: Het algoritme is ontworpen om eenvoudig toe te passen te zijn op bestaande open-source SSM-VO-systemen.
• Robuuste Training: De introductie van pose centralization en scale augmentation maakt het mogelijk om PPnet te trainen met data van verschillende bronnen (inclusief niet-gepaarde sequenties).

Resultaten

De auteurs hebben MotionHint geëvalueerd op de standaard KITTI-benchmark (sequenties 00-10 voor training/test, 11-21 voor extra data) met twee baselines: MonoDepth2 en SC-Depth.

• Prestatieverbetering: MotionHint verbeterde de prestaties aanzienlijk. De Absolute Trajectory Error (ATE) werd met maximaal 28,73% verlaagd.
• Vergelijking Baselines:
  • Bij MonoDepth2 werd de ATE op sequentie 09 verlaagd van 68,18m naar 54,46m (Unpaired Pose setup).
  • Bij SC-Depth (de huidige state-of-the-art open-source methode) werd de ATE op sequentie 10 verlaagd van 12,42m naar 11,63m.
  • Interessant genoeg presteerde de "Unpaired Pose" setup (waarbij PPnet getraind werd met data van andere sequenties dan de testsequenties) zelfs beter dan de "Ground Truth" setup, waarschijnlijk vanwege de grotere diversiteit aan bewegingspatronen in de trainingsdata.
• Vergelijking met SOTA: Het verbeterde SC-Depth presteerde op sequentie 10 beter dan de gesloten-source methode van Zou et al. (2020) wat betreft ATE, ondanks dat die methode complexere netwerken gebruikt.
• Ablatie Studies:
  • Zonder PPnet (gebruik van alleen ground truth als pseudo-label) verslechterden de resultaten door schaal-inconsistentie.
  • Zonder pose centralization of scale augmentation kon PPnet het bewegingsmodel niet correct leren.
  • De onzekerheidsfiltering en MLRA bleken essentieel voor optimale prestaties.

Betekenis en Conclusie

MotionHint biedt een elegante oplossing voor het probleem van lokale minima in zelftoezicht-visual odometrie. Door gebruik te maken van een leerbaar bewegingsmodel (PPnet) dat de fysieke beperkingen van voertuigen simuleert, kan het systeem betrouwbaardere trajecten voorspellen zonder afhankelijk te zijn van dure ground truth-data.

De methode is bijzonder waardevol omdat:

1. Het plug-and-play is voor bestaande SSM-VO-systemen.
2. Het ground truth niet vereist voor het trainen van het bewegingsmodel (gebruik van geometrische schattingen of simulaties is voldoende).
3. Het de generalisatie verbetert door gebruik te maken van data van verschillende voertuig-sequenties.

De auteurs merken op dat de prestaties nog afhankelijk zijn van de kwaliteit van de gegenereerde poses door ORB-SLAM2 en de parameterkeuze. Toekomstig werk richt zich op het toepassen van de SGP-algoritme (Stochastic Gradient Descent met alternating minimization) om de training van de twee netwerken (SSM-VO en PPnet) verder te optimaliseren.