Geometry-aware attention for robust visual odometry

Um die Welt zu navigieren, muss ein Roboter oder ein autonomes Auto wissen, wo es sich befindet und wohin es geht. Es kann sich nicht auf eine Karte verlassen, die es bereits besitzt, da es oft eine neue, unbekannte Umgebung betritt. Stattdessen muss es seine eigene Bewegung bestimmen, indem es beobachtet, wie die Welt an ihm vorbeizieht, während es durch eine Kamera blickt. Dieser Prozess, bekannt als visuelle Odometrie, ist vergleichbar mit einem Menschen, der durch einen dunklen Raum geht und versucht, seinen Pfad zu erraten, indem er die Wände fühlt und beobachtet, wie sich die Möbel in seinem peripheren Sichtfeld verschieben. Jahrzehntelang haben Wissenschaftler versucht, Maschinen dies beizubringen, indem sie ihnen zwei verschiedene Regelsätze gaben. Ein Regelsatz sagt der Maschine, sie solle die gesamte Szene als Ganzes betrachten und darauf achten, wie sich Licht und Farben über das gesamte Bild verschieben. Dies ist gut geeignet, um das große Ganze zu sehen, kann aber verwirrt werden, wenn sich die Beleuchtung ändert oder wenn sich die Kamera zu schnell bewegt. Der andere Regelsatz sagt der Maschine, sie solle sich nur auf scharfe, markante Punkte konzentrieren, wie die Ecke eines Tisches oder einen spezifischen Backstein in einer Wand. Dies ist sehr präzise, versagt aber vollständig, wenn die Wand kahl ist oder das Kameralinsen beschmutzt ist.

Lange Zeit mussten sich Ingenieure zwischen diesen beiden Ansätzen entscheiden und akzeptierten, dass eine Maschine entweder gut darin war, das große Ganze zu sehen, oder gut darin, scharfe Details zu verfolgen, aber selten beides. Diese Einschränkung bedeutete, dass Roboter oft stolperten, wenn sie mit dem Chaos der realen Welt konfrontiert wurden, wie etwa beim Fahren im Regen, beim Gehen durch einen belebten Raum oder beim Fliegen einer Drohne durch einen engen, merkmalsarmen Flur. Ein Team von Forschern aus Brasilien und Kanada hat nun einen neuen Weg vorgeschlagen, um dieses Problem zu lösen. Sie haben ein System entwickelt, das sich nicht entscheiden muss. Stattdessen lernt es, sowohl die breite Sicht auf die Welt als auch die scharfen Details spezifischer Punkte gleichzeitig zu nutzen, indem es sie miteinander verschmilzt, sodass die Schwächen einer Methode durch die Stärken der anderen ausgeglichen werden.

Die Forscher, angeführt von Hudson Bruno und seinen Kollegen, entwickelten eine neue Architektur, die sie DDI-VO nennen. Der Name steht für Deep Direct-Indirect Visual Odometry, was beschreibt, wie das System arbeitet. Es besteht aus zwei Hauptteilen, die parallel arbeiten. Der erste Teil fungt wie ein Beobachter mit Weitwinkelobjektiv. Er betrachtet das gesamte Bildpaar und nimmt den Fluss des Lichts, die Textur des Bodens und die allgemeine Form der Umgebung auf. Dieser Teil ist sehr gut darin, den Kontext zu verstehen, wie zum Beispiel zu wissen, dass ein Auto vorwärts fährt, weil die Straße vor einem heranstirbt, selbst wenn die Straße nass und verschwommen ist. Der zweite Teil fungt wie ein detailorientierter Tracker. Er findet spezifische, scharfe Punkte im Bild, wie die Ecke eines Gebäudes oder ein markantes Muster an einer Wand, und folgt ihnen genau. Dieser Teil ist exzellent darin, exakte Distanzen zu messen, kann sich aber verlieren, wenn die Wand rein weiß ist oder wenn die Kamera zu stark wackelt.

Die Genialität ihres Designs liegt darin, wie diese beiden Teile miteinander kommunizieren. In der Mitte des Systems gibt es einen Mechanismus, der entscheidet, wie viel Vertrauen der Weitwinkelansicht gegenüber den scharfen Punkten in einem gegebenen Moment entgegengebracht werden soll. Stellen Sie sich einen Navigator vor, der durch eine Stadt geht. Manchmal blickt der Navigator auf die gesamte Skyline, um zu wissen, in welche Richtung er schaut. Ein anderes Mal blickt er auf ein bestimmtes Straßenschild, um genau zu wissen, wo er ist. Das neue System macht dies automatisch. Wenn die Kameralinse mit Wassertropfen bedeckt ist, lernt das System, die durch das Wasser verursachten, verschwommenen und verzerrten Punkte zu ignorieren und sich statlich mehr auf die allgemeine Form der Szene zu verlassen. Wenn die Kamera durch einen langen, leeren weißen Flur fliegt, in dem es keine markanten Merkmale gibt, verlagert das System seinen Fokus auf die subtilen Veränderungen im gesamten Bild, anstatt zu versuchen, spezifische Punkte zu finden, die gar nicht existieren. Diese Fähigkeit, den Fokus dynamisch zu wechseln, ermöglicht es der Maschine, selbst dann weiter voranzukommen, wenn die visuellen Bedingungen katastrophal sind.

Um dem System beizubringen, wie es diese Entscheidungen trifft, nutzten die Forscher eine kluge Trainingsstrategie. Sie warfen die Maschine nicht sofort in eine komplexe Fahrsimulation. Stattdessen begannen sie mit einer einfacheren Aufgabe. Sie brachten dem System bei, wie flache Oberflächen, wie ein Blatt Papier oder eine Wand, sich verformen und verändern, wenn sich der Kamerawinkel ändert. Dies ist eine grundlegende geometrische Fertigkeit, die der Maschine hilft zu verstehen, wie Formen sich im Raum zueinander verhalten. Nachdem das System diese grundlegende Geometrie gemeistert hatte, brachten sie ihm die schwierigere Aufgabe bei, genau zu bestimmen, wie sich die Kamera durch eine 3D-Umgebung bewegt. Dieser schrittweise Lernprozess, den die Autoren als „Curriculum“ bezeichnen, stellte sicher, dass das System über ein solides Fundament geometrischen Verständnisses verfügte, bevor es mit der chaotischen Realität von echten Videos konfrontiert wurde.

Die Forscher testeten ihr neues System auf einer Vielzahl anspruchsvoller Datensätze, die unterschiedliche reale Szenarien repräsentieren. Sie verwendeten Daten von Autos, die auf Autobahnen fahren, Drohnen, die durch Innenräume fliegen, und Handheld-Kameras, die sich durch belebte Räume bewegen. In jedem Fall verglichen sie ihr System mit den besten bestehenden Methoden. Die Ergebnisse zeigten, dass während andere Systeme oft dramatisch versagten, wenn die Bedingungen schwierig wurden, blieb das neue System stabil. Beispielsweise behielt das neue System in Tests, bei denen die Kameralinse mit Wasser bedeckt war oder sich die Beleuchtung plötzlich änderte, die genaue Pfadverfolgung bei, während die älteren Methoden den Weg verloren und vom Kurs abdrifteten. Das System war besonders beeindruckend in Innenräumen, in denen es nur wenige markante Merkmale zur Verfolgung gibt – eine Situation, in der traditionelle Methoden normalerweise scheitern.

Die Studie untersuchte auch genau, wie das System seine Entscheidungen traf. Durch die Visualisierung dessen, was das System „sah“, fanden die Forscher heraus, dass es gelernt hatte, Dinge zu ignorieren, die einen menschlichen Beobachter verwirren würden. Wenn die Kamera durch eine Straße mit fahrenden Autos bewegte, lernte das System, sich auf die statischen Straßen und Gebäude zu konzentrieren und die fahrenden Fahrzeuge zu ignorieren, die das Tracking täuschen könnten. Wenn die Linse nass war, lernte es, die durch die Wassertropfen verursachten verschwommenen Stellen zu unterdrücken. Dies deutet darauf hin, dass das System nicht nur Muster auswendig lernt, sondern tatsächlich die zugrunde liegenden Regeln von Geometrie und Bewegung begreift. Es hat gelernt, zwischen dem, was ein zuverlässiger Orientierungspunkt ist, und dem, was nur visuelles Rauschen ist, zu unterscheiden.

Die Ergebnisse legen nahe, dass die Zukunft der Roboternavigation nicht darin liegt, zwischen verschiedenen Arten von Sensoren oder Algorithmen zu wählen, sondern sie intelligent zu kombinieren. Durch die Verschmelzung der breiten, kontextbewussten Sicht mit der präzisen, detailorientierten Sicht haben die Forscher ein System geschaffen, das robust genug ist, um die Unvorhersehbarkeit der realen Welt zu bewältigen. Obwohl das System nicht perfekt ist und auch in extremsten Bedingungen noch vor Herausforderungen steht, stellt es einen bedeutenden Fortschritt dar, um autonome Maschinen sicher und zuverlässig navigieren zu lassen – sei es beim Autofahren, beim Fliegen einer Drohne oder beim Führen eines Roboters durch ein belebtes Krankenhaus. Die Arbeit zeigt, dass wir, indem wir Maschinen lehren, das große Ganze mit den kleinen Details in Einklang zu bringen, Systeme bauen können, die weita viel widerstandsfähiger sind als die Summe ihrer Teile.