Geometry-aware attention for robust visual odometry

Pour naviguer dans le monde, un robot ou une voiture autonome doit savoir où il se trouve et où il va. Il ne peut pas se fier à une carte qu'il possède déjà, car il pénètre souvent dans un nouvel environnement inconnu. Au lieu de cela, il doit déterminer son propre mouvement en observant le monde défiler à travers une caméra. Ce processus, connu sous le nom d'odométrie visuelle, est comparable à une personne marchant dans une pièce sombre qui essaierait de deviner son chemin en tâtonnant les murs et en observant comment les meubles bougent dans sa vision périphérique. Pendant des décennies, les scientifiques ont tenté d'apprendre aux machines à faire cela en leur donnant deux ensembles de règles différents. Un ensemble de règles dit à la machine de regarder l'ensemble de la scène dans sa globalité, en remarquant comment la lumière et les couleurs changent sur toute l'image. C'est utile pour voir l'ensemble du tableau, mais cela peut devenir confus si l'éclairage change ou si la caméra bouge trop vite. L'autre ensemble de règles ordonne à la machine de se concentrer uniquement sur des points nets et distincts, comme le coin d'une table ou une brique spécifique dans un mur. C'est très précis, mais cela échoue complètement si le mur est blanc ou si la lentille de la caméra est sale.

Pendant longtemps, les ingénieurs ont dû choisir entre ces deux approches, acceptant qu'une machine soit soit douée pour voir l'image globale, soit douée pour suivre des détails précis, mais rarement les deux. Cette limitation signifiait que les robots trébuchaient souvent face au chaos du monde réel, comme conduire sous la pluie, marcher dans une pièce bondée ou faire voler un drone dans un couloir étroit et sans relief. Une équipe de chercheurs du Brésil et du Canada a maintenant proposé une nouvelle façon de résoudre ce problème. Ils ont construit un système qui n'a pas à choisir. Au lieu de cela, il apprend à utiliser à la fois la vue large du monde et les détails nets de points spécifiques, en les fusionnant de sorte que les faiblesses d'une méthode soient couvertes par les forces de l'autre.

Les chercheurs, dirigés par Hudson Bruno et ses collègues, ont créé une nouvelle architecture qu'ils appellent DDI-VO. Le nom signifie Deep Direct-Indirect Visual Odometry (Odométrie Visuelle Directe-Indirecte Profonde), ce qui décrit le fonctionnement du système. Il possède deux parties principales qui travaillent en parallèle. La première agit comme un observateur grand-angle. Elle regarde la paire d'images complète, absorbant le flux de lumière, la texture du sol et la forme générale de l'environnement. Cette partie est très efficace pour comprendre le contexte, comme savoir qu'une voiture avance parce que la route s'étend devant elle, même si la route est mouillée et floue. La seconde partie agit comme un traqueur orienté vers les détails. Elle trouve des points spécifiques et nets dans l'image, tels que le coin d'un bâtiment ou un motif distinct sur un mur, et les suit de près. Cette partie est excellente pour mesurer les distances exactes, mais peut se perdre si le mur est d'un blanc pur ou si la caméra tremble trop.

Le génie de leur conception réside dans la manière dont ces deux parties communiquent entre elles. Au milieu du système, il y a un mécanisme qui décide à quel point faire confiance à la vue grand-angle par rapport aux points précis à un moment donné. Imaginez un navigateur qui marche dans une ville. Parfois, le navigateur regarde l'horizon complet pour savoir quelle direction il prend. D'autres fois, il regarde un panneau de signalisation spécifique pour savoir exactement où il se trouve. Le nouveau système fait cela automatiquement. Si la lentille de la caméra est couverte de gouttelettes d'eau, le système apprend à ignorer les points flous et déformés créés par l'eau et s'appuie davantage sur la forme générale de la scène. Si la caméra se déplace dans un long couloir blanc vide sans caractéristiques distinctes, le système déplace son attention vers les changements subtils de l'image entière plutôt que d'essayer de trouver des points spécifiques qui n'existent pas. Cette capacité à changer de focalisation dynamiquement permet à la machine de continuer à avancer même lorsque les conditions visuelles sont terribles.

Pour apprendre au système comment prendre ces décisions, les chercheurs ont utilisé une stratégie d'apprentissage astucieuse. Ils n'ont pas simplement jeté la machine dans une simulation de conduite complexe immédiatement. Au lieu de cela, ils ont commencé par une tâche plus simple. Ils ont appris au système comment les surfaces planes, comme une feuille de papier ou un mur, se déplacent et se déforment lorsque l'angle de la caméra change. C'est une compétence géométrique fondamentale qui aide la machine à comprendre comment les formes se rapportent entre elles dans l'espace. Une fois que le système a maîtrisé cette géométrie de base, ils lui ont ensuite enseigné la tâche plus difficile de déterminer exactement comment la caméra se déplaçait dans un environnement 3D. Ce processus d'apprentissage étape par étape, que les auteurs appellent un « curriculum », a permis de garantir que le système dispose d'une base solide de compréhension géométrique avant de devoir faire face à la réalité désordonnée d'une vidéo du monde réel.

Les chercheurs ont testé leur nouveau système sur une variété de jeux de données exigeants qui représentent différents scénarios du monde réel. Ils ont utilisé des données de voitures circulant sur des autoroutes, de drones volant dans des pièces intérieures et de caméras portées à la main se déplaçant dans des espaces bondés. Dans chaque cas, ils ont comparé leur système aux meilleures méthodes existantes. Les résultats ont montré que, tandis que les autres systèmes échouaient souvent de manière dramatique lorsque les conditions devenaient difficiles, le nouveau système restait stable. Par exemple, lors de tests où la lentille de la caméra était couverte d'eau ou lorsque l'éclairage changeait soudainement, le nouveau système continuait de suivre la trajectoire avec précision, alors que les anciennes méthodes perdaient leur chemin et dérivaient. Le système s'est montré particulièrement impressionnant dans les environnements intérieurs où il y a peu de caractéristiques distinctes à suivre, une situation où les méthodes traditionnelles échouent généralement.

L'étude a également examiné précisément comment le système prenait ses décisions. En visualisant ce que le système « regardait », les chercheurs ont découvert qu'il avait appris à ignorer les éléments qui pourraient tromper un observateur humain. Lorsque la caméra se déplaçait dans une rue avec des voitures en mouvement, le système a appris à se concentrer sur la route et les bâtiments statiques, ignorant les véhicules en mouvement qui pourraient fausser le suivi. Lorsque la lentille était mouillée, il a appris à supprimer les taches floues causées par les gouttelettes d'eau. Cela suggère que le système ne fait pas que mémoriser des motifs, mais qu'il apprend réellement les règles sous-jacentes de la géométrie et du mouvement. Il a appris à distinguer ce qui est un point de repère fiable de ce qui n'est qu'un bruit visuel.

Les conclusions suggèrent que l'avenir de la navigation robotique ne réside pas dans le choix entre différents types de capteurs ou d'algorithmes, mais dans leur combinaison intelligente. En fusionnant la vue large et contextuelle avec la vue précise et orientée vers les détails, les chercheurs ont créé un système assez robuste pour gérer la nature imprévisible du monde réel. Bien que le système ne soit pas parfait et fasse encore face à des défis dans les conditions les plus extrêmes, il représente une avancée significative pour la création de machines autonomes capables de naviguer de manière sûre et fiable, qu'elles conduisent une voiture, fassent voler un drone ou guident un robot à travers un hôpital bondé. Ce travail démontre qu'en apprenant aux machines à équilibrer la vue d'ensemble et les petits détails, nous pouvons construire des systèmes bien plus résilients que la somme de leurs parties.