AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation

Imaginez un robot entrant dans une pièce qu'il n'a jamais vue, chargé de trouver un objet spécifique basé sur une description parlée comme « le tabouret sous le tableau ». Pendant des décennies, les robots ont résolu cela en construisant une carte mathématique précise du monde à l'aide de lasers et de caméras, puis en cherchant dans cette carte des noms d'objets préprogrammés. Cela fonctionnait bien pour trouver une « chaise » ou une « table », mais cela échouait lorsque les instructions devenaient créatives ou spécifiques, telles que « la chaise rouge près de la fenêtre ». Le vocabulaire du robot était figé ; il ne pouvait pas comprendre de nouvelles descriptions. Récemment, de puissants modèles d'intelligence artificielle sont apparus, capables de regarder une image et de comprendre presque n'importe quelle description qu'un humain pourrait donner. Cependant, ces modèles sont excellents en langage mais très mauvais en mathématiques. Ils peuvent vous dire ce qu'est un objet, mais ils devinent souvent de manière totalement erronée lorsqu'on leur demande à quelle distance il se trouve ou exactement où se déplacer pour l'atteindre. Si un robot repose entièrement sur un tel modèle pour naviguer, il pourrait foncer avec assurance vers un endroit qui n'existe pas, parce que le modèle a inventé une distance qui n'est pas réelle.

Les chercheurs derrière ce travail, connus sous le nom d'AnchorVLN, ont abordé ce problème en créant un système qui sépare strictement ce que le robot sait de la façon dont il se déplace. Ils ont réalisé que la meilleure approche consiste à laisser l'intelligence artificielle gérer le langage et l'identification des objets, tandis que les capteurs physiques du robot gèrent la mesure de la distance et de la direction. Ils ont construit un système où l'IA agit comme un guide qui indique « ce qu'il faut » chercher, mais ne tente jamais de dire « à quelle distance » aller. Au lieu de cela, le système utilise un ensemble d'outils numériques qui traduisent les descriptions de l'IA en coordonnées physiques en utilisant les données laser réelles de l'environnement du robot. Cela garantit que le robot n'agit jamais sur un nombre inventé. Le système a été testé dans un défi impliquant quinze scènes intérieures différentes, où le robot devait suivre trente instructions complexes et répondre à quarante-cinq questions sur l'emplacement d'objets. Les résultats ont montré que lorsque le système utilisait cette séparation des tâches, il suivait les instructions avec succès 64,4 % du temps. Lorsque les chercheurs ont supprimé la partie qui vérifiait les distances physiques, le taux de réussite a chuté de manière significative. De plus, lorsqu'on lui demandait de pointer l'emplacement exact d'un objet, le système utilisant des capteurs réels était bien plus précis qu'un système qui essayait de deviner l'emplacement, réduisant l'erreur moyenne pour trouver le centre d'un objet de plus de trois mètres à moins de deux mètres et demi.

Le cœur de cette réussite est une nouvelle façon de connecter le cerveau du robot à son corps. Les chercheurs ont conçu un protocole de communication où l'intelligence artificielle ne peut parler qu'en phrases et en noms, jamais en nombres. Lorsque le robot voit une photo d'une pièce, l'IA peut identifier un « tabouret » et lui donner un nom temporaire, comme « objet sept ». L'IA demande ensuite au système de trouver le tabouret. Le système ne demande pas à l'IA à quelle distance se trouve le tabouret. Au lieu de cela, le système regarde le propre scanner laser du robot, qui mesure la distance réelle jusqu'au sol et aux murs. Il trouve le tabouret dans les données laser, calcule la distance réelle et dit au robot de se déplacer vers ce point spécifique. Si l'IA essaie de deviner une distance, le système ignore simplement le nombre car les outils qu'il utilise ne sont pas programmés pour les accepter. Cela force le robot à compter sur ses propres sens pour le mouvement, tout comme un humain compterait sur ses yeux pour juger la distance tout en écoutant les directions d'un ami. Le robot peut toujours comprendre des instructions complexes, telles que « va à la chaise la plus proche de la télévision », car le système peut comparer les distances réelles de toutes les chaises qu'il a vues par rapport à la télévision, plutôt que de demander à l'IA de faire le calcul.

Cette approche résout également le problème du robot qui reste bloqué ou qui se déplace vers un espace vide. Si l'IA ne trouve pas un objet, le système ne force pas le robot à deviner. Au lieu de cela, il dit au robot de se déplacer vers un nouvel endroit où il pourrait avoir une meilleure vue. Le robot scanne alors à nouveau la zone, et le système met à jour sa liste d'objets interne. Cette liste est comme une mémoire croissante de la pièce, où chaque objet que le robot voit est enregistré avec sa taille et sa position réelles. Si le robot voit le même objet sous un angle différent, le système met à jour l'enregistrement pour rendre la forme plus précise, plutôt que de créer une nouvelle entrée confuse. Cela permet au robot de construire une compréhension fiable de l'espace au fil du temps, même s'il commence sans carte et sans connaissance préalable de la pièce. Les chercheurs ont constaté que cette méthode permettait au robot de naviguer avec succès dans des environnements qu'il n'avait jamais visités auparavant, sans avoir besoin d'être reprogrammé pour chaque nouvelle pièce ou chaque nouveau type d'objet.

L'étude souligne un changement fondamental dans la façon dont les robots interagissent avec le monde. Au lieu d'essayer de faire en sorte qu'un seul modèle d'intelligence artificielle fasse tout, de la compréhension du langage au calcul de la physique, les chercheurs ont construit une équipe où chaque partie fait ce pour quoi elle est la meilleure. L'intelligence artificielle gère la créativité et le langage, tandis que les capteurs du robot gèrent la précision et le mouvement. Cette division du travail empêche le robot de commettre des erreurs dangereuses basées sur des suppositions confiantes. Les résultats du défi montrent que cette méthode n'est pas seulement une idée théorique, mais une solution pratique qui fonctionne dans des scénarios réels. En gardant le langage et les mathématiques séparés, le robot peut suivre des instructions complexes et trouver des objets avec un niveau de précision qui était auparavant impossible pour les systèmes reposant sur un modèle unique. Le travail suggère que pour que les robots puissent véritablement naviguer dans le monde imprévisible des humains, ils doivent faire confiance à leurs propres sens pour les chiffres rigoureux, tout en laissant l'intelligence artificielle les guider par les mots.