SuperMap: A Spatio-Temporal SLAM System for Visual-Language Navigation

Les robots qui se déplacent dans nos maisons et nos bureaux sont confrontés à un défi fondamental : le monde n'est pas une exposition de musée statique. C'est un espace vivant où les chaises sont déplacées, les poubelles sont vidées et les gens traversent les portes. Pour qu'une machine puisse naviguer dans cet environnement en toute sécurité et suivre des instructions complexes comme « va à la chaise qui était près de la plante tout à l'heure », elle a besoin de plus qu'un simple cliché de la pièce. Elle nécessite une mémoire qui comprenne non seulement quels objets sont présents, mais aussi comment ils ont bougé, disparu ou changé au fil du temps. C'est le domaine de la cartographie spatio-temporelle, un champ dédié à donner aux robots une compréhension continue et évolutive de leur environnement. Bien que l'intelligence artificielle moderne soit devenue très performante pour reconnaître des objets sur une image unique, assembler ces moments pour en faire un récit cohérent et à long terme s'est avéré difficile. Sans cette capacité, un robot pourrait oublier une chaise vue cinq minutes auparavant ou ne pas remarquer qu'un chariot a été déplacé à un nouvel emplacement, ce qui mènerait à la confusion et à l'échec des tâches.

Des chercheurs de l'Université Carnegie Mellon ont développé un nouveau système appelé SuperMap pour résoudre ce problème. Ce système agit comme une mémoire en temps réel pour les robots, leur permettant de construire une carte détaillée en quatre dimensions d'une pièce qui se met à jour à mesure que le robot se déplace et que l'environnement change. Contra-rément aux méthodes précédentes qui ignoraient les changements au fil du temps ou nécessitaient des heures de traitement hors ligne pour créer une carte, SuperMap fonctionne instantanément pendant que le robot circule. Il combine la mesure précise de la distance et de la position avec la capacité de reconnaître des objets par leur nom, même si le robot n'a jamais vu cet objet spécifique auparavant. Le résultat est une représentation numérique du monde qui sait non seulement où se trouvent les choses, mais aussi où elles étaient, où elles vont et lesquelles ont disparu.

Le cœur de cette réussite réside dans la manière dont le système gère la différence entre un aperçu fugace et un fait durable. Lorsqu'un robot regarde une pièce, sa caméra voit un flux d'images. Par le passé, si un objet était brièvement caché derrière une personne ou un mur, la carte du robot le perdait souvent de vue, faisant comme s'il avait disparu pour toujours. SuperMap évite cela en utilisant une approche axée sur la cohérence. Il vérifie constamment sa vue actuelle par rapport à ce qu'il se souvient. Si une poubelle est visible aujourd'hui mais qu'elle était là hier, le système la conserve dans la carte. Si la poubelle a disparu, le système note sa disparition plutôt que de simplement l'oublier. Cela permet au robot de distinguer un blocage temporaire, comme une personne passant devant un objet, d'un changement permanent, comme un meuble déplacé dans une autre pièce.

Pour construire cette mémoire, le système exécute simultanément trois processus principaux. Premièrement, il utilise des capteurs pour créer un modèle tridimensionnel précis de la pièce, mesurant les distances par rapport aux murs et aux sols avec une grande précision. Deuxièmement, il identifie les objets dans cet espace, en leur attribuant des identités et des noms uniques. Si le robot voit un « seau rouge », il se souvient de ce seau spécifique, et non de l'idée générale d'un seau. Troisièmement, il lie ces objets dans un réseau qui enregistre leurs relations et leur historique. Ce réseau, appelé graphe de scène, permet au robot de répondre à des questions sur le passé. Il peut se rappeler qu'un chariot était autrefois à côté d'une table, même si le chariot a depuis été déplacé. Cette capacité est cruciale pour suivre des instructions qui reposent sur l'historique de la pièce, telles que « retourne à la chaise qui était près de la plante ».

Les chercheurs ont testé ce système dans des environnements intérieurs réels, introduisant des changements délibérés pour voir comment bien le robot s'adaptait. Ils ont ajouté de nouveaux articles comme un seau et un panneau de sécurité, et en ont retiré d'autres comme une plante et une chaise. Lors de ces tests, SuperMap a réussi à suivre l'apparition de nouveaux objets et la disparition des anciens sans perdre sa place ni confondre un objet avec un autre. Il a maintenu l'identité d'une chaise même après qu'elle ait été déplacée hors de vue puis ramenée, un exploit que de nombreux systèmes précédents n'ont pas réussi à accomplir. Le système s'est également révélé capable de gérer des changements à long terme sur une période de dix minutes, une durée significative pour un robot opérant dans un espace dynamique.

Au-delà du simple suivi d'objets, le système permet à un robot de comprendre et d'agir sur des commandes linguistiques. En convertissant la carte 3D complexe en un format structuré qu'un modèle de langage peut lire, le robot peut raisonner sur la pièce. Par exemple, s'il lui est demandé de trouver un objet basé sur sa relation avec un autre, le robot peut retracer les connexions dans sa mémoire pour localiser la cible. Dans les expériences, cette approche a permis au robot de naviguer vers des tableaux blancs spécifiques dans une pièce remplie de tableaux identiques, une tâche qui serait impossible si le robot ne se fiait qu'à des séquences vidéo brutes. Le système y parvient sans avoir besoin de traiter de vastes quantités de données vidéo, en utilisant plutôt la carte compacte et organisée pour prendre des décisions rapidement.

La performance de SuperMap a été mesurée par rapport à d'autres méthodes existantes, et elle a montré des améliorations significatives en termes de vitesse et de précision. Alors que certains autres systèmes nécessitent un traitement hors ligne qui prend des minutes ou des heures pour construire une carte, SuperMap opère en temps réel, mettant à jour sa compréhension aussi vite que le robot se déplace. Il a également surpassé d'autres méthodes dans le suivi d'objets individuels, identifiant et maintenant correctement l'identité des articles, même lorsqu'ils étaient partiellement cachés ou vus sous des angles difficiles. Les chercheurs ont constaté que la capacité du système à croiser les données géométriques avec la reconnaissance visuelle était la clé de son succès, lui permettant de filtrer les erreurs et de maintenir une vision stable du monde.

Ce travail représente un pas en avant pour rendre les robots véritablement utiles dans les environnements humains. En dotant les machines d'une mémoire qui respecte le passage du temps et la fluidité de l'espace, SuperMap permet aux robots de naviguer avec un niveau de conscience qui était auparavant hors de portée. Le système est conçu pour être en open-source, ce qui signifie que d'autres chercheurs peuvent s'appuyer dessus pour créer des robots plus adaptables et plus fiables. À mesure que les robots continuent d'entrer dans nos foyers et nos lieux de travail, la capacité de se souvenir du passé et de comprendre le présent sera essentielle pour qu'ils travaillent efficacement à nos côtés. SuperMap fournit une base pour ce futur, transformant un monde chaotique et changeant en une carte qu'une machine peut comprendre et en laquelle elle peut avoir confiance.