Beyond Relative Geometry: Metric-Aware Geometry Perception for Robotics

Les robots qui se déplacent dans notre monde sont confrontés à un casse-tête fondamental : comment transformer ce qu'ils voient en ce qu'ils peuvent faire. Pendant des années, les systèmes d'intelligence artificielle sont devenus remarquablement doués pour reconnaître des objets et comprendre des scènes à partir d'images plates, tout comme un humain regardant une photographie. Cependant, voir la photo d'une tasse est très différent de tendre la main pour la saisir. Pour interagir avec le monde physique, une machine a besoin de plus qu'une simple carte visuelle ; elle doit savoir exactement à quelle distance se trouvent les choses et quelle est leur taille réelle. Sans ce sens précis de l'échelle, un robot pourrait penser qu'un petit jouet est une grande boîte, ou qu'une porte se trouve à seulement quelques centimètres alors qu'elle est en réalité à plusieurs pieds de distance. Ce fossé entre voir et connaître la taille réelle des choses a longtemps été un obstacle pour donner aux robots la dextérité nécessaire à des tâches complexes comme ranger une pièce ou assembler des meubles.

Une équipe de chercheurs a développé une nouvelle approche pour combler ce fossé, créant un système qui permet aux robots de percevoir le monde en dimensions réelles et mesurables plutôt qu'en formes relatives. Leurs travaux, connus sous le nom de MAGP (Metric-Aware Geometry Perception), apprennent aux machines à reconstruire des scènes tridimensionnelles avec un sens de l'échelle cohérent, garantissant qu'une chaise paraisse de la même taille que le robot la regarde par la gauche, par la droite ou de face. En ancrant la vision du robot à des mesures physiques réelles, le système permet des mouvements plus fiables et précis, transformant des suppositions spatiales vagues en données concrètes et exploitables.

Pendant longtemps, les meilleurs modèles de vision par ordinateur ne pouvaient construire qu'une carte « relative » d'une scène. Imaginez regarder la photo d'une pièce où les meubles semblent avoir la bonne forme et la bonne position, mais vous n'avez aucun moyen de savoir si le canapé mesure deux mètres ou deux centimètres. Le modèle comprend les relations entre les objets — la lampe est sur la table, la table est sur le sol — mais il ne peut pas leur attribuer une taille réelle. Cela fonctionne très bien pour identifier ce qui se trouve dans une pièce, mais cela échoue lorsqu'un robot doit bouger son bras. Si la carte interne du robot indique qu'un passage est assez large pour le traverser, mais que cette mesure est basée sur une supposition plutôt que sur une véritable règle, le robot pourrait percuter le mur. Le problème est que les caméras standard capturent la perspective, où les objets lointains paraissent plus petits et les objets proches plus grands, ce qui rend facile pour un ordinateur de se tromper sur l'échelle s'il se repose uniquement sur l'image elle-même.

Les chercheurs ont constaté que les méthodes existantes ignoraient souvent les indices spécifiques qui indiquent à une caméra de combien elle s'est déplacée ou quelle est la profondeur d'une scène. Au lieu de cela, elles avaient tendance à deviner la taille des objets en fonction de leur apparence, comme supposer qu'une tasse à café est de taille standard parce qu'elle ressemble à une tasse. Cette approche est fragile ; si l'éclairage change ou si le robot voit l'objet sous un angle inhabituel, la supposition peut être totalement erronée. Le nouveau système, MAGP, a été conçu pour cesser de deviner et commencer à mesurer. Il y parvient en forçant l'ordinateur à prêter attention aux données physiques fournies par les capteurs du robot, comme la distance parcourue par la caméra entre deux clichés ou les informations de profondeur provenant d'un scanner laser.

Pour apprendre au système à se fier à ces indices physiques plutôt qu'à des suppositions visuelles, les chercheurs ont utilisé une technique d'entraînement ingénieuse. Ils ont pris des scènes et ont artificiellement modifié l'échelle des mesures de distance et des mouvements de la caméra tout en gardant les images exactement identiques. Si le modèle interne du robot se contentait de deviner en fonction de l'aspect de la scène, il échouerait à s'adapter. Mais parce que le système a été entraîné à suivre les changements de chiffres, il a appris à mettre à jour sa carte mentale de la taille de la pièce chaque fois que les données physiques changeaient. Ce processus, appelé augmentation d'équivariance d'échelle métrique (metric scale equivariant augmentation), a appris au modèle que si la caméra se déplace deux fois plus loin, la pièce doit être deux fois plus grande, peu importe l'apparence des objets.

Le résultat est un robot qui voit le monde avec une règle constante. Lors de tests utilisant des ensembles de données réels de pièces et d'objets, le nouveau système a réduit l'erreur de mesure des distances de plus de deux mètres à seulement sept centimètres. C'est une amélioration massive, transformant une estimation floue et incertaine en une mesure nette et fiable. Le système fonctionne même lorsqu'un robot possède différents types de capteurs ou lorsque certaines données sont manquantes, s'adaptant à l'information disponible pour construire une image cohérente de l'espace.

Lorsque ce nouveau système de perception a été intégré dans un logiciel de contrôle de robot réel, la différence de performance a été évidente. Sur un ensemble de tâches standards impliquant le déplacement d'objets, les robots utilisant le système sensible à la métrique ont réussi plus souvent que ceux utilisant les anciennes méthodes. Dans un test spécifique impliquant un robot doté de deux bras travaillant de concert, le taux de réussite a bondi de plus de six points de pourcentage. Les robots étaient plus aptes à savoir exactement où placer leurs pinces et jusqu'où tendre le bras, ce qui a conduit à moins d'erreurs et à des mouvements plus fluides. Même lorsque les robots ont été testés sur des tâches qu'ils n'avaient jamais rencontrées, le système les a aidés à s'adapter rapidement, montant qu'une véritable compréhension de l'échelle est un outil puissant pour l'intelligence générale.

Ce travail suggère que pour que les robots maîtrisent véritablement le monde physique, ils doivent cesser de traiter l'environnement comme une image plate et commencer à le traiter comme un espace mesurable. En ancrant leur vision dans des dimensions réelles, ces machines peuvent passer de la simple reconnaissance d'objets à l'interaction avec eux, avec la confiance et la précision d'une main humaine. Les chercheurs ont démontré que lorsqu'un robot sait exactement quelle est la taille des choses, il peut faire bien plus que simplement les regarder.