Retrospective Open-Vocabulary Memory for Long-Term Object Search

Les robots qui se déplacent dans le monde deviennent de meilleurs observateurs, mais ils sont encore très mauvais pour se souvenir de l'endroit où les choses se trouvent habituellement. Imaginez un robot chargé de retrouver une paire de clés égarées dans une maison qu'il a visitée de nombreuses fois. Si le robot ne se souvient que de la toute dernière fois où il a vu les clés, il pourrait chercher au mauvais endroit si les clés ont été déplacées la veille. S'il se contente de compter combien de fois il a vu les clés à un endroit précis, il pourrait être trompé par sa propre malchance : peut-être est-il passé devant la table de la cuisine cent fois sans jamais regarder vers le bas, alors qu'il n'a jeté qu'un seul regard sur le canapé du salon et y a aperçu les clés. Un simple décompte ferait croire au robot que le canapé est le meilleur endroit pour chercher, alors que la table est en réalité l'endroit où les clés se trouvent le plus souvent. C'est le cœur du problème de la recherche d'objets à long terme : distinguer l'endroit où un objet réside réellement de l'endroit où le robot s'est simplement trouvé par hasard.

Pour résoudre cela, des chercheurs de l'Université nationale de Singapour ont développé une nouvelle façon pour les robots de construire une mémoire de leur environnement. Ils appellent ce système ECROM, qui signifie Exposure-Calibrated Retrospective Open-Vocabulary Memory (Mémoire rétrospective à vocabulaire ouvert calibrée par l'exposition). L'équipe a testé ce système lors d'une série de simulations contrôlées dans dix maisons numériques différentes, où les objets étaient déplacés selon des modèles cachés, et où le parcours du robot était délibérément varié afin que certaines surfaces soient vues souvent et d'autres rarement. Ils ont découvert qu'en pesant soigneusement ce que le robot voyait par rapport à la part de surface qu'il avait réellement eu la chance de voir, le robot pouvait apprendre les véritables habitudes des objets. Lorsqu'on lui demandait de trouver des articles pour lesquels il n'avait jamais reçu d'ordre de recherche, ce nouveau système de mémoire aidait le robot à trouver la cible beaucoup plus rapidement et plus de manière plus fiable que les méthodes précédentes.

Le défi relevé par les chercheurs prend racine dans la réalité désordonnée des mouvements des robots. Dans une maison réelle, un robot ne scanne pas chaque centimètre de chaque pièce avec une clarté parfaite. Il peut traverser une cuisine tout en regardant le plafond, ou passer devant une table à manger partiellement obstruée par une chaise. Si un robot se contente de compter combien de fois il a détecté un « chapeau de paille » sur une table par rapport à un îlot, il pourrait se tromper si le robot a passé plus de temps à regarder l'îlot. Le chapeau peut être sur la table la moitié du temps, mais si le robot n'a regardé l'îlot qu'une seule fois, un simple décompte suggérerait que l'îlot est la demeure du chapeau. Les chercheurs ont réalisé que pour apprendre où les objets apparaissent habituellement, un robot doit séparer la preuve de la présence d'un objet de l'opportunité qu'il a eue de le voir. Une détection manquée n'est significative que si le robot regardait dans la bonne direction ; si le robot regardait ailleurs, l'absence de détection ne nous apprend rien.

Pour tester cette idée, l'équipe a créé un banc d'essai appelé LOOP-Bench, qui se compose de dix environnements domestiques réalistes. Dans ces simulations, ils ont placé des objets comme des tasses, des ciseaux et des chapeaux sur diverses surfaces selon des distributions de probabilité cachées. Certains objets étaient toujours sur la même table, tandis que d'autres se déplaçaient entre quelques endroits, et certains apparaissaient rarement. Crucialement, le parcours du robot à travers ces maisons était généré indépendamment de l'emplacement des objets. Cela signifiait qu'un robot pouvait passer devant une table dix fois sans jamais voir la surface clairement, alors qu'il pouvait ne passer devant un îlot de cuisine qu'une seule fois mais bénéficier d'une vue parfaite. Cette configuration forçait le système de mémoire à découvrir la véritable localisation des objets sans être trompé par les propres schémas de mouvement du robot.

Le nouveau système, ECROM, fonctionne en organisant l'historique du robot sous la forme d'une carte de surfaces, ou « supports », et en enregistrant exactement quelle part de chaque surface était visible lors de chaque passage. Lorsqu'un humain demande plus tard au robot de trouver un article spécifique, le système examine tous les trajets passés. Il ne se contente pas de compter les détections ; il calcule plutôt une probabilité basée sur la quantité de surface qui était exposée à la caméra. Si le robot a vu une surface clairement et n'a pas trouvé l'objet, le système diminue fortement la croyance que l'objet se trouve là. Mais si le robot n'a entrevu qu'un aperçu d'une surface, ou si la vue était obstruée, le système traite l'absence de détection comme un élément neutre, refusant de pénaliser cet endroit. Cela permet au robot de comprendre qu'un objet est probablement sur une surface qu'il a rarement vue, à condition que cette surface soit la seule où l'objet a été aperçu lorsqu'il était visible.

Les résultats de la simulation étaient clairs. Lorsque les chercheurs ont demandé au robot de trouver des objets pour lesquels il n'avait jamais été explicitement informé de la recherche, le nouveau système a surpassé toutes les autres méthodes testées. Il a amélioré la précision de ses prédictions de manière significative et, plus important encore, il a trouvé les objets beaucoup plus rapidement lors de la recherche active. Dans les simulations, le robot utilisant ECROM a trouvé la cible dans environ 59 % de ses tentatives, contre environ 53 % pour la méthode la plus performante suivante. Plus frappant encore, dans une étude de cas spécifique présentée dans l'article, la distance que le robot devait parcourir pour trouver l'objet est passée de 17,8 mètres à seulement 3,2 mètres. Cette efficacité provenait du fait que le robot savait exactement quelles surfaces valaient la peine d'être vérifiées en premier, plutôt que de errer sans but ou de rester bloqué à revisiter des endroits qu'il avait déjà écartés.

Pour s'assurer qu'il ne s'agissait pas d'un simple tour numérique, l'équipe a également testé le système sur un robot physique, un Hello Robot Stretch 3, dans un véritable environnement de bureau. Ils ont effectué le même type de tâche de recherche avec des objets réels comme une tasse rouge, une paire de ciseaux et une boîte de viande en conserve. Le robot devait naviguer dans un espace de 500 mètres carrés, se déplaçant entre les bureaux et les étagères, pour trouver ces articles. Les résultats ont reflété la simulation. Le robot utilisant le nouveau système de mémoire a réussi à trouver les objets dans 14 essais sur 15, tandis que les autres méthodes n'ont réussi que dans 10 ou 11 cas. Le robot physique a également parcouru une distance nettement moindre, couvrant en moyenne 19,4 mètres contre près de 29 mètres pour les autres approches. Cela a prouvé que la logique consistant à séparer l'opportunité d'observation de la présence de l'objet fonctionne même lorsque le robot est confronté à l'éclairage et à l'encombrement imprévisibles du monde réel.

Les chercheurs ont également exploré ce qui se passerait si nous supprimions les parties clés de leur système. Lorsqu'ils ont forcé le robot à supposer qu'il avait vu chaque surface intégralement, même quand il ne l'avait manifestement pas fait, les performances du robot ont chuté. Il a commencé à traiter les détections manquées comme une preuve de l'absence d'un objet, ce qui l'a conduit à ignorer les emplacements corrects. De même, lorsqu'ils ont simplifié le système pour ne regarder que si un objet était vu ou non, ignorant la force de la preuve visuelle, le robot est devenu moins précis. Ces tests ont confirmé que le succès du système reposait sur deux éléments spécifiques : une comptabilité minutieuse de la part de surface qui était réellement visible, et une interprétation nuancée de la force de la preuve visuelle.

Ce travail suggère une voie à suivre pour les robots qui doivent opérer dans des environnements dynamiques et changeants sur de longues périodes. Au lieu de simplement se souvenir de la dernière fois qu'ils ont vu quelque chose, ou de tenir un simple décompte des observations, ces robots peuvent apprendre les habitudes du monde qui les entoure. Ils peuvent comprendre que ce n'est pas parce qu'ils n'ont pas vu de tasse à café sur un comptoir récemment que la tasse n'y est pas ; cela signifie peut-être simplement qu'ils n'ont pas regardé ce comptoir depuis un certain temps. En construisant une mémoire qui respecte les limites de sa propre vision, un robot peut devenir un partenaire plus fiable dans la maison, capable de retrouver des objets perdus même lorsque le monde autour de lui est en constante mutation. Les chercheurs prévoient de rendre leur code et les données de l'évaluation publics, permettant ainsi à d'autres de bâtir sur cette fondation de machines plus intelligentes et plus observatrices.