CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph

Ce papier présente CuriousBot, un système de robotique mobile qui utilise un graphe d'objets relationnels 3D pour surmonter les limites des méthodes actuelles en permettant une exploration interactive et généralisable au-delà des scènes de table, surpassant ainsi les approches basées uniquement sur les modèles vision-langage.

L'essentiel

🤖 CuriousBot : Le Robot Curieux qui "Pousse" pour Voir

Imaginez que vous entrez dans une pièce sombre et remplie de meubles. Vous cherchez un jouet perdu. Si vous étiez un robot classique, il se contenterait de tourner la tête (sa caméra) pour regarder ce qu'il voit. S'il y a un jouet caché derrière une chaise ou dans un tiroir fermé, le robot classique dirait : "Je ne vois rien, donc ce n'est pas là."

CuriousBot, c'est différent. C'est un robot qui ne se contente pas de regarder ; il agit. Il a une vraie curiosité. S'il soupçonne qu'il y a quelque chose derrière un obstacle, il va pousser l'obstacle. S'il pense qu'il y a un objet dans un tiroir, il va l'ouvrir.

Voici comment il fonctionne, expliqué avec des métaphores simples :

1. Le Problème : Le Robot "Passif" vs Le Robot "Actif"

La plupart des robots d'exploration sont comme des touristes qui prennent des photos : ils regardent autour d'eux pour remplir une carte mentale de la pièce. Mais ils ne touchent à rien.

• Le problème : Dans une vraie maison, les objets se cachent les uns les autres (sous une table, dans un placard, derrière un carton). Un robot qui ne fait que regarder ne trouvera jamais ces objets.
• La solution de CuriousBot : Il agit comme un détective privé. Au lieu de juste regarder, il interagit. Il pousse, tire, soulève et ouvre pour révéler ce qui est caché.

2. La Magie : Le "Carnet de Dessins 3D" (Le Graphe Relationnel)

Comment le robot sait-il quoi faire ? Il ne se fie pas seulement à ses yeux. Il construit en temps réel un carnet de dessins 3D intelligent qu'on appelle un "Graphe Relationnel d'Objets".

Imaginez que ce carnet est une carte au trésor, mais avec des liens magiques entre les objets :

• Il ne voit pas juste "une chaise". Il note : "Il y a une chaise, et derrière elle, il y a un espace vide que je ne peux pas voir."
• Il note : "Il y a un placard, et à l'intérieur, il y a peut-être un jouet."
• Il note : "Il y a un tissu, et sous lui, il y a quelque chose."

Ce carnet contient deux types d'informations :

1. Ce que c'est (C'est une chaise, c'est un jouet).
2. Où c'est et comment c'est caché (Derrière, dedans, sous).

3. Le Cerveau : Le Chef d'Orchestre (LLM)

Une fois que le robot a dessiné sa carte, il envoie ces informations à un "cerveau" très intelligent (un modèle de langage, comme une version très avancée de ChatGPT).

Ce cerveau lit le carnet et dit : "Ah ! Il y a un jouet caché derrière la chaise. La meilleure action n'est pas de tourner autour, mais de pousser la chaise !".
Le robot reçoit alors l'ordre : "Pousser la chaise".

4. Les Bras et les Jambes : Les Outils (Compétences de Bas Niveau)

Le cerveau donne l'ordre, mais ce sont les "mains" du robot qui exécutent. CuriousBot possède une boîte à outils de gestes simples :

• Pousser (pour déplacer une chaise et voir derrière).
• Ouvrir (pour regarder dans un placard).
• Soulever (pour voir sous un tissu).
• Se rasseoir (pour regarder sous une table basse).
• Retourner (pour voir ce qu'il y a dans une boîte ouverte).

5. Le Résultat : Une Exploration Complète

Dans les tests, les chercheurs ont mis CuriousBot dans des pièces avec des jouets cachés partout.

• Les robots classiques (qui ne font que regarder) ont raté la plupart des objets.
• CuriousBot, lui, a réussi à trouver presque tous les objets en poussant les obstacles, ouvrant les portes et soulevant les tissus.

En Résumé

Imaginez un enfant curieux qui entre dans une chambre en désordre. Il ne s'assoit pas simplement pour regarder. Il ouvre les tiroirs, soulève les coussins et pousse les cartons pour voir ce qui se cache dessous.

CuriousBot est ce robot enfant. Grâce à sa capacité à construire une carte mentale des relations entre les objets (ce qui est caché derrière quoi) et à utiliser un cerveau intelligent pour planifier ses actions, il peut explorer le monde réel bien mieux que n'importe quel robot précédent. Il ne se contente pas de voir le monde ; il le manipule pour le comprendre.

Résumé technique

Voici un résumé technique détaillé de l'article "CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph", publié dans les IEEE Robotics and Automation Letters.

1. Problématique

L'exploration mobile reste un défi majeur en robotique, particulièrement dans des environnements domestiques complexes caractérisés par de nombreuses occlusions (objets cachés dans des armoires, sous des meubles, ou derrière d'autres obstacles).

• Limites des approches actuelles : La plupart des méthodes existantes se concentrent sur l'active perception (déterminer la meilleure position de caméra pour minimiser les espaces inconnus) et négligent l'active interaction (décider où et comment interagir physiquement pour révéler des espaces cachés).
• Défis spécifiques : Les travaux antérieurs sur l'interaction active (comme RoboEXP) sont souvent limités aux scènes de type "table" (tabletop), ne pouvant pas gérer les défis du monde réel mobile : grands espaces d'exploration, relations spatiales complexes (sous, derrière, à l'intérieur) et un espace d'actions étendu (navigation + manipulation).

2. Méthodologie

Les auteurs proposent CuriousBot, un système robotique mobile capable d'explorer activement son environnement en construisant et en exploitant un Graphe Relationnel d'Objets 3D Actionnable (Actionable 3D Relational Object Graph). Le système est composé de quatre modules principaux (voir Figure 2 de l'article) :

A. Représentation : Le Graphe Relationnel 3D Actionnable

Contrairement aux graphes d'objets statiques, cette représentation encode :

• Nœuds d'objets : Informations sémantiques (étiquettes) et géométriques (nuages de points, normales).
• Arêtes relationnelles : Relations directionnelles complexes entre les objets (ex: inside, on, under, behind, of).
• Carte de voxels : Un maillage 3D fixe classifiant les voxels en inexploré, libre, inconnu (occlus) ou extérieur. Cela permet de déduire les zones d'obstruction et de planifier des actions pour les révéler.
• Actionnabilité : Le graphe est conditionné par les actions. Par exemple, une action "pousser" peut révéler un espace "derrière" un objet.

B. Pipeline de Traitement

1. SLAM (Localisation et Cartographie Simultanées) : Utilise des observations RGB-D et l'odométrie du robot (via RTAB-Map) pour estimer la pose de la caméra.
2. Constructeur de Graphe :
   • Détecte et segmente les objets en temps réel en utilisant des modèles de fondation (YOLO-World pour la détection, SAM pour la segmentation).
   • Associe les nouvelles observations aux nœuds existants via la cohérence des étiquettes et l'IoU (Intersection over Union) des nuages de points.
   • Établit les relations spatiales en combinant les informations géométriques (boîtes englobantes 3D) et les résultats des interactions (ex: si une porte est ouverte, l'espace à l'intérieur devient accessible).
3. Planificateur de Tâches (LLM) :
   • Le graphe est sérialisé en texte (via un parcours en profondeur) et injecté dans un Grand Modèle de Langage (LLM, ici GPT-4o).
   • Le LLM génère un plan d'action séquentiel basé sur la structure du graphe et les objectifs d'exploration.
4. Compétences de Bas Niveau (Low-Level Skills) :
   • Exécution de primitives d'action : ouvrir (tiroirs/armoires), pousser (chaises/objets lourds), soulever (tissus), retourner (boîtes), s'asseoir (pour voir sous une table), et collecter.
   • Ces compétences utilisent des heuristiques et des contrôles d'impédance pour s'adapter à l'environnement physique.

3. Contributions Clés

1. Le Graphe Relationnel 3D Actionnable : Une nouvelle représentation qui encode non seulement la sémantique et la géométrie, mais aussi les relations d'occlusion et la manière dont les actions modifient l'état de l'environnement.
2. Le Système CuriousBot : Une architecture complète intégrant SLAM, construction de graphe, planification par LLM et exécution de compétences, capable de fonctionner dans des environnements domestiques mobiles complexes.
3. Validation Expérimentale : Une évaluation rigoureuse montrant que le système peut explorer des espaces cachés, gérer des objets articulés, déformables et rigides, et généraliser à travers différentes dispositions de pièces.

4. Résultats Expérimentaux

Les expériences ont été menées sur un robot Boston Dynamics Spot équipé d'une caméra RealSense, dans une pièce de 3m x 4m avec 12 catégories d'objets et 6 dispositions différentes.

• Tâches évaluées : Retourner des boîtes, ouvrir des tiroirs, vérifier sous les objets, pousser des boîtes, soulever des tissus.
• Performance Globale : Le taux de succès global est de 82%.
• Comparaison avec les Baselines :
  • Le système a été comparé à l'utilisation directe de modèles VLM (LLaVa, Gemini, GPT-4o) agissant sur des observations 2D, ainsi qu'à des politiques heuristiques.
  • Résultat : CuriousBot surpasse significativement les baselines (82% vs 32% en moyenne pour les VLM).
  • Analyse : La représentation explicite du graphe 3D permet un raisonnement topologique supérieur par rapport à la mémorisation implicite d'observations 2D par les VLM. Les VLM échouent souvent à comprendre les relations spatiales complexes nécessaires pour l'exploration interactive.
• Analyse des Échecs : Les échecs sont principalement dus à des erreurs de perception (SLAM imprécis, détection d'objets), des erreurs de décision (mauvais choix de compétence par le LLM) ou des échecs d'exécution physique (prise lâche, interférences).

5. Signification et Perspectives

• Avancée Conceptuelle : Ce travail comble le fossé entre l'exploration par perception active et l'exploration par interaction active dans des contextes mobiles. Il démontre que pour explorer efficacement des environnements réels, un robot doit non seulement "voir" mais aussi "manipuler" pour découvrir l'inconnu.
• Généralisation : Le système démontre une capacité de généralisation impressionnante à travers divers types d'objets et de relations spatiales sans nécessiter de marqueurs artificiels.
• Limitations et Futur :
  • L'acquisition des compétences (skills) repose actuellement sur des heuristiques écrites à la main par des experts roboticiens.
  • La mémoire de la scène n'est pas mise à jour dynamiquement après chaque interaction (pas de suivi temporel des objets).
  • Futur : Développer un processus d'acquisition de compétences évolutif et créer une mémoire de scène dynamique pour suivre les objets dans le temps.

En résumé, CuriousBot représente une étape importante vers des robots domestiques autonomes capables de naviguer et d'interagir intelligemment avec des environnements encombrés et partiellement occlus, en utilisant une représentation du monde riche et actionnable.