MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

Le papier présente MolmoSpaces, un écosystème ouvert à grande échelle comprenant plus de 230 000 environnements intérieurs diversifiés et des millions de données de préhension, conçu pour permettre le benchmarking robuste, la formation et la génération de données pour les politiques de navigation et de manipulation robotique.

L'essentiel

Imaginez que vous voulez apprendre à un robot à faire le ménage, cuisiner ou ranger votre maison. Le problème, c'est que le monde réel est chaotique. Les cuisines ne sont jamais identiques, les objets ont des formes bizarres, et les instructions que vous donnez peuvent varier à l'infini ("ranger la tasse" n'est pas la même chose que "mets la tasse sur l'étagère").

Jusqu'à présent, les chercheurs testaient ces robots dans des environnements très limités, un peu comme si on apprenait à nager uniquement dans une petite piscine carrée, puis on s'attendait à ce qu'ils survivent dans l'océan. Ça ne marche pas toujours.

C'est là qu'intervient MolmoSpaces.

🌍 Qu'est-ce que MolmoSpaces ? (La "Mega-Cité Virtuelle")

MolmoSpaces est une énorme ville virtuelle ouverte créée par des chercheurs (notamment de l'Institut Allen pour l'IA). C'est un écosystème complet conçu pour entraîner et tester des robots de manière massive.

Voici ses ingrédients principaux, expliqués simplement :

1. Plus de 230 000 maisons différentes : Imaginez une bibliothèque infinie de maisons. Certaines sont faites main, d'autres sont générées par ordinateur. Il y a des cuisines, des salons, des musées, des cafés pour chats, etc. C'est comme si vous pouviez tester votre robot dans une maison à Paris, puis dans un appartement à Tokyo, puis dans une maison de campagne, le tout en une seconde.
2. 130 000 objets riches : Dans ces maisons, il y a des millions d'objets : des tasses, des livres, des portes, des réfrigérateurs. Chaque objet a une "identité" (ce qu'il est) et une "physique" (son poids, sa texture, comment il bouge).
3. 42 millions de poignées de main (Grasps) : C'est le secret. Pour qu'un robot prenne une tasse, il doit savoir où la saisir. MolmoSpaces a calculé 42 millions de façons différentes de saisir ces objets pour qu'ils ne tombent pas. C'est comme avoir un manuel d'instructions pour chaque objet imaginable.

🤖 Comment ça marche ? (Le Terrain de Jeu)

Le génie de MolmoSpaces, c'est qu'il est neutre. Peu importe si vous utilisez un simulateur physique comme MuJoCo, Isaac ou ManiSkill, MolmoSpaces fonctionne partout. C'est comme un jeu vidéo compatible avec toutes les consoles (PlayStation, Xbox, PC).

Les chercheurs utilisent cet outil pour créer MolmoSpaces-Bench, un "examen final" pour les robots. Ils donnent au robot des tâches comme :

• "Va chercher la tasse."
• "Ouvre le frigo."
• "Mets la pomme dans le bol."

Le robot doit réussir ces tâches sans avoir jamais vu ces maisons ou ces objets avant (c'est ce qu'on appelle le "zéro-shot"). C'est comme lui donner un examen surprise dans une maison qu'il ne connaît pas.

📊 Les Résultats : Le "Pont" entre le Virtuel et le Réel

Le plus impressionnant de cette étude, c'est la corrélation.
Les chercheurs ont comparé les résultats des robots dans cette simulation géante avec leurs performances dans le monde réel (avec de vrais robots physiques).

• Le résultat : Il y a une correspondance presque parfaite (96 % de corrélation).
• L'analogie : C'est comme si un pilote d'avion s'entraînait sur un simulateur de vol ultra-réaliste. S'il réussit bien sur le simulateur, il a 96 % de chances de réussir dans le vrai avion. Cela prouve que MolmoSpaces est un test fiable : on n'a plus besoin de construire des robots physiques coûteux pour chaque petit test.

🔍 Ce qu'on a appris (Les "Pépins")

En testant des robots intelligents (basés sur l'IA moderne) dans cet environnement, les chercheurs ont découvert des choses intéressantes :

• La sensibilité aux mots : Si vous changez légèrement la phrase ("ranger la tasse" vs "mets la tasse"), certains robots échouent complètement. Ils sont trop rigides avec le langage.
• La position de départ : Si le robot commence avec son bras légèrement décalé, certains échouent.
• La vue : Si on cache la caméra du poignet du robot, il devient presque aveugle et échoue.

🚀 Pourquoi c'est important pour nous ?

MolmoSpaces est comme un accélérateur de développement.
Au lieu que chaque laboratoire construise sa propre petite maison virtuelle pour tester ses robots, tout le monde peut utiliser cette "Mega-Cité" gratuite et ouverte.

Cela permet de :

1. Entraîner des robots plus robustes qui ne paniquent pas face à un désordre inattendu.
2. Créer des robots généralistes capables de s'adapter à n'importe quelle maison, pas seulement à celle où ils ont été entraînés.
3. Accélérer la recherche en évitant de perdre du temps et de l'argent avec des tests physiques lents et coûteux.

En résumé, MolmoSpaces est le terrain de jeu ultime pour apprendre aux robots à devenir de véritables assistants domestiques, capables de naviguer dans la complexité et la diversité de notre monde réel.

Résumé technique

Titre : MolmoSpaces : Un écosystème ouvert à grande échelle pour la navigation et la manipulation robotiques

1. Problématique

Le déploiement de robots à grande échelle se heurte à la nécessité de gérer la « longue traîne » des situations du quotidien. Les environnements réels présentent une variation infinie en termes de disposition des pièces, de géométrie des objets et de spécifications des tâches.

• Limites des benchmarks existants : La plupart des benchmarks actuels se concentrent sur des compétences à court horizon dans des scènes uniques et limitées, échouant à évaluer la généralisation des politiques robotiques face à la diversité combinatoire du monde réel.
• Déficit d'infrastructure : Évaluer cette généralisation nécessite une infrastructure de test à une échelle et une diversité que l'évaluation physique seule ne peut fournir (coût, temps, reproductibilité).
• Besoin de simulation réaliste : Bien que la simulation offre une voie prometteuse, les simulateurs existants manquent souvent de diversité de scènes, de réalisme physique, ou de support pour des tâches de manipulation articulée à long horizon. De plus, la corrélation entre les résultats en simulation et dans le monde réel (sim-to-real) reste souvent faible.

2. Méthodologie

Les auteurs introduisent MolmoSpaces, un écosystème complet et open-source conçu pour un benchmarking à grande échelle. Il repose sur cinq piliers principaux :

• MolmoSpaces-Scenes (Environnements) :

  • Une collection de 232 000 environnements intérieurs diversifiés.
  • Sources : Scènes artisanales (MolmoSpaces-Scenes-Crafted), générées procéduralement (ProcTHOR), et générées par LLM (MolmoSpaces-Scenes-MultiType) couvrant des types de pièces variés (cuisines, musées, cafés, etc.).
  • Compatibilité multi-simulateurs : Les scènes sont converties et validées pour fonctionner avec MuJoCo, IsaacSim et ManiSkill, garantissant un réalisme physique élevé.
  • Contrôle de qualité : Un pipeline de test physique vérifie la stabilité des objets, l'absence d'intersections, la capacité de levage et l'articulation des objets mobiles.

• MolmoSpaces-Objects (Objets) :

  • Plus de 130 000 modèles d'objets (rigides et articulés) issus d'AI2-THOR et d'Objaverse.
  • Métadonnées riches : Chaque objet possède des informations sémantiques (synsets WordNet), physiques (masse, densité estimées par LLM) et des maillages de collision convexes.
  • Articulation : 22 catégories d'objets (portes, réfrigérateurs, tiroirs) sont annotées avec des informations de joints (type, axe, plage de mouvement).

• MolmoSpaces-Grasp (Prises) :

  • Un jeu de données massif de 42 millions de prises annotées sur 48 000 objets interactifs.
  • Pipeline de génération : Utilisation de l'échantillonnage antipodal et d'une évaluation de robustesse. Pour les objets articulés, la robustesse est définie par la capacité à actionner le joint sur au moins 70% de sa plage tout en maintenant un contact stable.
  • Validation in-situ : Les prises sont testées dans le contexte de la scène (avec géométrie environnante) pour éliminer les collisions et les échecs de levage.

• MolmoSpaces-Bench (Benchmark) :

  • Une suite de 8 tâches de base couvrant la navigation, la manipulation statique et mobile :
    1. Navigate-to (Navigation vers un objet).
    2. Pick (Saisir et soulever).
    3. Pick-and-place (Déposer dans un réceptacle).
    4. Pick-and-place-next-to (Déposer à côté).
    5. Pick-and-place-color (Gestion de la couleur).
    6. Open/Close (Ouvrir/Fermer des meubles articulés).
    7. Open-door (Ouvrir une porte).
  • Évaluation Zero-shot : Les politiques sont évaluées sans fine-tuning spécifique sur les données du benchmark, testant ainsi leur généralisation réelle.

• Infrastructure Modulaire :

  • Support de plusieurs robots (Franka FR3, Rainbow RB-Y1) et de configurations de caméras variées (RealSense, ZED, GoPro).
  • Outils pour la génération de tâches à long horizon via LLM.

3. Résultats Clés

Les expériences menées sur MolmoSpaces-Bench avec des politiques de l'état de l'art (modèles VLA comme $\pi_0$, $\pi_0.5$, CAP, et modèles de navigation comme RING, DualVLN) ont révélé :

• Corrélation Sim-to-Real forte : Il existe une corrélation linéaire très élevée entre les performances en simulation et dans le monde réel pour la tâche de saisie (Pick), avec un coefficient de corrélation de Pearson R = 0.96 et un coefficient de rang de Spearman $\rho$ = 0.98. Cela valide l'utilisation de MolmoSpaces comme proxy fiable pour le monde réel.
• Progression des modèles : Les modèles plus récents (ex: $\pi_0.5$) surpassent systématiquement les versions antérieures, confirmant l'évolution des capacités des politiques généralistes.
• Sensibilité aux perturbations :
  • Phrasé des instructions : De légères variations dans la formulation des prompts (fréquence des verbes dans les données d'entraînement) entraînent des chutes significatives de performance pour certains modèles.
  • Position initiale : Les écarts par rapport à la configuration articulaire initiale par défaut dégradent les performances.
  • Occlusion : La couverture de la caméra poignet est critique ; son occlusion fait chuter le taux de réussite à 2% pour certains modèles.
• Analyse des échecs : Le benchmark permet d'identifier des modes de défaillance spécifiques (ex: dépendance à l'éclairage, angles de caméra, types de prises) qui seraient coûteux à découvrir par des essais physiques.

4. Contributions Principales

1. Écosystème Open-Source à Grande Échelle : La première plateforme unifiée offrant 230k+ scènes, 130k+ objets et 42M+ prises, compatible avec les principaux simulateurs physiques (MuJoCo, Isaac, ManiSkill).
2. Benchmark Rigoureux et Diversifié : MolmoSpaces-Bench évalue les politiques sur une distribution large de tâches, d'objets et d'environnements, incluant des tâches à long horizon générées par LLM.
3. Validation Sim-to-Real : Démonstration empirique qu'une simulation de haute fidélité, correctement configurée, prédit avec une grande précision les performances réelles, réduisant le besoin de tests physiques massifs.
4. Outils d'Analyse de Robustesse : Capacité à tester systématiquement la sensibilité des politiques aux variations de paramètres (lumière, bruit, pose initiale, phrasé), offrant des insights pour l'amélioration des algorithmes.

5. Signification et Impact

MolmoSpaces comble un vide critique dans la recherche en robotique en fournissant l'infrastructure nécessaire pour évaluer et entraîner des robots généralistes capables de gérer la complexité du monde réel.

• Accélération de la recherche : En permettant la génération de données d'entraînement à grande échelle et des évaluations reproductibles, il accélère le développement de politiques robustes.
• Transition vers le monde réel : La forte corrélation sim-to-real offre une confiance accrue pour le transfert des politiques entraînées en simulation vers des robots physiques.
• Communauté : En étant entièrement open-source, il permet à la communauté de construire dessus, de créer ses propres benchmarks et de tester de nouvelles hypothèses sur la généralisation des agents robotiques.

En résumé, MolmoSpaces représente une avancée majeure vers la création de robots véritablement généralistes, en passant d'une évaluation sur des tâches étroites et artificielles à une évaluation sur la diversité et la complexité de la vie quotidienne.