MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

Dit paper introduceert MolmoSpaces, een volledig open ecosysteem met meer dan 230.000 diverse indoor-omgevingen en 130.000 objecten dat schaalbare benchmarking, training en data-generatie voor robotnavigatie en -manipulatie mogelijk maakt, ondersteund door een benchmarksuite met een sterke correlatie tussen simulatie en de realiteit.

De kern

Stel je voor dat je een robot wilt leren om te koken, de was te doen of de deur te openen. In het verleden was dit als het proberen om een kind te leren zwemmen door het alleen in een klein, perfect rechthoekig badje te zetten. Zodra het kind in een echt zwembad met golven, andere zwemmers en ondiepe plekken terechtkomt, gaat het mis.

Dit is precies het probleem dat robotonderzoekers al jaren hebben: robots zijn goed in simpele, voorspelbare situaties, maar falen als de wereld een beetje "rommelig" of anders wordt.

MolmoSpaces is de oplossing die de auteurs van dit paper hebben bedacht. Het is geen simpele simulator, maar een enorme, open digitale speelwereld voor robots. Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Een oneindige bibliotheek van huizen en spullen

Stel je een bibliotheek voor, maar in plaats van boeken, zitten er 230.000 verschillende huiskamers, keukens en kantoren in.

• Sommige zijn handgemaakt door experts (zoals een perfecte keuken).
• Andere zijn door computers gegenereerd, zodat er oneindig veel variaties zijn: een kamer vol met speelgoed, een rommelige slaapkamer, een museum of een café.
• In deze kamers liggen 130.000 verschillende objecten: van een gewone theepot tot een ingewikkelde deur die je moet openen.

Het is alsof je een robot niet één keer in één keuken laat oefenen, maar hem duizenden keren in een ander huis zet, telkens met een andere indeling en andere spullen. Zo leert de robot echt "generaliseren" in plaats van alleen maar een trucje te onthouden.

2. De "Grijp-Database" (De geheime sleutel)

Het grootste probleem bij robots is vaak: "Hoe pak ik dit vast?"
MolmoSpaces heeft een enorme database met 42 miljoen berekende grijppunten.

• Denk aan een robot die een blikje pils moet pakken. De database zegt: "Pak het hier vast, niet daar, want dan glijdt het."
• Ze hebben dit zelfs voor de rare dingen gedaan: deksels van potten, deuren van koelkasten, en zelfs deksels die je moet draaien.
• Dit is als een robot die een onzichtbare handleiding heeft voor elke mogelijke manier om iets vast te houden, voordat hij het zelfs maar heeft geprobeerd.

3. De "Tijdelijke Wereld" (Simulatie)

In de echte wereld is het testen van robots duur en traag. Als een robot een vaas breekt, moet je hem vervangen. Als hij vastloopt, moet je hem handmatig resetten.
MolmoSpaces is een superrealistische virtuele wereld (een videospel op steroïden) die werkt op verschillende populaire engines (zoals MuJoCo en Isaac).

• De magie: Wat er in deze digitale wereld gebeurt, is bijna 100% hetzelfde als in de echte wereld. Als een robot in de simulatie 90% van de tijd succesvol een kopje pakt, zal hij in de echte wereld ook ongeveer 90% van de tijd slagen.
• Dit betekent dat onderzoekers robots duizenden keren per dag kunnen laten oefenen zonder dat er ooit iets breekt.

4. De "Examens" (Benchmarks)

Om te zien of een robot echt slim is, hebben ze MolmoSpaces-Bench gemaakt. Dit is een reeks van 8 verschillende "examens":

• Navigeren: "Ga naar de koelkast."
• Pakken: "Pak de appel."
• Plaatsen: "Zet de appel in het mandje."
• Openen: "Open de la."
• Kleuren: "Pak de rode kop, niet de blauwe."

Ze testen hierop de slimste robots van vandaag (zoals die van Google en andere labs). Het resultaat? De nieuwe robots doen het beter dan de oude, maar ze zijn nog steeds kwetsbaar. Als je de instructie net iets anders zegt (bijvoorbeeld "pak de beker" in plaats van "pik de beker"), faalt de robot soms. Dit laat zien dat robots nog niet echt "begrijpen" wat we zeggen, maar vooral patronen herkennen.

Waarom is dit belangrijk?

Vroeger waren robot-experimenten als het testen van een auto op een rechte, lege weg. Je wist niet of hij kon rijden in de regen of op een modderpad.

MolmoSpaces is als het bouwen van een gigantisch, digitaal testcentrum met:

• Regen, sneeuw en modder (verschillende lichtomstandigheden en rommel).
• Onverwachte obstakels (andere mensen of dieren).
• Elke denkbare auto-indeling (verschillende robotarmen).

Door robots hier te trainen, hopen de onderzoekers dat we binnenkort robots krijgen die niet alleen in een laboratorium werken, maar ook echt kunnen helpen in onze eigen, rommelige huiskamers. Ze maken de weg vrij voor robots die echt "algemeen intelligent" zijn, in plaats van alleen maar één trucje te kunnen.

Kortom: MolmoSpaces is de "school" waar robots leren om niet alleen te bestaan in een perfecte wereld, maar om te overleven in onze echte, chaotische wereld. En het beste van alles? Het is gratis en openbaar voor iedereen om te gebruiken.

Technische samenvatting

Probleemstelling

Het op grote schaal inzetten van robots vereist robuustheid tegen de "lange staart" van alledaagse situaties. Bestaande robotbenchmarks zijn vaak beperkt in schaal en diversiteit; ze focussen op korte taken in enkele, zorgvuldig geselecteerde scènes en missen de enorme variatie in indeling, objectgeometrie en taakspecificaties die kenmerkend zijn voor de echte wereld.

• Schaal en Diversiteit: Fysieke evaluaties zijn te duur, traag en moeilijk reproduceerbaar om de volledige verdeling van mogelijke omgevingen te testen.
• Simulatiebeperkingen: Bestaande simulatoren bieden vaak slechts tientallen scènes, ontberen realistische fysica of ondersteunen slechts een smal scala aan taken.
• Generalisatie: Er is een gebrek aan infrastructuur om te evalueren hoe goed robotbeleid (policies) generaliseert naar nieuwe objecten, ruimtelijke configuraties en lange-termijn taken zonder specifieke fine-tuning.

Methodologie: Het MolmoSpaces Ecosysteem

De auteurs introduceren MolmoSpaces, een volledig open ecosysteem dat is ontworpen om robuuste evaluatie en training van robotbeleid op grote schaal mogelijk te maken. Het ecosysteem is simulator-onafhankelijk en ondersteunt populaire platforms zoals MuJoCo, IsaacSim en ManiSkill.

De kerncomponenten zijn:

1. MolmoSpaces-Scenes (Omgevingen):

   • Bevat meer dan 230.000 diverse binnenomgevingen.
   • Deze variëren van handgemaakte huishoudelijke scènes tot procedueel gegenereerde huizen met meerdere kamers.
   • Genereerd via pipelines die voortbouwen op AI2-THOR, ProcTHOR en Holodeck, waarbij LLM's worden gebruikt voor het genereren van diverse scene-types (bijv. musea, kantoren, cafés).
   • Alle scènes zijn getuned voor fysieke stabiliteit (geen zwevende objecten, realistische wrijving) en zijn gevalideerd in de simulatoren.

2. MolmoSpaces-Objects (Objecten):

   • Een dataset van meer dan 130.000 hoogwaardige 3D-objectmodellen (stijf en gearticuleerd).
   • Bronnen zijn AI2-THOR en een gecureerde subset van Objaverse.
   • Objecten zijn voorzien van rijke semantische en fysieke metadata (massa, dichtheid, kanonieke poses).
   • Inclusief 22 categorieën gearticuleerde objecten (deuren, koelkasten, laden) met geannoteerde gewrichten.

3. MolmoSpaces-Grasp (Grijpdata):

   • Een uitgebreide dataset met meer dan 42 miljoen geannoteerde grijpposities over 48.000 interactieve objecten.
   • De pipeline genereert 6-DoF grijpposities voor zowel stijve als gearticuleerde objecten, met een focus op robuustheid (testen op slippen en botsing).
   • Specifieke aandacht voor "in-situ" validatie: grijpen wordt getest binnen de context van de scène om botsingen met meubilair te detecteren.

4. MolmoSpaces-Bench (Benchmark):

   • Een benchmark-suite met 8 basistaken: navigeren, oppakken, plaatsen, plaatsen naast, kleuren-gebaseerd plaatsen, openen, sluiten en deur openen.
   • Ontworpen voor zero-shot evaluatie (geen fine-tuning op de benchmark-data).
   • Bevat zowel statische als mobiele manipulatie, inclusief lange-horizon taken gegenereerd door LLM's.

5. Infrastructuur en Tools:

   • Modulaire opzet voor het combineren van scènes, robots (bijv. Franka FR3, Rainbow RB-Y1), camera's en taken.
   • Ondersteuning voor verschillende robotconfiguraties (statisch, mobiel, bimanueel).

Belangrijkste Bijdragen

• Schaal en Openheid: Het grootste tot nu toe beschikbare open ecosysteem voor robotonderzoek, met 230k+ scènes en 130k+ objecten, volledig open-source.
• Fysieke Realisme: Unieke integratie van hoogwaardige fysica (MuJoCo/Isaac/ManiSkill) met een enorme diversiteit aan scènes en objecten, inclusief 42M grijpposities met ground-truth validatie.
• Zero-Shot Evaluatie: Een benchmark die specifiek is ontworpen om de generalisatiecapaciteit van Vision-Language-Action (VLA) modellen te testen zonder taakspecifieke training.
• Sim-to-Real Correlatie: Het ecosysteem is ontworpen om sterke correlatie te hebben met de echte wereld, wat fysieke experimenten deels kan vervangen of aanvullen.

Resultaten

De auteurs hebben diverse state-of-the-art (SOTA) modellen getest, waaronder VLA-modellen (π0, π0-FAST, π0.5) en CAP-modellen, evenals navigatie-modellen (RING, DualVLN).

• Sim-to-Real Correlatie: Er is een zeer sterke correlatie gevonden tussen simulatie-resultaten en prestaties in de echte wereld (RoboArena).
  • Voor de "pick"-taak: Pearson R = 0.96 en Spearman ρ = 0.98.
  • Dit bevestigt dat MolmoSpaces een betrouwbare proxy is voor real-world prestaties.
• Modelvergelijking: Nieuwere en sterkere zero-shot policies presteren beter dan eerdere versies, maar vertonen nog steeds kwetsbaarheden.
• Sensitiviteitsanalyse:
  • Prompt-fase: Kleine veranderingen in de instructieformulering kunnen leiden tot significante dalingen in succespercentages (vooral bij eerdere generatie modellen).
  • Initiële posities: Afwijkingen van de standaard startpositie van de robot (joint positions) leiden tot prestatieverlies.
  • Camera-occlusie: Modellen zijn sterk afhankelijk van de pols-camera (wrist camera); occlusie hiervan laat de succesratio van π0.5 dalen tot 2%, terwijl occlusie van de derde-persoonscamera minder impact heeft.
  • Licht: Veranderingen in lichtintensiteit hebben weinig effect, waarschijnlijk door data-augmentatie tijdens training.

Betekenis en Impact

MolmoSpaces biedt een fundamentele basis voor de volgende generatie robotonderzoek:

1. Versnelling van Onderzoek: Door het openbaar maken van data en tools kunnen onderzoekers nu generalisatie testen op een schaal en diversiteit die eerder onmogelijk was zonder enorme fysieke investeringen.
2. Betrouwbaarheid: De sterke sim-to-real correlatie maakt het mogelijk om beleid veilig en snel te valideren in simulatie voordat het in de echte wereld wordt ingezet.
3. Inzicht in Falen: Het ecosysteem stelt onderzoekers in staat om systematisch te analyseren waarom robots falen (bijv. door specifieke camera-standpunten of taalnuances), wat leidt tot betere algoritmen.
4. Toekomstperspectief: Het platform ondersteunt toekomstig werk op het gebied van schaalbare datageneratie en versterkend leren (RL) voor robot-foundation modellen.

Kortom, MolmoSpaces vult een kritieke kloof in het robotonderzoek door een brug te slaan tussen de beperkte schaal van huidige benchmarks en de complexe, lange staart van de realiteit, met een sterke focus op openheid en reproduceerbaarheid.