MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

Die Arbeit stellt MolmoSpaces vor, ein vollständig offenes Ökosystem mit über 230.000 vielfältigen Innenräumen und annotierten Objekten, das eine skalierbare, simulatorunabhängige Benchmarking-Plattform für Roboter-Navigation und -Manipulation bietet und dabei eine starke Sim-zu-Real-Korrelation nachweist.

Das Wesentliche

Stell dir vor, du möchtest einen Roboter wie einen echten Menschen erziehen, damit er in unserer komplexen Welt zurechtkommt. Das Problem ist: Ein Roboter, der nur in einer perfekten, leeren Küche trainiert wurde, wird völlig verwirrt sein, wenn er in eine echte, unordentliche Wohnung kommt, in der die Kaffeetasse auf dem Boden liegt und die Tür klemmt.

Das Papier MolmoSpaces ist im Grunde eine riesige, offene digitale Spielwiese für Roboter, die genau dieses Problem lösen soll. Hier ist die Erklärung in einfachen Worten:

1. Die riesige digitale Welt (Das "Universum")

Bisher hatten Roboter-Forscher oft nur ein paar Dutzend Szenarien zum Üben. Das ist wie ein Schüler, der nur Mathe in einem leeren Raum lernt, aber nie im echten Leben rechnet.
MolmoSpaces baut hingegen über 230.000 verschiedene Innenräume nach.

• Es gibt handgemachte Küchen und Schlafzimmer.
• Es gibt computergenerierte ganze Häuser mit vielen Räumen.
• Es gibt sogar spezielle Orte wie Museen, Cafés oder Werkstätten.
  Stell dir das wie einen riesigen Videospiele-Editor vor, der unendlich viele verschiedene Welten generieren kann, damit der Roboter nie auf die gleiche Situation trifft.

2. Die unzähligen Gegenstände (Das "Requisiten-Regal")

Ein Roboter muss nicht nur durch Räume laufen, er muss Dinge anfassen. In dieser Welt gibt es 130.000 verschiedene Objekte.

• Von einfachen Tassen und Stühlen bis hin zu komplexen Dingen mit beweglichen Teilen (wie Kühlschranktüren oder Schubladen).
• Das Besondere: Jedes Objekt hat eine "Bauanleitung" für die Physik. Der Roboter weiß also genau, wie schwer eine Tasse ist, ob sie zerbrechlich ist und wie man sie am besten greift.
• Es gibt sogar 42 Millionen vorbereitete "Griff-Punkte". Stell dir vor, jemand hat für jedes Objekt schon vorher ausprobiert: "Wenn du hier greifst, rutscht es nicht." Das spart dem Roboter das mühsame Ausprobieren.

3. Der perfekte Trainer (Die "Flugzeug-Simulation")

Früher mussten Forscher Roboter physisch bewegen, um sie zu testen. Das ist teuer, langsam und gefährlich (wenn der Roboter gegen eine Vase fällt).
MolmoSpaces nutzt hochmoderne Physik-Engines (wie MuJoCo oder Isaac).

• Die Analogie: Stell dir vor, du trainierst einen Piloten. Du lässt ihn nicht sofort ein echtes Flugzeug fliegen, sondern nutzt einen Flugsimulator. Wenn er abstürzt, passiert nichts. Er kann tausende Male üben, ohne dass Treibstoff oder Zeit verschwendet werden.
• MolmoSpaces ist dieser Flugsimulator, aber für Roboter, die Dinge greifen, Türen öffnen und herumlaufen.

4. Der Prüfungsraum (Der "Führerschein")

Das Team hat einen Benchmark (eine Art Prüfungsheft) namens MolmoSpaces-Bench erstellt.

• Hier müssen Roboter Aufgaben lösen wie: "Geh zur Küche, hol dir eine Tasse, bring sie zum Tisch und öffne die Kühlschranktür."
• Die Tests sind so realistisch gestaltet, dass die Ergebnisse im Simulator fast zu 100 % mit dem übereinstimmen, was der Roboter in der echten Welt tun würde. Das ist wie ein Simulator-Test für den Führerschein, der so gut ist, dass man danach sofort auf die echte Straße darf.

5. Warum ist das wichtig? (Das "Offene Geschenk")

Das Wichtigste: Alles ist kostenlos und offen.

• Früher hatten nur große Firmen mit viel Geld Zugang zu solchen Trainingsdaten.
• Mit MolmoSpaces kann jeder Forscher (auch Studenten) diese riesige Welt nutzen, um bessere Roboter-Algorithmen zu entwickeln. Es ist wie ein gemeinsames Open-Source-Projekt, bei dem alle zusammenarbeiten, um die Zukunft der Robotik voranzubringen.

Zusammenfassung in einem Satz:

MolmoSpaces ist eine riesige, kostenlose digitale Spielwiese mit Millionen von Gegenständen und Szenarien, die es Robotern erlaubt, durch unendliches Üben in einer Simulation so sicher zu werden, dass sie später in unserer echten, chaotischen Welt wie Profis agieren können.

Technische Zusammenfassung

Problemstellung

Der Einsatz von Robotern im großen Maßstab erfordert eine hohe Robustheit gegenüber der „langen Reihe" (Long Tail) alltäglicher Situationen. Reale Umgebungen weisen eine enorme Vielfalt an Raumlayouts, Objektgeometrien und Aufgabenspezifikationen auf, die in bestehenden Robotik-Benchmarks oft unterrepräsentiert sind.

• Limitationen bestehender Benchmarks: Viele aktuelle Benchmarks konzentrieren sich auf kurze Zeithorizonte in einzelnen Szenen und testen nicht die Fähigkeit von Policies, sich auf komplexe, zusammengesetzte Aufgaben in realistischen, langfristigen Szenarien zu generalisieren.
• Skalierungsproblem: Physische Evaluationen sind teuer, langsam und schwer reproduzierbar. Simulationen bieten zwar Skalierbarkeit, aber viele existierende Simulatoren und Datensätze leiden unter mangelnder physikalischer Realitätsnähe, geringer Szenenvielfalt oder fehlender Unterstützung für manipulative Interaktionen (z. B. Greifen und Öffnen von Objekten).
• Sim-to-Real Gap: Es fehlt an Infrastruktur, die eine starke Korrelation zwischen Simulationsergebnissen und realer Weltleistung bei gleichzeitig hoher Diversität und physikalischer Genauigkeit bietet.

Methodik: Das MolmoSpaces-Ökosystem

MolmoSpaces ist ein vollständig offenes Ökosystem, das darauf abzielt, das Benchmarking von Roboterpolicies im großen Maßstab zu unterstützen. Es besteht aus fünf Hauptkomponenten:

1. MolmoSpaces-Scenes (Szenen):

   • Umfasst über 230.000 diverse Innenräume, von handgefertigten Haushaltszenen bis hin zu prozedural generierten Mehrzimmerhäusern.
   • Die Szenen stammen aus AI2-THOR, ProcTHOR und Holodeck und wurden für physikalische Realitätsnähe in Simulatoren wie MuJoCo, IsaacSim und ManiSkill optimiert.
   • Die Szenen decken eine breite Palette von Layouts und Szenetypen ab (z. B. Küchen, Krankenhäuser, Museen), um die „lange Reihe" realer räumlicher Konfigurationen abzudecken.

2. MolmoSpaces-Objects (Objekte):

   • Enthält über 130.000 hochwertige starre und artikulierbare Objektmodelle (aus THOR und Objaverse).
   • Jedes Objekt ist mit reichhaltigen semantischen und physikalischen Metadaten versehen (Masse, Dichte, Kollisionsmeshes).
   • Die Objekte wurden auf physikalische Stabilität getestet (z. B. keine Drift, korrekte Greifbarkeit, funktionierende Gelenkbewegungen).

3. MolmoSpaces-Grasp (Greifdaten):

   • Bietet einen umfassenden Datensatz mit über 42 Millionen annotierten Greifpositionen für 48.000 interaktive Objekte.
   • Die Pipeline generiert 6-DoF-Greifpositionen für starre Objekte und artikulierbare Objekte (z. B. Türen, Schubladen).
   • Ein entscheidender Schritt ist die in-situ-Validierung: Greifpositionen werden im Kontext der Szene getestet, um Kollisionen mit der Umgebung zu vermeiden und die tatsächliche Greifbarkeit unter Schwerkraft und Reibung zu gewährleisten.

4. MolmoSpaces-Bench (Benchmark):

   • Ein Benchmark-Suite mit 8 Basisaufgaben: Navigation zu einem Ziel, Greifen, Platzieren, Platzieren neben einem Objekt, Farb-basiertes Platzieren, Öffnen, Schließen und Türöffnen.
   • Die Evaluation erfolgt Zero-Shot (ohne feines Tuning auf die Benchmark-Daten), um die Generalisierungsfähigkeit von Modellen zu testen.
   • Unterstützt statische und mobile Manipulation sowie Mehrraum-Aufgaben.

5. Infrastruktur und Modularität:

   • Das System ist simulator-agnostisch und unterstützt gängige Engines.
   • Es bietet modulare Experiment-Komposition (Szenen, Roboter, Kameras, Aufgaben) und Tooling für die Datengenerierung und Reproduzierbarkeit.

Wichtige Beiträge

• Skalierung und Vielfalt: Bereitstellung des bisher größten und vielfältigsten offenen Ökosystems für Robotik-Simulationen mit über 230k Szenen und 130k Objekten.
• Physikalische Genauigkeit: Integration von High-Fidelity-Physik (MuJoCo, Isaac) und umfangreiche Validierungspipelines, um sicherzustellen, dass Objekte und Szenen physikalisch stabil und manipulierbar sind.
• Großskalige Greifdaten: Der erste große Datensatz, der nicht nur Greifpositionen für isolierte Objekte, sondern für Objekte in kontextuellen Szenen mit Validierung gegen Kollisionen bietet.
• Zero-Shot Benchmarking: Einführung eines strengen Benchmarks, der die Leistung von State-of-the-Art-Modellen (wie VLA-Modellen) ohne taskspezifisches Fine-Tuning misst.
• Open Source: Vollständige Offenlegung von Assets, Code und Tools, um die Community zu skalierbarer Datengenerierung und Policy-Training zu befähigen.

Ergebnisse

Die Autoren führten Experimente mit verschiedenen State-of-the-Art-Policies durch, darunter Vision-Language-Action (VLA) Modelle (π-Familie: π0, π0-FAST, π0.5) und klassische Baselines.

1. Sim-to-Real-Korrelation:

   • Es wurde eine starke Korrelation zwischen der Leistung in der Simulation und der realen Welt festgestellt (Pearson $R \approx 0.96$, Spearman $\rho \approx 0.98$ für Greifaufgaben).
   • Dies validiert, dass MolmoSpaces ein zuverlässiger Proxy für reale Robotik-Performance ist.

2. Modellvergleich:

   • Neuere und leistungsfähigere Zero-Shot-Policies (z. B. π0.5) übertrafen ältere Versionen deutlich in den Benchmarks.
   • Die Ergebnisse zeigten jedoch auch Brittleness (Sprödigkeit): Kleine Änderungen in der Sprachformulierung (Prompting) oder der Anfangsposition des Roboters führten zu signifikanten Leistungseinbrüchen, insbesondere bei älteren Modellen.

3. Sensitivitätsanalysen:

   • Prompt-Sensitivität: Modelle performten besser mit Formulierungen, die häufiger in den Trainingsdaten (DROID-Datensatz) vorkamen.
   • Umgebungsstörungen: Die Leistung sank stark bei Verdeckung der Handgelenkkamera (von ~29% auf 2% Erfolg), was die Abhängigkeit von visuellen Eingaben zeigt.
   • Licht und Startposition: Änderungen der Lichtintensität hatten wenig Einfluss (durch Daten-Augmentierung gemildert), während Abweichungen von der Standard-Gelenkposition die Leistung verschlechterten.

Bedeutung und Ausblick

MolmoSpaces stellt einen Meilenstein für die Robotik-Forschung dar, da es die Lücke zwischen begrenzten Benchmarks und der unendlichen Vielfalt der realen Welt schließt.

• Forschungsgrundlage: Es bietet eine solide Basis für das Training und die Evaluierung generalistischer Roboter, die in der Lage sind, mit der „langen Reihe" alltäglicher Situationen umzugehen.
• Beschleunigung der Entwicklung: Durch die starke Sim-to-Real-Korrelation können Forscher kostengünstig und schnell neue Algorithmen testen, bevor sie in der realen Welt eingesetzt werden.
• Community-Ökosystem: Die Offenheit des Projekts ermöglicht es der Gemeinschaft, eigene Datensätze zu synthetisieren, neue Benchmarks zu erstellen und die Skalierbarkeit von Robotik-Grundmodellen (Foundation Models) weiter zu erforschen.

Zusammenfassend liefert MolmoSpaces die notwendige Infrastruktur, um die nächste Generation von Robotern zu entwickeln, die robust, vielseitig und in der Lage sind, komplexe Aufgaben in dynamischen, realen Umgebungen zu bewältigen.