MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

本論文は、ロボット操作とナビゲーションの大規模ベンチマークを可能にするため、23 万を超える多様な室内環境と 13 万の物体アセットを備え、シミュレータに依存しないオープンエコシステム「MolmoSpaces」と、高い実世界との相関を持つ評価ベンチマーク「MolmoSpaces-Bench」を提案するものです。

要約

この論文は、**「ロボットが現実世界で失敗しないようにするための、巨大な『練習用シミュレーター』と『テスト場』」**を作ったという画期的な研究について書かれています。

タイトルは**「MolmoSpaces（モルモスペースズ）」**です。

これを理解するために、いくつかの身近な例えを使って説明しましょう。

1. 問題：ロボットは「長尾（ロングテール）」に弱い

まず、ロボットを「新しい料理を作るのが得意な料理人」だと思ってください。
今のロボットは、レシピ通りに「卵を割る」「フライパンを振る」といった基本的な動きは上手です。しかし、現実世界には**「予想外の出来事」**が無限にあります。

• 冷蔵庫のドアが少し歪んでいて開きにくい。
• 床に落ちたスプーンが、いつもと違う角度で光っている。
• 「コーヒーを淹れて」と言われたのに、お茶碗が置かれている。

これらは「長尾（ロングテール）」と呼ばれる、めったに起こらないけれど、一度起きるとロボットがパニックになるような状況です。これまでのロボット研究は、「よくある 10 通りのパターン」しか練習していませんでした。 それでは、現実の複雑な世界ではすぐに失敗してしまいます。

2. 解決策：MolmoSpaces（モルモスペースズ）とは？

そこで研究者たちは、**「現実世界のあらゆるバリエーションを、コンピュータの中で 100% 再現できる巨大な練習場」**を作りました。これが MolmoSpaces です。

• 23 万 個以上の部屋：
  これまで作られたシミュレーターは、部屋が数十個程度でした。しかし MolmoSpaces は、**「23 万 個」**もの異なる部屋（キッチン、リビング、美術館、カフェなど）を持っています。まるで、世界中のあらゆる家や建物をコピーして、デジタル空間に並べたようなものです。
• 13 万 個以上のアイテム：
  部屋の中には、13 万 個以上の「物」が置かれています。コップ、本、ドア、冷蔵庫など、形や大きさ、素材がバラバラです。
• 4200 万 回以上の「掴み」のデータ：
  ロボットが「物を掴む」練習をする際、どの角度から掴めば滑らないか、というデータが4200 万 回分も準備されています。これは、ロボットが「失敗しない掴み方」を瞬時に学べるようにするための「正解の教科書」のようなものです。

3. なぜこれがすごいのか？（3 つのポイント）

① 「現実とリンクする」練習場

多くのシミュレーターは、物理法則が甘く、「現実では無理な動き」もできてしまいます。しかし、MolmoSpaces は**「物理エンジン（MuJoCo や Isaac など）」**という、現実の重力や摩擦を厳密に計算する仕組みを使っています。
**「ここで成功すれば、現実に持ち込んでも成功する」という高い信頼性（96% の相関）を持っています。つまり、「シミュレーターで 100 点取れたら、現実は 100 点」**と言えるほど、練習と本番がリンクしています。

② 「ゼロショット」でテストできる

「ゼロショット」とは、**「特定の課題のために特別に練習させずに、いきなりテストする」**ということです。
例えば、ロボットに「新しい種類の花瓶」を渡して、「これを棚に置いて」と言います。ロボットはその花瓶を見たことがなくても、MolmoSpaces で学んだ「物の掴み方」や「空間の理解力」を応用して、初めて見る物でも作業ができるかどうかが測れます。これが、本当に「賢い（汎用的な）ロボット」かどうかのテストになります。

③ 「失敗」を見つけるのが得意

このシステムを使えば、**「どんな条件でロボットが失敗するか」**を徹底的に探せます。

• 「照明が暗いと失敗する？」
• 「カメラの角度が変わると失敗する？」
• 「指示の言い方が少し違うと失敗する？」
  これらをコンピュータ上で何千回も変えてテストできるので、「ロボットが弱い部分」を特定し、それを強化することができます。

4. 具体的なテスト（MolmoSpaces-Bench）

研究者たちは、この練習場を使って、8 つの基本的なタスクでロボットをテストしました。

• 「あのコップまで行って」
• 「コップを掴んで」
• 「コップをテーブルに置く」
• 「冷蔵庫を開ける」
• 「ドアを開ける」

最新の AI ロボット（VLA モデルなど）をテストしたところ、「指示の言い方」や「ロボットの初期位置」だけで、成功率が激変することがわかりました。これは、ロボットがまだ「完全に賢い」わけではないという重要な発見でした。

まとめ

MolmoSpaces は、**「ロボットが現実世界で失敗しないようにするための、究極の練習場とテスト場」**です。

• 以前： 限られた部屋で、限られた物で練習していた。
• 今： 23 万 個の部屋と 13 万 個の物で、現実そっくりな環境で練習できる。

これにより、研究者たちは「ロボットが本当に賢くなったか」を正しく測ることができ、より頑丈で、どんな家でも活躍できる「万能ロボット」の実現に大きく近づきました。

まるで、**「ロボットが現実世界で活躍するための、広大なテーマパークと、そこで行われる厳格なオリンピック」**のようなものだと考えてください。

技術概要

MolmoSpaces: ロボットナビゲーションと操作のための大規模オープンエコシステムの技術的サマリー

本論文は、ロボット学習研究のための大規模で包括的なオープンエコシステム**「MolmoSpaces」と、その評価ベンチマーク「MolmoSpaces-Bench」**の導入を報告しています。現実世界のロボット展開において、シミュレーションと実世界のギャップ（Sim-to-Real Gap）を埋め、長尾（Long-tail）に属する多様な状況への汎化能力を評価するためのインフラを提供することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細をまとめます。

1. 問題定義

現在のロボット学習における主な課題は以下の通りです。

• 評価の限界: 既存のベンチマークは、単一のシーンにおける短時間タスクに偏っており、現実世界の「長尾」に属する無数のレイアウト、物体の幾何学形状、タスク仕様の多様性を十分に反映していません。
• 物理シミュレーションの不足: 多くの既存シミュレータは、シーン数や物体数が限られており、物理的なリアリズム（接触ダイナミクスや可動部品の挙動）や、長距離・複合的なタスクのサポートが不十分です。
• 実世界評価のスケーラビリティ: 物理的なロボット実験はコストが高く、再現性が低く、大規模な分布評価を行うことが困難です。
• ゼロショット汎化の測定: 最新の Vision-Language-Action (VLA) モデルなどの一般化ロボット政策（Policy）を、特定のタスクでファインチューニングせずに評価できる大規模な環境が不足しています。

2. 手法とアーキテクチャ

MolmoSpaces は、シミュレーション環境、3D 物体アセット、タスク、ツールを統合したエンドツーエンドのオープンエコシステムです。

2.1 主要コンポーネント

1. MolmoSpaces-Scenes (23 万超の室内環境):

   • AI2-THOR、ProcTHOR、Holodeck などの既存データセットを統合し、手作業で作成された単一部屋から、手続き的に生成された多室の家まで、23 万を超える多様な室内環境を提供します。
   • 住居だけでなく、美術館、カフェ、オフィスなど、多様なシーンタイプ（MultiType）を含みます。
   • 物理シミュレータ（MuJoCo, IsaacSim, ManiSkill）で動作するように調整され、衝突回避や安定性を保証する品質テストを通過しています。

2. MolmoSpaces-Objects (13 万超の物体アセット):

   • AI2-THOR の 1,600 個と Objaverse の 129,000 個の物体モデルを統合。
   • 剛体（Rigid）と可動部品を持つ物体（Articulated: ドア、冷蔵庫など）の両方をサポート。
   • 質量、密度、摩擦係数などの物理パラメータを LLM や実ロボット（Franka FR3）によるテレオペレーションデータを用いて調整し、物理的リアリズムを確保しています。
   • 各物体にコライダーメッシュ（Convex Decomposition など）とセマンティックメタデータが付与されています。

3. MolmoSpaces-Grasp (4,200 万超の注釈付き把持データ):

   • 48,000 個のインタラクティブな物体に対して、6-DoF の把持ポーズを生成。
   • 剛体物体と可動物体に対して、把持の安定性、スリップの防止、関節の可動域（70% 以上）を確保するロバストな把持を生成するパイプラインを採用しています。
   • シーン内での衝突チェック（In-situ testing）を行い、実用的な把持データを提供します。

4. MolmoSpaces-Bench (ベンチマークスイート):

   • 8 つの基礎タスク（ナビゲーション、把持、配置、開閉、ドア開閉など）を定義。
   • 未知の環境と物体に対するゼロショット評価（タスク固有のファインチューニングなし）を可能にします。
   • 制御された変異（照明、カメラの遮蔽、初期姿勢のノイズなど）による分布外評価（Distributional Evaluation）機能を提供。

5. マルチシミュレータ対応:

   • MuJoCo、IsaacSim、ManiSkill の主要なシミュレータで動作し、USD 形式や MJCF 形式など、各シミュレータに互換性のあるアセット形式を提供します。

3. 主要な貢献

• 大規模で多様なオープンエコシステム: 23 万のシーン、13 万の物体、4,200 万の把持データを含む、ロボット学習史上最大規模のオープンデータセットの公開。
• 物理的リアリズムと汎用性: 複数のシミュレータで動作し、剛体・可動物体の物理挙動を高精度にシミュレートするインフラの確立。
• ゼロショット評価ベンチマーク: 既存のモデル（VLA モデルや古典的なモジュール型ベースライン）を、事前学習データに依存せず、未知の環境で評価する標準的なベンチマークの提案。
• Sim-to-Real 相関の検証: シミュレーション結果と実世界での性能の間に強い相関があることを実証し、シミュレーションベースの評価の信頼性を高めました。

4. 実験結果

著者らは、MolmoSpaces-Bench を用いて、π0, π0.5, CAP, RING, DualVLN などの最先端モデルを評価しました。

• Sim-to-Real 相関:

  • 物体把持（Pick）タスクにおいて、シミュレーションベンチマークの成功率と実世界（RoboArena データ）の成功率の間に非常に強い相関が確認されました（ピアソン相関係数 $R \approx 0.96$、スピアマン順位相関係数 $\rho \approx 0.98$）。
  • これにより、MolmoSpaces が実世界の性能を予測する信頼性の高いプロキシとして機能することが示されました。

• モデル性能の比較:

  • 最新世代の VLA モデル（π0.5 など）は、以前のモデル（π0 など）よりも高い成功率を示しました。
  • しかし、すべてのモデルが分布のシフトに対して脆弱であることを発見しました。

• 分布外評価（Distributional Evaluations）の洞察:

  • プロンプトの感度: 指示文の言い回し（DROID データセットで頻出する表現か否か）によって、モデルの成功率が大幅に変化することが確認されました（例：π0 は頻出表現で 14% 以上の改善）。
  • 初期姿勢とカメラ: 関節の初期位置のわずかな変化や、手首カメラの遮蔽（Occlusion）が、特に π0.5 などのモデルの成功率を劇的に低下させました（手首カメラの遮蔽で成功率が 2% まで低下）。
  • 把持アプローチ: 異なるモデル（π0.5 と CAP）は、物体の形状（カップ vs ボトル）に応じて異なる把持アプローチ（上から vs 横から）を好むことが明らかになりました。

5. 意義と将来展望

MolmoSpaces は、ロボット学習研究において以下の点で重要な意義を持ちます。

• 一般化能力の厳密な評価: 従来の「 cherry-picked（選ばれし）」少数のシーンではなく、現実世界の長尾にわたる多様な環境でロボット政策を評価することを可能にします。
• アルゴリズム改善の指針: シミュレーション内での系統的な摂動実験を通じて、モデルの失敗モード（照明依存性、特定の視点への依存など）を特定し、アルゴリズムの改善を導くことができます。
• 研究コミュニティの加速: オープンソースのアセット、シーン、ツールを提供することで、研究者が大規模なデータ生成、ポリシー学習、ベンチマーク作成を容易に行い、汎用ロボット知能の実現に向けた進展を加速させます。

結論として、MolmoSpaces は、物理的に忠実でスケーラブルなシミュレーション環境を提供し、ロボット政策の実世界での堅牢性を評価・改善するための基盤となる重要なリソースです。