RoboMIND 2.0: 汎用的な身体知能のためのマルチモーダル・両手移動操作データセットの技術的概要

本論文は、ロボットアーム操作におけるデータ駆動型学習の限界を克服し、長期的なタスクや複雑な環境での汎化能力を向上させることを目的とした、大規模な実世界データセット**「RoboMIND 2.0」と、それを活用した新しい制御フレームワーク「MIND-2」**を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

既存のロボット操作データセットと学習手法には、以下の重大な課題が存在します。

• データの偏りと不足: 既存のデータセット（Open X-Embodiment, RH20T など）は、単一のアーム、固定ベース、または特定のロボット形態に限定されがちです。両手協調（Bimanual）、移動操作（Mobile Manipulation）、そして多様なロボット形態（ヒューマノイド、移動型など）を網羅する大規模データが不足しています。
• 触覚フィードバックの欠如: 多くのデータセットが視覚情報とロボットの姿勢情報（プロプリオセプション）のみに依存しており、接触、滑り、微細な操作に不可欠な触覚（Tactile）情報が含まれていません。これにより、複雑な物理的相互作用を伴うタスクの学習が困難です。
• 長期的タスクと移動操作の難易度: 既存の Vision-Language-Action (VLA) モデルは、単一の短いタスクでは一定の成果を上げていますが、複数の段階を要する「長期的（Long-horizon）」な移動操作タスクや、異なる環境での汎化には依然として限界があります。
• シミュレーションと実世界のギャップ: 高忠実度なデジタルツインと、実世界データと整合性の取れたシミュレーションデータセットの不足により、効率的な Sim-to-Real 転移が阻害されています。

2. 手法と提案システム (Methodology)

2.1 RoboMIND 2.0 データセット

RoboMIND 2.0 は、多様なロボット形態と環境から収集された、大規模で多モーダルなデータセットです。

• 規模と多様性:
  • 31 万回の両手操作軌道（Trajectories）。
  • 6 種類の異なるロボット形態（Franka, UR5e, AgileX, ARX, Tien Kung, Tian Yi）。これには固定ベース、移動型、ヒューマノイドが含まれます。
  • 759 種類の複雑なタスクと129 種類のスキル。
  • 1,139 種類の異なる物体。
  • 1,000 時間以上の実稼働データ。
• マルチモーダル性:
  • 触覚データ: 12,000 件の触覚センサー（Tashan Tactile sensors）を統合したシーケンス。接触力、接線力、法線力方向を記録。
  • 移動操作: 20,000 件の移動型ロボットによる操作データ。
  • 注釈: 全ての軌道に詳細な自然言語注釈（段階ごとのタスク記述）が付与されており、VLA モデルの学習に適しています。
• 高忠実度デジタルツイン:
  • 実世界の環境、物体、センサー設定を正確に再現したシミュレーション資産（USD 形式）を公開。
  • 実データと同一のタスク構造を持つ2 万回のシミュレーション軌道を公開し、Sim-to-Real 転移を促進。

2.2 データ収集と品質管理

• テレオペレーション: 複数のロボットごとに最適化されたテレオペレーションシステム（HACTS, VR ヘッドセット, 物理的ガイドなど）を使用。
• 品質保証: 12 の品質基準（意図しない接触、不自然な動き、再把持の失敗など）に基づき、専門家が詳細な検査とフィルタリングを実施。失敗データも記録され、後述の強化学習で活用されます。

2.3 MIND-2: 二重システム制御フレームワーク

長期的なタスクを処理するために提案された、階層的な「遅いシステム（Brain）」と「速いシステム（Body）」の組み合わせです。

• MIND-2-VLM（遅いシステム・高レベル計画）:
  • InternVL3-8B を基盤とした Vision-Language Model。
  • 複雑な自然言語指示を、実行可能なサブゴール（段階）に分解し、タスクの進行状況と次の高レベル命令を生成します。
  • 異種ロボット間の協調制御をオーケストレーションします。
• MIND-2-VLA（速いシステム・低レベル実行）:
  • Vision-Language-Action モデル。
  • 視覚、プロプリオセプション、言語指示に基づき、具体的なモーター動作を生成します。
  • Implicit Q-Learning (IQL) を用いたオフライン強化学習により、成功軌道だけでなく失敗軌道からも学習し、失敗モードを回避する強健な方策を習得します。

3. 主要な貢献 (Key Contributions)

1. 大規模マルチモーダル両手移動操作データセット:
   • 両手協調、移動操作、巧緻なハンド、高忠実度触覚センサーを同時にサポートする初のオープンデータセット。
   • 6 種類のロボット、759 タスク、129 スキル、1,139 物体を網羅。
2. 既存ベンチマークを超えた多次元の多様性:
   • ロボット形態、環境、タスク意味論、失敗モード、マルチモーダルセンシング（視覚、触覚、力覚など）を同時にカバー。
3. 高忠実度デジタルツインとシミュレーションデータ:
   • 実世界と完全に整合したシミュレーション資産と 2 万回の軌道を公開し、コスト効率の良い大規模トレーニングと Sim-to-Real 転移を可能にします。
4. 長期的タスク向けの二重システム MIND-2:
   • 高レベルの VLM プランナーと低レベルの VLA エグゼキューターを組み合わせ、既存の VLA モデルが失敗する複雑な実世界環境でのロバストな操作を実現。
5. 包括的な実証評価:
   • 単一タスクの模倣学習（ACT, DP3 など）と多タスク VLA モデル（$\pi_0$, $\pi_0.5$, XR-1 など）に対する大規模なベンチマーク評価。
   • 触覚情報の統合、物体一般化、Sim-to-Real 転移の有効性を示すアブレーション研究。

4. 実験結果 (Results)

• 模倣学習と VLA モデルの性能:
  • 両手協調タスクにおいて、3D 点雲を入力とする手法（DP3, Dense Policy）は 2D 画像入力よりも優位性を示しました。
  • 既存の VLA モデル（$\pi_0$, $\pi_0.5$）は移動操作やヒューマノイドタスクで性能が低下しましたが、XR-1（クロス・エンボディメントモデル）は高い汎化性能を示しました。
• MIND-2 システムの優位性:
  • 長期的な移動操作タスク（スーパーマーケット、工場、化学実験室での双ロボット協調）において、MIND-2 は単一タスクの模倣学習や既存の VLA ベースラインを大きく上回る成功率を達成しました。
  • 特に、**オフライン強化学習（IQL）**を適用した MIND-2-VLA は、失敗データを含む学習により、成功率がさらに向上（例：スーパーマーケットタスクで 0.9）しました。
• 触覚情報の効果:
  • 触覚センサーをプロプリオセプション入力に統合することで、XR-1 や$\pi_0.5$の成功率が顕著に向上しました（接触が重要なタスクで特に効果的）。
• Sim-to-Real 転移:
  • 実データとシミュレーションデータを混合して学習させることで、実世界でのタスク成功率が向上しました。特に、バランスの取れた混合（1:1）からさらにシミュレーションデータを追加（1:5）しても性能が向上し、シミュレーションデータの拡張が有効であることを示しました。
• 物体一般化:
  • 見た目が異なるが機能的に等価な物体（色や形状、素材の変更）に対しても、モデルは高い一般化能力を示しました。

5. 意義と将来展望 (Significance)

• 身体知能（Embodied AI）の基盤: RoboMIND 2.0 は、視覚だけでなく触覚を含む物理的相互作用の理解を深め、多様なロボット形態での汎用性を高めるための重要な基盤データセットとなります。
• 失敗からの学習: 失敗軌道を含めた大規模データセットと、それを活用するオフライン強化学習アプローチは、安全でロバストなロボット制御の実現に寄与します。
• コスト効率とスケーラビリティ: 高忠実度シミュレーションと実データのハイブリッド学習は、実世界でのデータ収集コストを大幅に削減しつつ、高性能なポリシーを学習する道筋を示しました。
• オープンソースとコミュニティ貢献: データセット、デジタルツイン、コード、評価ベンチマークを公開することで、ロボット学習コミュニティにおける研究の加速と標準化を促進します。

総じて、RoboMIND 2.0 と MIND-2 は、ロボットが複雑で動的な実世界環境において、人間のように柔軟かつ巧みに動作するための重要な一歩を踏み出したと言えます。