MLA: 多感覚言語 - 行動モデルによるロボティクス操作の多モーダル理解と予測

1. 研究の背景と課題 (Problem)

近年、ビジョン - 言語モデル（VLM）を基盤とした「ビジョン - 言語 - 行動（VLA）」モデルは、ロボットの操作タスクにおいて優れた汎化能力を示しています。しかし、既存の VLA モデルには以下の重要な課題が存在します。

• 空間・物理的知覚の不足: 多くの既存モデルは 2D 画像と自然言語指令に依存しており、ロボットの物理世界における空間的依存関係や物理ダイナミクス（接触、力覚など）を十分に捉えきれていません。
• マルチモーダル統合の非効率性: 3D ポイントクラウドや触覚（タクトル）信号などの多様なセンサー情報を統合するために、画像エンコーダや点群エンコーダなど、モダリティ固有の追加エンコーダを必要とするケースが多く、推論効率や計算コストの面で課題があります。また、大規模言語モデル（LLM）のバックボーンがこれらの新しいマルチモーダル特徴と十分に整合していない問題もあります。
• 物理ダイナミクス予測の限界: 物理世界の理解を深めるために未来状態を予測するアプローチが存在しますが、既存の手法は主に 2D 画像の予測に留まっており、複雑な接触を伴うシーンに必要な完全なポイントクラウド構造や触覚相互作用情報の予測には至っていません。

2. 提案手法 (Methodology)

本論文では、これらの課題を解決するため、MLA（Multisensory Language-Action Model） を提案します。MLA は、多様なセンサー入力を協調的に処理し、それらの未来状態を予測することで、物理世界のモデリングを強化するモデルです。

2.1 エンコーダフリーのマルチモーダルアライメント (Encoder-Free Multimodal Alignment)

• コンセプト: 追加のモダリティ固有エンコーダを導入せず、LLM 自体を知覚モジュールとして再利用します。
• 実装:
  • 画像、3D ポイントクラウド、触覚信号を、それぞれ軽量なトークナイザー（Vision Tokenizer, 3D Tokenizer, Tactile Tokenizer）を用いて共通のトークン列に変換します。
  • これらのトークンを LLM の埋め込み空間に直接マッピングし、LLM の初期トランスフォーマーブロックを「知覚モジュール」として機能させます。
• 位置情報に基づくコントラスト学習:
  • カメラパラメータを用いて、3D ポイントと触覚グリッパーの位置を 2D 画像平面に投影します。
  • 投影された位置に対応する 2D 画像パッチ、3D ポイント、触覚トークンを「正のペア」として定義し、トークンレベルのコントラスト損失（InfoNCE）を適用します。
  • これにより、異なるモダリティ間の意味的・空間的な整合性を、追加のエンコーダなしに LLM 内で学習させます。

2.2 未来多感覚生成ポストトレーニング (Future Multisensory Generation Post-Training)

• 目的: 物理ダイナミクス（意味、幾何学、相互作用）の理解を深め、より堅牢な行動生成を可能にします。
• 手法:
  • LLM の最終層の特徴量を入力とし、トランスフォーマーデコーダを用いて、未来の2D 画像、3D ポイントクラウド、触覚信号を同時に生成・予測します。
  • 画像予測では、背景を除去し前景領域のみを予測することで最適化を容易にします。
  • ポイントクラウド予測では、マスキングされた自己エンコーダ（MAE）の手法を応用し、粗い中心点の整合後に局所的な近傍点を精緻化します。
  • 重要点: この未来状態予測タスクはトレーニング時のみ使用され、推論時には影響を与えません（推論効率を維持）。

2.3 学習パイプライン

1. 大規模事前学習 (Pretraining): 既存の画像 - 行動ペアデータセット（57 万以上の軌道）を用いて、LLM の基本能力を確立。
2. 教師あり微調整 (SFT): 提案した「エンコーダフリーのマルチモーダルアライメント」を用いて、タスク固有のマルチセンサーデータで微調整。
3. ポストトレーニング: 上記の「未来多感覚生成」タスクを追加し、物理ダイナミクスを理解する能力を強化。

3. 主要な貢献 (Key Contributions)

1. MLA モデルの提案: 追加エンコーダを不要とし、LLM 自体を再利用して画像、点群、触覚を直接統合・解釈する新しいアーキテクチャ。
2. 未来多感覚生成戦略: 意味、幾何学、相互作用の情報を同時に予測するポストトレーニング手法により、物理世界の理解と行動生成の堅牢性を向上。
3. 段階的な学習パイプライン: 事前学習、SFT、ポストトレーニングの 3 段階を経て、実世界の物理環境における知覚・理解・行動生成を統合するモデルを構築。

4. 実験結果 (Results)

4.1 実世界実験 (Real-World Experiments)

• 設定: 単一アームおよび双アームの Franka ロボットを用い、複雑で接触を伴う 6 つのタスク（スタンプ押し、ホワイトボード拭き、食器配置、卵をパンに乗せるなど）で評価。
• 結果:
  • 既存の SOTA 2D VLA モデル（$\pi_0$）に対して12%、3D VLA モデル（SpatialVLA）に対して**24%**の成功率向上を達成。
  • 特に「ホワイトボード拭き」タスクでは、触覚センサーの情報を活用してエンドエフェクタの動きを精密に制御し、優れた性能を示しました。
  • 未知の物体や背景に対する汎化性能も高く、$\pi_0$ に比べて性能低下が小さいことを確認しました。

4.2 シミュレーション実験 (RLBench Benchmark)

• 設定: RLBench ベンチマークの 10 タスクで評価。触覚センサーはシミュレーションでは現実的でないため画像と点群のみを使用。
• 結果:
  • 平均成功率**81%**を達成し、$\pi_0$ (65%)、SpatialVLA (46%)、OpenVLA などの既存手法を大幅に上回りました。
  • 触覚センサーがなくても、マルチモーダルアライメントと未来予測の恩恵により高い精度を維持できることを示しました。

4.3 消融実験 (Ablation Study)

• 入力モダリティ: 画像のみ、2D+3D、2D+3D+ 触覚と増やすことで性能が向上し、触覚の重要性が確認されました。
• アライメント戦略: 提案したトークンレベルの位置ガイド付きコントラスト学習（Ex5）が、単純な結合や画像レベルのアライメントよりも有意に優れていました。
• コントラスト損失の位置: LLM の 8 層目に損失を適用するのが最適であり、浅い層で特徴を整合させつつ、深い層で未来予測や行動生成にリソースを割けることが示されました。
• 未来生成: 画像、点群、触覚のいずれかの未来予測を削除しても精度が低下し、多様な未来状態の予測が行動生成に不可欠であることが確認されました。

5. 意義と結論 (Significance & Conclusion)

本論文で提案された MLA は、ロボット操作において「知覚」「理解」「行動」をマルチモーダルに統合する新しいパラダイムを示しました。

• 効率性: 追加のエンコーダを排除し、LLM 自体を再利用することで、計算効率と推論速度を維持しつつ、高次元のセンサー情報を統合可能にしました。
• 物理的理解: 未来の多感覚状態（特に触覚と 3D 構造）を予測するタスクを導入することで、単なる画像認識を超えた物理ダイナミクスへの深い理解を実現しました。
• 汎用性: 実世界およびシミュレーションの両方で SOTA 性能を達成し、未知の環境や物体に対する高い汎化能力を証明しました。

MLA は、複雑で接触を伴う実世界のタスクを遂行するための強力な基盤モデルとして、ロボット工学およびマルチモーダル AI の分野に新たな道筋を提供するものです。