Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight

本論文は、視覚的予測と行動予測を分離する「Disentangled Visual Foresight」を導入し、言語理解と推論能力を維持しながらロボット操作タスクにおいて最先端の性能を達成する新しいビジョン・言語・アクションモデル「Mantis」を提案しています。

要約

マンティス（Mantis）：ロボットに「未来を見る力」と「賢さ」を授ける新技術

この論文は、ロボットが人間の指示を理解し、複雑な作業をこなすための新しいAIモデル「マンティス（Mantis）」を紹介しています。

従来のロボットは「目（カメラ）」と「口（言語）」と「手（動作）」を別々に考えていましたが、マンティスはこれらを**「未来を予見する力」と「言語による理解力」**を上手に組み合わせることで、より賢く、速く、正確に動けるようにしました。

わかりやすくするために、いくつかのアナロジー（比喩）を使って説明します。

---

1. 従来の問題点：「頭がパンクする」ロボット

これまでのロボット用AIは、以下のようなジレンマを抱えていました。

• 問題A：「未来の映像」を全部描きすぎると頭が疲れる
  ロボットに「次にどうなるか」を予測させる際、従来の方法は「未来の映像のピクセル（画素）をすべて描く」ように教えていました。
  • アナロジー： 料理のレシピを作る際、「次に鍋に火をつける」という指示だけでなく、「鍋の金属の質感」「炎の揺らぎ」「空気の匂い」まで詳細に描写して教えるようなものです。これではAIの脳（計算リソース）がパンクし、本当に必要な「手元の動き」を学ぶ時間が削がれてしまいます。
• 問題B：「言葉」を軽視するとロボットがバカになる
  動作を優先しすぎると、AIが人間の話す言葉の意味や、常識的な推理能力を忘れてしまいます。
  • アナロジー： 運転免許試験で「ハンドルを右に回す」という動作だけ覚えても、「赤信号で止まる」という意味や「歩行者がいるから危ない」という判断ができなければ、事故を起こしてしまいます。

2. マンティスの解決策：「未来を予見する力（DVF）」の分離

マンティスは、**「未来の映像を予測する頭」と「実際に手を動かす頭」を分ける（解きほぐす）**という画期的なアイデアを取り入れました。

① 「未来の予見」は専門家に任せる

マンティスは、未来の映像を予測する役割を、**「メタクエリ（魔法のメモ）」と「拡散トランスフォーマー（DiT）」**という専門的なサブシステムに任せています。

• アナロジー： 建築家が「完成した家のイメージ図」を描く際、職人（ロボット本体）に「壁の模様まで全部描け」と命令するのではなく、**「完成図のイメージ（ latent action）」**だけを職人に渡します。
  • 職人は「完成図」を見ながら、「じゃあ、まずは壁を塗る」「次に窓をつける」という**具体的な動き（アクション）**だけを考えれば良くなります。
  • これにより、ロボット本体は「映像の細部」に気を取られず、「どう動くか」に集中できます。

② 「言葉の理解力」は守り抜く

マンティスは、動作を学ぶ過程でも、言語の学習を止めません。

• アナロジー： 新人の料理人が「包丁の使い方」を練習している間も、同時に「レシピの意味」や「食材の知識」を勉強し続けます。そのため、「鉄人（Iron Man）の絵がある雑誌」や「3+5=8」という計算問題が出ても、ロボットは「鉄人」や「8」が何かを理解し、正しく行動できます。

3. 賢い「適応型テンポラルアンサンブル（ATE）」：無駄な動きを省く

ロボットが動く際、安定させるために「未来の動きを何回も予測して平均化する」技術（テンポラルアンサンブル）が使われますが、これには時間がかかります。
マンティスは、「今、本当に安定させる必要がある時だけ」この重い計算を行います。

• アナロジー：
  • 普通のロボット： 歩いている時も、コップを運ぶ時も、常に「未来を100回シミュレーションして慎重に動く」ため、動きが鈍く、エネルギーを浪費します。
  • マンティス（ATE）：
    • 単に歩くだけなら「未来を1回見て、サクサク動く」。
    • コップを運んでいてこぼれそうになったら、「未来を100回シミュレーションして慎重に動く」。
  • これにより、計算コストを半分に減らしつつ、必要な場面では超安定した動きを実現しています。

4. 実際の成果：「LIBERO」で96.7%の成功

• シミュレーション（LIBERO）： 複雑なブロック積みやカップ移動などのテストで、既存の最強モデルを凌ぐ96.7%の成功率を達成しました。
• 実世界（リアルロボット）：
  • 「鉄人の雑誌にカップを置け」と言われたら、鉄人が誰か（マーベルのヒーロー）を理解して正しく置きます。
  • 「3+5 は何？」と聞かれて「8」の場所に物を置けます。
  • 従来のモデル（π0.5）は、こうした「常識」や「推理」が必要な指示には失敗しましたが、マンティスは成功しました。

まとめ

マンティスは、ロボットに以下のような能力を与えました。

1. 未来を見る力： 「次にどうなるか」を映像で細かく描きすぎず、必要な動きの「核（ラテントアクション）」だけを取り出して、効率的に学習する。
2. 賢さの維持： 動作を学ぶ中でも「言葉の意味」や「常識」を忘れさせない。
3. 賢い省エネ： 必要な時だけ慎重に動き、そうでない時はサクサク動く。

まるで、**「未来を予見する天才的な頭脳」と「言葉がわかる賢い心」を持ち合わせ、かつ「無駄な動きをしない賢い身体」**を持ったロボットのような存在です。これにより、ロボットはより複雑で、人間らしい指示にも柔軟に対応できるようになりました。

技術概要

Mantis: 解離された視覚予知を備えた多用途な視覚言語行動モデル

技術的サマリー（日本語）

本論文は、ロボット制御における「視覚 - 言語 - 行動（VLA）モデル」の課題を解決し、高い推論能力と動作精度を両立させる新しいフレームワーク**「Mantis」**を提案しています。特に、**解離された視覚予知（Disentangled Visual Foresight: DVF）**という新しいアプローチを採用し、従来のモデルが抱えていた学習コストの高さや推論能力の低下といった問題を克服しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と課題（Problem）

既存の VLA モデルは、事前学習された大規模な視覚言語モデル（VLM）をベースに、言語指示と視覚観測からロボットの行動を生成します。しかし、以下の根本的な課題が存在します。

• スパースな行動信号と高次元視覚入力のミスマッチ: 高次元の視覚データを処理する大規模モデルに対して、ロボットの行動信号（低次元）はスパースすぎて、モデルの表現能力を十分に活用できません。
• 視覚予知のジレンマ: 行動予測を補助するために将来の視覚状態（フレーム）を予測させる手法（Visual Foresight）がありますが、高次元の画像そのものを予測させると学習コストが膨大になり、モデルが行動予測から注意が逸れてしまいます。一方、視覚状態を圧縮すると情報ボトルネックが発生し、微細な動きの情報が失われます。
• 言語理解能力の低下: 従来の VLA 学習では、ロボットタスクに特化しすぎるあまり、事前学習で獲得した言語理解や推論能力が失われる（オーバーライトされる）傾向があります。

2. 提案手法：Mantis（Methodology）

Mantis は、これらの課題を解決するために**「解離された視覚予知（DVF）」**を中核に据えたアーキテクチャを設計しました。

2.1. アーキテクチャの概要

• バックボーン: 強力な VLM（Qwen2.5-VL）を使用し、言語理解と推論能力を維持します。
• DVF ヘッド（視覚予知）:
  • 従来のようにバックボーンが直接画像を生成するのではなく、**メタクエリ（Meta Queries）と拡散トランスフォーマー（DiT）**を組み合わせた専用ヘッドで将来のフレームを予測します。
  • 現在の視覚状態を DiT に残差接続で入力することで、メタクエリがフレーム間の動的変化（＝潜在的な行動）を自動的に捉えるように設計されています。これにより、明示的な行動予測のための「潜在行動クエリ（Latent-action queries）」が効率的に学習されます。
• 行動ヘッド: 入力情報と学習された潜在行動クエリから、明示的な行動シーケンスを生成します。
• 解離の利点: 視覚予知タスクをバックボーンから分離することで、バックボーンは言語監督信号に集中でき、意味理解や推論能力を維持したまま行動学習を強化できます。

2.2. 段階的トレーニングレシピ（Progressive Training Recipe）

マルチモーダルな学習の不安定さを防ぐため、3 つの段階で学習を行います。

1. マルチギャップ視覚トレーニング: 行動ラベルなしの人間操作動画（SSV2）を用いて、DVF ヘッドと潜在行動クエリを学習。将来のフレームを予測させることで、潜在的な行動パターンを学習します。
2. 視覚 - 行動共同トレーニング: ロボット実証データ（DROID）を用いて、視覚予測と行動予測を同時に学習します。
3. 言語監督付き混合トレーニング: 38 種類のマルチモーダルデータセットとロボットデータを組み合わせて学習し、バックボーンを解凍（Unfreeze）して言語出力にも損失関数を適用します。これにより、言語理解能力を維持・強化します。

2.3. 適応的時次アンサンブル（Adaptive Temporal Ensemble: ATE）

推論時の計算効率と動作安定性のバランスを取るための戦略です。

• 言語指示に関連する「ターゲットパッチ」と、視覚的に変化が激しい「ダイナミックパッチ」を特定します。
• これらのパッチが重なり合う（＝微細な把持操作などが必要）場合のみ時次アンサンブルを適用し、安定性を確保します。重ならない場合はアンサンブルを無効化し、推論回数を削減します。
• これにより、Mantis-ATE 変種は推論回数を約 50% 削減しつつ、性能を維持します。

3. 主要な貢献（Key Contributions）

1. 解離された視覚予知（DVF）の提案: 行動予測と視覚予知を分離し、メタクエリと DiT を用いて効率的に潜在行動を学習する新しい VLA モデル「Mantis」を構築しました。
2. 段階的トレーニングレシピ: 視覚、言語、行動のモダリティを段階的に融合させることで、安定した最適化と強力なマルチモーダル理解を実現しました。
3. 高性能な実証: シミュレーションおよび実世界実験において、既存の最先端モデルを上回る性能と、優れた指示追従・一般化能力を実証しました。

4. 実験結果（Results）

4.1. シミュレーションベンチマーク（LIBERO）

• 成功率: LIBERO ベンチマーク（4 つのタスクスイート）において、**96.7%**の平均成功率を達成しました。
• 比較: OpenVLA（76.5%）、π0（94.2%）、UnifiedVLA（95.5%）などの強力なベースラインを凌駕し、特に Vision-Augmented 手法の中で最高性能を示しました。
• 収束速度: 従来の視覚予知手法（UnifiedVLA など）に比べて、微調整（Fine-tuning）時の収束が著しく速く、初期の 10 エポックで 0% だった成功率が早期に急上昇しました。

4.2. 実世界実験（Agilex プラットフォーム）

• 指示追従と一般化: 既知の指示（ID）だけでなく、未知の指示（OOD）に対しても高い性能を発揮しました。
  • 例：「カップを女性歌手の上に置け」という指示に対し、「Taylor Swift」を特定して正しく動作しました（π0.5 は失敗）。
  • 例：「3+5」という計算を含む指示や、「喉が渇いた」という意図理解タスクでも成功しました。
• π0.5 との比較: 言語監督を施した Mantis は、言語監督なしの π0.5 よりも、OOD 指示に対する一般化能力と推論能力で明確に優位でした。

4.3. 推論効率（ATE）

• Mantis-ATE を使用することで、タスク成功率を維持しつつ、推論回数を最大50% 削減することに成功しました。

5. 意義と結論（Significance）

Mantis は、VLA モデルが直面する「視覚予測の負荷」と「言語理解の維持」というトレードオフを、**「解離（Disentanglement）」**というアプローチで解決しました。

• 技術的意義: 高次元の視覚予測をバックボーンから分離し、専用ヘッドで行うことで、モデル全体の学習効率を向上させつつ、VLM の本来の推論能力を損なわない設計を示しました。
• 実用性: 実世界での複雑な指示（推論や世界知識が必要なもの）への対応能力が高く、汎用ロボット制御への応用可能性を大きく高めています。
• オープンソース: コードと重みが公開されており、コミュニティの発展に寄与します。

総じて、Mantis は、視覚、言語、行動を統合する次世代のロボット制御モデルとして、高い効率性と知能性を兼ね備えた画期的な成果です。