InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

この論文は、既存の視覚言語行動（VLA）モデルが抱える推論能力と操作性能のトレードオフや catastrophic forgetting の課題を解決するため、大規模視覚言語モデルの柔軟な推論能力を維持しつつ、新しい「VLA-IT」というトレーニング手法と 65 万サンプルのデータセットを用いて両者を最適化したエンドツーエンドモデル「InstructVLA」を提案し、シミュレーションおよび実世界での高い汎化性能と操作精度を実証したものである。

要約

この論文は、**「InstructVLA（インストラクト VLA）」**という新しいロボット制御の仕組みについて紹介しています。

一言で言うと、「頭の良い大脳（言語モデル）」と「器用な手（ロボットアーム）」を、無理やりつなぐのではなく、自然に一体化させた新しいロボットの話です。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

1. 従来のロボットの問題点：「頭」と「手」の喧嘩

これまでのロボット AI は、大きく分けて 2 つのタイプがありました。

• タイプ A（頭脳派）： 写真を見て「これは犬だ」と言ったり、複雑な質問に答えたりするのは得意ですが、実際に物を掴むような「手先の動き」はできません。
• タイプ B（手先派）： 「コップを掴んで」と言われれば動けますが、その背後にある「なぜコップを掴む必要があるのか？」という文脈や、新しい状況への対応が苦手で、指示が少し変わるとパニックになります。

従来の課題：
これらを無理やりくっつけようとすると、**「頭脳が退化して手先だけになる」か、「手先を動かそうとして頭脳がバグる（忘れる）」**というジレンマがありました。まるで、天才的な数学者に突然「皿洗い」をさせようとして、彼が「微分方程式」を忘れてしまい、逆に「皿洗い」も下手になってしまうような状態です。

2. InstructVLA の解決策：「思考しながら動く」スーパーロボット

InstructVLA は、この問題を**「思考と動作を同時に練習する」**という新しい方法で解決しました。

🎭 例え話：「料理の名人と見習い」

このロボットは、**「料理の名人（VLM：大規模言語モデル）」と「見習いシェフ（アクションエキスパート）」**が同じ頭の中にいるようなものです。

1. 思考の段階（名人の役割）：
   客から「お腹が空いたから、何か美味しいものを出して」と言われます。
   従来のロボットなら「コップを運ぶ」という命令だけ受け取って動きますが、InstructVLA はまず**「お腹が空いているなら、まずは冷蔵庫を開けて、中身を確認し、果物を選ぶ必要があるな」と、人間のように「考える（推論する）」**プロセスを踏みます。

2. 動作の段階（見習いの役割）：
   思考が終わると、その「考え」を元に、見習いシェフが実際に冷蔵庫のドアを開け、果物を取り出すという**「具体的な動き」**をスムーズに実行します。

ここがすごい点：
この 2 つの役割は、**「モジュール（専門家）」**という仕組みを使って、必要な時に必要な方が活躍するように設計されています。

• 会話が必要な時は「言語の専門家」が活躍。
• 手を動かす時は「動作の専門家」が活躍。
• 両方必要な時は、**「賢い司令塔（MoE：混合エキスパート）」**が、どちらをどれだけ使うかを瞬時に判断して調整します。

3. 特別なトレーニング：「65 万件の練習帳」

このロボットを育てるために、研究者たちは**「VLA-IT（ビジョン・ランゲージ・アクション・インストラクション・チューニング）」**という特別なトレーニングを行いました。

• 従来のトレーニング： 「コップを掴め」「ドアを開け」という単純な命令だけを何万回も繰り返す。
• InstructVLA のトレーニング：
  • 「冷蔵庫を開けて、中に入っているジュースをテーブルに置いて、そのあと食器を洗って」といった複雑な文脈。
  • 「赤い箱にあるもの」ではなく**「一番左にある、少し傷ついた箱」といった曖昧な表現**。
  • 「なぜその道具が必要なのか？」という理由付け。

これらを65 万件ものデータで学習させたおかげで、ロボットは「言われたこと」だけでなく**「言われた意図」**まで理解できるようになりました。

4. 実際の成果：「思いつき」から「実行」まで

このロボットは、以下のような驚くべき能力を持っています。

• 新しい状況への対応：
  見たことのない形のおもちゃや、新しい言葉（例：「あの丸くて黄色いものを取って」）でも、文脈から意味を推測して正しく動けます。
• 失敗しない思考：
  「コップを洗う前に、まず食器棚を開ける必要がある」といった手順の組み立ても、人間のように考えて実行できます。
• 現実世界での活躍：
  シミュレーションだけでなく、実際のロボットアームを使ってテストしても、他のロボットよりも圧倒的に高い成功率を記録しました。特に、指示が曖昧な場合でも、**「考えてから動く」**ことで、他のロボットが失敗するタスクを成功させました。

まとめ：なぜこれが重要なのか？

これまでのロボットは、**「指示通り動く機械」でしたが、InstructVLA は「状況を理解して、自分で考えて動くパートナー」**に近づきました。

• 昔： 「左のボタンを押せ」→ 押す。
• 今： 「部屋を片付けて」→ 「まずゴミを拾って、次に本を棚に並べて、最後に窓を開ける」と考え、実行する。

この技術は、将来、私たちが「ちょっと手伝って」と気軽に頼める、本当に賢くて頼れるロボット家庭教師や介護ロボットの実現への第一歩となるでしょう。

「考える頭」と「動く手」が、喧嘩せずに協力して働く。
それが InstructVLA が実現した、未来のロボットの世界です。

技術概要

InstructVLA: 視覚・言語・動作の指示微調整による理解から操作への統合

技術サマリー（日本語）

本論文「VISION-LANGUAGE-ACTION INSTRUCTION TUNING: FROM UNDERSTANDING TO MANIPULATION」は、ICLR 2026 にて発表された研究であり、ロボティクスにおける視覚・言語・動作モデル（VLA: Vision-Language-Action）の新たなアプローチを提案しています。既存の VLA モデルが抱える「推論能力の低下」と「操作タスクへの特化による汎用性の欠如」という課題を解決し、大規模視覚言語モデル（VLM）の推論能力を維持しつつ、高精度なロボットの操作を実現するモデルInstructVLAと、それを訓練するための新しいパラダイムVLA-ITを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

現在の VLA モデルは、大規模な VLM を基盤としてロボット操作を学習する際に、以下の 3 つの主要な課題に直面しています。

1. タスク干渉と忘却（Catastrophic Forgetting）: 操作タスクの学習を行うと、事前学習された VLM が持つ高度な多モーダル推論能力（常識推論、OCR、複雑な文脈理解など）が失われる。
2. データの不足: 多モーダルな監督信号（視覚、言語、動作）が豊富に含まれる操作データセットが不足しており、特に「推論を伴う」操作データが限られている。
3. 手法のギャップ: 多モーダル推論を効果的に動作生成に変換するためのメカニズムや訓練パラダイムが確立されていない。既存の手法は、推論と操作を分離しすぎているか、あるいは単純な結合に留まり、両方の能力を最大化できていない。

核心的な問い: 「VLM の多モーダル推論能力を損なうことなく操作スキルを獲得し、その推論能力が逆に操作をどう強化できるか？」

2. 提案手法 (Methodology)

著者らは、InstructVLAというエンドツーエンドの VLA モデルと、Vision-Language-Action Instruction Tuning (VLA-IT) という新しい訓練パラダイムを提案しました。

2.1 モデルアーキテクチャ (InstructVLA)

InstructVLA は、事前学習済みの VLM（Eagle2-2B ベース）を基盤とし、以下の構成要素で構成されます。

• 統合された生成: 単一のモデルで、テキストによる推論（言語応答）と、潜在動作（Latent Action）の生成を同時に行います。
• Mixture-of-Experts (MoE) アダプテーション:
  • 推論（言語生成）と実行（動作生成）をシームレスに切り替えるため、LoRA（Low-Rank Adaptation）モジュールをエキスパートとして導入し、入力コンテキストに応じて動的に重み付けする MoE 構造を採用しています。
  • スカラーヘッドがゲート係数を予測し、言語エキスパートと動作エキスパートの出力を適応的にブレンドします。
• フローマッチングに基づく動作エキスパート:
  • 低レベルの制御（実際のロボット動作）を VLM の高レベル理解から分離するため、DINOv2 などの視覚エンコーダと潜在動作を入力とするフローマッチング（Flow Matching）モデルを「動作エキスパート」として設計しています。
  • これにより、VLM の推論能力を維持しつつ、高精度な連続動作を生成できます。

2.2 訓練レシピ (Training Recipe)

安定した学習と多モーダル能力の維持のため、2 段階の訓練戦略を採用しています。

1. ステージ 1: 動作事前学習 (Action Pretraining)
   • 多様な操作データセット（Bridge, Fractal など）を使用。
   • VLM が生成する「言語による運動記述（Language Motion）」と実際の動作を同時に予測させることで、VLM の潜在空間に操作知識を注入します。
   • この段階では、VLM のバックボーンは凍結し、動作アダプターのみを学習します。
2. ステージ 2: 視覚・言語・動作指示微調整 (VLA-IT)
   • 提案されたVLA-IT データセット（65 万サンプル）と既存の多モーダルデータセットを併用して訓練します。
   • MoE アダプテーション（言語アダプター、動作アダプター、ゲートヘッド）のみを学習し、VLM の事前知識を保持したまま、指示追従と推論を強化します。
   • 推論と操作を交互に学習させることで、文脈に応じた思考（Chain-of-Thought）と動作生成を統合します。

2.3 データセットとベンチマーク

• VLA-IT データセット: 65 万の人間・ロボット相互作用データ。シナリオ説明、質問応答（QA）、命令の書き換え、文脈作成など、多様な指示形式を注釈付け。
• SimplerEnv-Instruct: 80 タスクからなる新しいベンチマーク。
  • タスク集約 (Task Aggregation): 多様な言語表現や未知の物体に対する汎化能力を評価。
  • 状況推論 (Situated Reasoning): 文脈や間接的な指示からタスクを分解・推論する能力を評価（例：「テーブルを片付けて」と言われたら、まず道具を選ぶ必要があるなど）。

3. 主要な貢献 (Key Contributions)

1. InstructVLA モデルの提案: VLM の推論能力を維持しつつ、指示追従と操作を統合した汎用 VLA モデル。
2. VLA-IT パラダイムとデータセット: 推論と操作を統合的に学習するための新しい訓練手法と、大規模な指示微調整用データセット（65 万サンプル）。
3. SimplerEnv-Instruct ベンチマーク: 指示の一般化と状況推論能力を評価するための、人手による厳密な評価スイート。
4. 実証結果: 多モーダルベンチマーク、シミュレーション操作タスク、実世界ロボット（WidowX, Franka）での実証実験により、既存手法を大幅に上回る性能を示しました。

4. 実験結果 (Results)

InstructVLA は、多様な評価基準において SOTA（State-of-the-Art）を達成しました。

• SimplerEnv-Instruct における性能:
  • 微調整済みの OpenVLA ベースラインに対して**96%**の改善。
  • GPT-4o を外部の推論モジュールとして利用した動作エキスパートに対して**29%**の改善。
  • 閉ループ制御タスクにおいて、SpatialVLA より**33%**高い成功率を達成。
• 多モーダル理解能力:
  • 事前学習された VLM（Eagle2, Qwen2-VL など）と同等の多モーダル理解能力（MMMU, MMStar, OCR など）を維持しつつ、操作タスクでも高性能を発揮。
  • 従来の VLA モデル（OpenVLA, Magma など）は操作タスクに特化する過程で多モーダル能力を失う傾向があるが、InstructVLA はこれを回避。
• 実世界での動作:
  • 厨房環境や数学的推論タスクを含むゼロショット・数ショット評価において、OpenVLA やπ0 などの競合モデルを大きく上回る性能を示しました（特に推論が必要なタスクで顕著）。
  • 推論（Thinking）を有効にすることで、複雑な指示の分解と実行が可能になることが確認されました。

5. 意義と将来展望 (Significance)

• 直感的で制御可能な HRI の実現: 人間は自然言語で複雑な指示を出せますが、従来のロボットは単純な命令しか理解できませんでした。InstructVLA は、VLM の推論能力を活用することで、人間のような直感的な指示（「一番酸っぱい果実を皿に置いて」など）を理解し、実行する能力をロボットに付与しました。
• 効率的な学習パラダイム: 従来の「事前学習→微調整」の単純な結合ではなく、MoE と 2 段階訓練を採用することで、計算コストを抑えつつ、推論と操作の両方を最適化できることを示しました。
• 汎用性の証明: 特定の操作タスクに特化するのではなく、多様な環境や指示に対応できる「汎用型（Generalist）」ロボットの構築への道筋を示しました。

結論:
InstructVLA は、視覚・言語・動作の統合において重要な飛躍を果たしました。VLM の推論能力を失わずに操作スキルを獲得する手法は、より自律的で、人間と協調して複雑なタスクを遂行できる次世代のロボティクスシステムの実現に向けた重要なステップです。