InternVLA-A1: ロボット操作のための理解・生成・行動の統合モデル

本論文は、上海人工知能研究所（Shanghai AI Laboratory）によって提案された新しい Vision-Language-Action (VLA) モデル「InternVLA-A1」について述べています。このモデルは、意味的理解、物理的ダイナミクスの予測、そしてロボット制御を単一のフレームワークに統合し、特に動的環境におけるロボット操作の堅牢性を大幅に向上させることを目指しています。

以下に、本論文の技術的な要点を問題定義、手法、主要な貢献、結果、そして意義に分けて詳細にまとめます。

---

1. 問題定義 (Problem)

既存のロボット制御における VLA モデルには、以下の 2 つの主要なボトルネックが存在します。

1. 物理世界ダイナミクスの欠如:
   • 現在の主流であるマルチモーダル大規模言語モデル（MLLM）ベースの VLA モデル（例：$\pi_0$, $\pi_{0.5}$）は、視覚と言語の「意味的理解」に優れていますが、物理法則や運動、接触による状態変化を推論する能力が不足しています。
   • 結果として、ベルトコンベア上の動的な環境や、慣性・運動量が必要なタスクにおいて、反応的な「知覚→行動」マッピングに留まり、将来の状態変化を考慮した行動生成が困難です。
2. 世界モデル（World Models）の限界:
   • 物理的予測を補うためにビデオ予測を用いたアプローチ（例：VPP, Genie Envisioner）が存在しますが、これらは意味的なグラウンディングが弱く、ビデオ予測の誤差に対して脆弱です。
3. データの制約:
   • 実世界のロボットデータは収集コストが高く、多様なシナリオ（特に動的な変化や長尾事象）を網羅的にカバーすることが困難です。一方、シミュレーションデータは安価で多様ですが、実世界とのギャップ（Sim-to-Real Gap）が存在します。

2. 手法 (Methodology)

InternVLA-A1 は、これら課題を解決するために、「理解（Understanding）」「生成（Generation）」「行動（Action）」の 3 つの専門家を統合した Mixture-of-Transformers (MoT) アーキテクチャを採用しています。

2.1. アーキテクチャ

単一のモデル内で 3 つのエキスパートが協調して動作します。これらはすべてデコーダ型のトランスフォーマーに基づいており、**統一されたマスク付き自己注意機構（Unified Masked Self-Attention）**を通じて情報を共有します。

1. 理解エキスパート (Understanding Expert):
   • 既存の MLLM（InternVL3 または Qwen3-VL）をベースに使用。
   • 画像とテキスト指令を入力として受け取り、環境の文脈を意味的エンベディングとして抽出します。
   • このエンベディングは、下流のエキスパートが参照する共有コンテキストメモリとなります。
2. 生成エキスパート (Generation Expert):
   • 視覚的予見（Visual Foresight）: 現在の状態と過去の観測に基づき、将来の視覚状態（未来のフレーム）を予測します。
   • 効率化: 従来の拡散モデルやautoregressive な生成モデルは推論が遅いため、軽量な設計を採用。
     • トークン化: COSMOS VAE エンコーダを使用し、高解像度画像を潜在空間に圧縮。
     • トークン圧縮: 畳み込み層を用いてシーケンス長を短縮（6 画像 $\to$ 96 トークン）。
     • 並列デコーディング: 自己回帰的ではなく、一度に未来の全トークンを生成する非自己回帰方式を採用し、リアルタイム推論（約 13Hz）を可能にしています。
3. 行動エキスパート (Action Expert):
   • 理解エキスパートの文脈と、生成エキスパートの予測された未来状態（ダイナミクス）を統合し、ロボットの制御コマンドを生成します。
   • Flow Matching を使用して、連続的な行動分布を学習し、多モーダルな行動を高精度に予測します。

2.2. 最適化目的

モデルは以下の 2 つの目的を同時に最適化します。

1. 視覚的予見生成損失 ($L_{gen}$): 未来の潜在特徴を正解の潜在特徴に近づける。これにより物理ダイナミクスの理解を促します。
2. フローマッチングに基づく行動予測損失 ($L_{act}$): ノイズから実世界のデモンストレーションへの連続的な変換経路を学習し、最適な行動を生成します。

2.3. 学習データと戦略

InternData-A1 と呼ばれる大規模なハイブリッドデータセットを用いた 2 段階学習（事前学習と事後学習）を実行しました。

• 合成データ (Simulation): InternData-A1 (3.96 億フレーム) と RoboTwin。多様な物体（剛体、可変形、流体）やタスクを網羅。
• 実世界ロボットデータ (Real-world): AgiBot-World, RoboMind。物理的忠実度と Sim-to-Real ギャップの埋め合わせ。
• 人間動画 (Human Video): EgoDex。アームの操作や把持の多様性を学習し、視覚表現を強化（行動ラベルなし）。
• ロードバランス並列学習 (LPT): 異質なデータセットを効率的に読み込み、メモリ負荷と I/O 競合を解消する分散学習戦略を採用。

3. 主要な貢献 (Key Contributions)

1. 統合アーキテクチャの提案:
   • 意味的理解と物理的予測を密に結合した MoT アーキテクチャにより、動的環境における「先読み（Foresight）」に基づく行動生成を実現しました。
2. 効率的な視覚的予見モジュール:
   • 高解像度かつリアルタイムなビデオ生成を可能にする、非自己回帰的な並列デコーディングとトークン圧縮手法を開発しました。
3. ハイブリッドデータ学習戦略:
   • 合成データ、実ロボットデータ、人間動画を統合的に学習させることで、シミュレーションの多様性と実世界の物理的忠実度の両方を活かし、Sim-to-Real 転移を大幅に改善しました。
4. 大規模モデルの公開:
   • 2B パラメータと 3B パラメータの 2 種類のモデルを公開し、高性能かつ軽量な VLA モデルの構築可能性を示しました。

4. 実験結果 (Results)

12 の実世界タスクとシミュレーションベンチマーク（RoboTwin 2.0）で評価を行いました。

4.1. 静的タスク (Static Manipulation)

• 結果: InternVLA-A1 (3B) は、先行する SOTA モデル $\pi_{0.5}$ を実世界タスクで +4.4% 上回る平均成功率を達成しました。
• 具体例: 「サンドイッチ作成」や「オーブン操作」などの長期的タスクで顕著な性能向上が見られました。

4.2. 動的タスク (Dynamic Manipulation)

• 結果: 移動する物体を扱うタスク（Express Sorting, In-motion Ingredient Picking）において、+26.7% の大幅な性能向上を達成しました。
• 比較: $\pi_{0.5}$ が 66.7% の成功率だった「In-motion Ingredient Picking」タスクで、InternVLA-A1 (3B) は 93.3% を達成しました。これは、未来のダイナミクスを予測して行動を計画する能力が、動的環境において決定的な優位性をもたらしたことを示しています。

4.3. シミュレーションベンチマーク (RoboTwin 2.0)

• 結果: Easy/Hard 設定の両方で、$\pi_0$ や $\pi_{0.5}$ を上回る結果（Hard 設定で +2.6% 以上）を記録しました。

4.4. 消融実験 (Ablation Studies)

• 事前学習の重要性: 事前学習なし（Scratch）では平均成功率が 77.0% から 25.4% まで激減しました。
• 生成エキスパートの役割: 生成エキスパートを除去した場合、特に動的タスクで性能が大幅に低下し、平均成功率が 77.0% $\to$ 57.6% となりました。
• データ混合の効果: 合成データのみでは実世界への汎化が不十分でしたが、人間動画と実ロボットデータを組み合わせることで、実世界タスクの性能が最大化されました。

5. 意義と結論 (Significance)

InternVLA-A1 は、従来の VLA モデルが抱えていた「意味的理解」と「物理的予測」の乖離を解消した画期的なアプローチです。

• 動的環境への適応: 単なる反応的な制御を超え、未来の状態を「想像（Imagination）」することで、ベルトコンベア上の物体や移動するターゲットへの対応が可能になりました。
• データ効率と汎用性: 合成データ、実データ、人間動画を効率的に統合する学習戦略は、高コストな実ロボットデータの収集に依存しない、スケーラブルなロボット学習の新しいパラダイムを示唆しています。
• 実用性: 2B/3B という比較的小さなパラメータ数でありながら、大規模モデルを上回る性能を発揮し、エッジデバイスでのリアルタイム制御（約 13Hz）も実現可能です。

本論文は、次世代の汎用ロボットが、複雑で変化する物理世界において自律的に動作するための基盤技術として、非常に重要な貢献を果たしています。