技術的サマリー：VLA 初期化のための VLM 表現の再考

問題提起

ビジョン・ランゲージ・アクション（VLA）モデルは、視覚言語表現を継承するために、通常、事前学習済みビジョン・ランゲージモデル（VLM）からポリシーのバックボーンを初期化します。しかし、どのような事前学習済み VLM 表現の特性が VLA タスクの有効な初期化を構成するかは、依然として不明です。最近の研究ではより強力なバックボーンやアクションモジュールが探求されていますが、初期化の選択は、制御された設計変数というよりも、デフォルトの手順として扱われることが多くなっています。本論文は、以下の根本的な問いに答えます：どのような種類の事前学習済み VLM 表現が、有用な VLA 初期化をもたらすのか？

著者らは、単により強力な VLM を採用するか、広範な具現化適応を適用するだけでは、より優れたアクションポリシーが保証されないことを主張します。代わりに、彼らは VLA 初期化を、アクション関連シグナルの注入と、元の転移可能な VLM 知識の維持とのバランスを取る必要がある制御された表現設計問題として位置づけます。

手法

本研究は、2 段階のトレーニングパイプラインを用いて、VLA 初期化を 3 つの主要な軸に沿って調査します：

1. 段階 1（表現の形成）： 具現化された視覚質問応答（VQA）データまたはロボット軌跡データ上でベース VLM を適応させる。
2. 段階 2（アクション学習）： 段階 1 のチェックポイントから VLA ポリシーを初期化し、アクション軌跡上でそれをトレーニングする。

調査の 3 つの軸は以下の通りです：

1. 能力レベルの具現化 VQA ドメイン

著者らは、どのシグナルがアクション学習に正しく転移するかをテストするために、具現化 VQA データを 7 つの能力指向ドメインに整理します：

• 空間的： 相対的/絶対的関係、向き、距離。
• グラウンディング： 空間的参照、物体/領域の局所化。
• 計画と推論： 目標の分解、前提条件、ステップの順序付け。
• カメラ予測： 内部パラメータ/外部パラメータ/視点変化の推定。
• 自己中心的理解： 手/グリッパーの位置、保持されている物体、到達可能性。
• 時間的理解： アクションの順序付け、イベントの境界、因果関係。
• アクション次トークン予測（Action-NTP）： アクション軌跡を言語トークンとして扱う。

彼らは、単一ドメイン適応、ペアワイズ構成、およびマルチドメイン構成を評価します。

2. パラメータ更新戦略

論文は、専門化と維持の間のトレードオフを分析するために、段階 1 の適応における 2 つの戦略を比較します：

• フルファインチューニング（Full FT）： すべてのパラメータを更新し、表現を積極的に再形成する。
• LoRA（低ランク適応）： 少数のアダプターパラメータのみを更新し、元の VLM 重みの大部分を維持して表現のドリフトを制限する。

3. ロボットデータ事前学習

本研究は、ロボット軌跡データ（AgiBot-World-Beta）を事前学習シグナルとして使用することにより、アクション側の監督の役割を検証します。以下を比較します：

• ロボットデータのみによる事前学習。
• ロボットデータと VQA の両方による共同事前学習。
• 段階的事前学習（VQA 適応に続き、ロボットデータによる事前学習）。

実験設定

• ベースモデル： Qwen3-VL-4B（主要）、Qwen3-VL-2B、および PaliGemma2-3B。
• アーキテクチャ： OpenVLA-OFT スタイル（MLP ヘッド）および $\pi_0$-スタイル（Diffusion Expert）。
• ベンチマーク： Libero-10（長期的な卓上タスク）、SimplerBridge（実機からシミュレーションへ）、および RoboCasa GR1 Tabletop（高次元のヒューマノイド）。
• 指標： 3 つの評価シードにおける平均成功率。

主要な結果

1. 事前学習済み表現の決定的な役割

事前学習済み VLM から初期化するのではなく、ゼロから VLA ポリシーをトレーニングすると、すべてのベンチマークで 20% 以上の性能低下が生じます。これは、元の事前学習済み VLM 表現がアクション性能の主要な源泉であることを確認します。

2. 具現化 VQA の条件付き有用性

具現化 VQA 適応は均一な利益をもたらすわけではありません。その有効性は、下流のボトルネックと注入される特定の能力に依存します：

• ベンチマーク依存性： Libero-10 では、ほとんどのドメインが性能を向上させます。一方、SimplerBridge（実機からシミュレーションへ）では、ほとんどのドメインが Diffusion Expert 下でのグラウンディングのみがわずかな利益を示すのに対し、ベースラインに対して性能を低下させます。
• 能力の特定性： グラウンディング、自己中心的理解、およびアクション-NTPが、最も堅牢な転移シグナルを提供します。他のドメイン（例：空間的、計画と推論）は、ベンチマークに応じて一貫性のない、あるいは負の転移を示します。
• 非加算性： ドメインを組み合わせることは単に加算的ではありません。最も強い改善は、ペアワイズ構成**{グラウンディング + 自己中心的理解}**から得られます。より多くのドメインを追加すること（例：7 ドメインの均一な構成）は、しばしば飽和や性能低下をもたらします。これは、より広範なカバレッジが有用な監督を希釈するか、干渉を導入する可能性があることを示唆しています。

3. 維持対専門化（LoRA 対 Full FT）

• LoRA の優位性： LoRA は、フルファインチューニングよりも一貫して強力な VLA 初期化を提供します。フル FT はしばしばベースラインを下回り、VQA タスクのために表現を積極的に再形成することが、下流のアクション学習に有用な情報を上書きしてしまうことを示しています。
• ベースモデルの強度： LoRA の利点は、より強力なベース VLM でより顕著です。ベースモデルが弱くなるにつれて（例：Qwen3-VL-4B から PaliGemma2-3B へ）、LoRA からの利益は減少し、フル FT の劣化はより深刻になります。これは、アダプターベースの適応が、維持すべき高品質の事前学習済み表現が存在する場合に最も効果的であることを示唆しています。

4. ロボットデータ事前学習と段階的適応

• アクション側シグナル： ロボットデータ事前学習は初期化を改善しますが、VQA 監督との相互作用は複雑です。
• 共同トレーニングにおける競合： LoRA を用いてロボットデータと VQA の両方を共同でトレーニングすると、ロボットデータのみによるトレーニングよりも性能が低下する可能性があります。これは、限られたアダプター容量内での目的の競合によるものと考えられます。
• 段階的アプローチ： 最高の性能は、段階的ルートを通じて達成されます。まず{グラウンディング + 自己中心的理解} VQA で VLM を適応させ、その後 LoRA ベースのロボットデータ事前学習を継続します。このアプローチは、最高の成功率（RoboCasa で 55.2%）に達し、シグナルの競合を緩和しつつコア VLM 表現を維持するために、シグナルの逐次注入が有効であることを示唆しています。

意義と主張

本論文は、VLA 初期化を、デフォルトのバックボーン選択やデータスケーリングのステップから、制御された表現設計問題へと再定義します。著者らは、彼らの発見が効果的な VLA 初期化の構築に対する実践的な指針を提供すると主張します：

1. シグナル注入： 効果的な初期化には、下流のボトルネックと整合するアクション関連シグナル（具体的にはグラウンディングと自己中心的理解）の注入が必要です。
2. 表現の維持： アクション学習に有用なままの事前学習済み VLM 表現を維持することが不可欠です。フルファインチューニングによる表現の過度な再形成は有害です。
3. 適応戦略： 専門化と維持のバランスを取るためには、制約されたアダプターベースの更新（LoRA）が、フルパラメータ更新よりも優れています。
4. 段階的トレーニング： 信号競合を回避し、知覚側とアクション側の両方の監督の強みを活用するため、段階的トレーニングパイプライン（VQA 適応に続きロボットデータ事前学習）は、共同トレーニングよりも効果的です。

著者らは、これらの洞察が、VLA 初期化の設計空間に対する微妙な理解を提供し、「より多くの具現化データ」や「より強力なバックボーン」が自動的に優れたポリシーをもたらすという仮定を超えていくと結論づけています。