VLANeXt: Recipes for Building Strong VLA Models

本論文は、VLA（Vision-Language-Action）モデルの設計空間を統一的な枠組みで再検討し、12 の重要な知見を導き出すことで、既存の最先端手法を上回る性能と実世界での汎化能力を持つ「VLANeXt」を構築する実践的なレシピを提案しています。

要約

この論文は、**「ロボットを賢く動かすための『最強のレシピ』」**を見つけるという研究です。

最近、AI は画像を見て言葉を理解するようになりました。これをロボットに応用して、「画像を見て、言葉の指示を聞き、実際に手を動かす」というVLA（Vision-Language-Action）モデルというものが注目されています。

しかし、現状は「みんながそれぞれ独自のやり方で実験していて、何が本当に効果があるのか、誰にもわからない状態（『原始のスープ』のような状態）」でした。

この論文の著者たちは、この混乱を整理し、**「どんな設計をすれば、一番賢く、頑丈なロボットが作れるか」を徹底的に検証しました。その結果、「VLANeXt（ヴァイランエックス）」**という、小さくてシンプルなのに、とても高性能な新しいモデルが完成しました。

以下に、この研究のポイントを、料理や建築の例えを使って簡単に説明します。

---

1. 研究の目的：「レシピ」の統一

これまでのロボット AI は、それぞれが「自分の好きな調味料」を勝手に入れて料理していました。だから、「どのレシピが本当においしいのか」がわかりませんでした。
著者たちは、**「同じ鍋（環境）で、同じ材料（データ）を使い、一つずつ変えて味見をする」**という実験を行いました。その結果、12 個の重要な「コツ（レシピ）」を見つけ出し、それをまとめたのがこの論文です。

2. 見つけた「最強の 3 つのコツ」

① 頭と手足の「つながり方」を柔らかくする

• 昔のやり方： 頭（言語モデル）と手足（動作制御）をガチガチに固定するか、全く別々に動かすかのどちらかでした。
• 新しいコツ： **「中間の通訳役」**を挟むことです。
  • 例え話：頭が「皿を取って」と指示を出しても、手足がそれを直接聞くのではなく、**「通訳（学習可能なクエリ）」**が一度受け取って、手足に最適な形で伝えてあげる。
  • これにより、指示をよりスムーズに実行できるようになりました。

② 目と「体の感覚」を一緒に教える

• 昔のやり方： 目（カメラ）の映像だけを見て、手足の位置（プロプリオセプション）は後で教えていた、あるいは無視していた。
• 新しいコツ： **「頭（VLM）の段階で、体の感覚も一緒に教える」**ことです。
  • 例え話：料理をするとき、カメラで「鍋」を見るだけでなく、「自分の手がどこにあるか」という感覚も同時に脳に伝えると、より正確に鍋つかみができるようになります。
  • これを「VLM 側で感覚を条件付ける」と言いますが、これが劇的に性能を上げました。

③ 動きを「音楽（周波数）」として捉える

• 昔のやり方： 動作を「次の瞬間、どこへ動くか」を一つずつ予測していました。
• 新しいコツ： 動作を**「リズムや波（周波数）」**として捉えることです。
  • 例え話：ロボットのアームの動きは、ただの点の羅列ではなく、滑らかな「曲」のようなものです。この「曲の旋律（周波数）」を予測するよう訓練すると、動きが非常に滑らかで正確になります。
  • これを「周波数領域の損失関数」と言いますが、計算コストをほとんど増やさずに、動きの精度を劇的に向上させました。

3. 不要だったもの（無駄な手間）

• 過去の映像を全部見る必要はない： 「過去の 10 秒間の映像を全部見せれば、もっと上手になる」と思われがちですが、実は**「現在の映像」だけで十分**でした。過去の映像はノイズになるだけでした。
• 「未来の映像を予測する」のは高すぎる： 「未来の映像を想像して、それに基づいて動く」という高度な技術（世界モデル）は確かに性能を上げましたが、訓練にかかる時間が 3 倍になってしまいました。コストパフォーマンスを考えると、今回は採用しませんでした。

4. 結果：「VLANeXt」の活躍

このレシピで作られたVLANeXtは、以下の点で素晴らしい成果を上げました。

• 小さいのに強い： 既存の巨大なモデル（70 億パラメータなど）よりも、モデルサイズは小さい（25 億パラメータ）のに、テストの成績（成功率）は最高でした。
• どんな状況でも強い： 照明が変わったり、背景が変わったり、言葉の言い回しが違ったりしても、ロボットはパニックにならずにタスクを完了しました。
• 実世界でも活躍： 実験室だけでなく、実際のロボットアームを使って「棚の整理」や「引き出しの開閉」などの作業でも成功しました。

まとめ

この論文は、「もっと大きく、複雑なモデルを作ればいい」という考え方を一転させ、**「正しい設計（レシピ）をすれば、小さくても賢く、頑丈なロボット AI が作れる」**ことを証明しました。

著者たちは、このレシピとコードを公開しています。これにより、世界中の研究者が同じ土俵で実験でき、より良いロボット AI を一緒に作っていけるようになります。

一言で言えば：
「ロボットを動かす AI を作る際、『頭と手足の通訳役』を挟み、『体の感覚』を脳に直接教え、『動きを音楽のように』捉えるというレシピがあれば、小さくて最強のロボットが作れるよ！」という発見です。

技術概要

VLANeXt: 強力な VLA モデル構築のためのレシピ

技術的サマリー（日本語）

本論文「VLANeXt: Recipes for Building Strong VLA Models」は、ロボット制御におけるビジョン・ランゲージ・アクション（VLA）モデルの設計空間を体系的に再評価し、効果的な設計選択を特定することで、高性能かつ効率的な VLA モデル「VLANeXt」を提案する研究です。

1. 背景と課題（Problem）

近年、大規模基盤モデルの発展により、視覚と言語の理解を活用した汎用的なロボット制御（VLA）が注目されています。しかし、現在の VLA 研究は以下の課題に直面しています。

• 断片的な研究状況: 多くのグループが独自のモデルを提案していますが、トレーニングプロトコルや評価設定が統一されておらず、どの設計選択が真に重要なのかを特定することが困難です。
• 「原始のスープ」状態: 多くのアイデアが存在するものの、構造化された理解が欠如しており、経験則的な試行錯誤に頼っている状態です。
• 評価の不一致: 異なるベンチマークや設定での比較により、モデルの真の性能や汎化能力を公平に評価するのが難しい状況です。

2. 手法とアプローチ（Methodology）

著者らは、RT-2 や OpenVLA に似たシンプルな VLA ベースラインから出発し、3 つの主要な次元に沿って設計選択を体系的に検討・検証しました。すべての実験は、標準的なタスク性能を測る「LIBERO」と、様々な摂動に対する頑健性・汎化能力を測る「LIBERO-plus」の統一されたフレームワークと評価設定で行われました。

検討した 3 つの次元

1. 基盤コンポーネント (Foundational Components):

   • ポリシーモジュール設計: テキストトークンの再利用ではなく、独立したポリシーヘッド（特にメタクエリを用いた設計）を導入することで性能向上を確認。
   • VLM とポリシーの接続: 「緩い結合（Loose）」、「密な結合（Tight）」、「ソフト結合（Soft）」を比較。学習可能なクエリバッファを介した「ソフト結合」が最も効果的であることを発見。
   • 学習目的: 離散化分類よりも、フローマッチング（Flow Matching）や回帰（Regression）などの連続的な目的関数が優れていることを確認。
   • VLM バックボーン: 強力な VLM（Qwen3-VL-2B など）が性能向上に寄与することを確認。

2. 知覚の必須要素 (Perception Essentials):

   • 時系列履歴: 過去のフレームを追加しても性能は向上せず、むしろノイズとなる可能性を示唆（現在のフレームのみで十分）。
   • マルチビュー: 第三者視点と手首カメラ（Wrist camera）を組み合わせることで、空間的な曖昧さを解消し性能が大幅に向上。
   • 固有受容感覚（Proprioception）の条件付け: ロボットの内部状態（関節角度など）を VLM 側に入力して条件付けることが、ポリシーモジュール側に入力するよりも効果的であることを発見。

3. アクションモデリングの視点 (Action Modelling Perspectives):

   • アクションチャンキング: 単一ステップではなく、複数の未来ステップをまとめて予測（チャンクサイズ 8）することで、一貫性のあるアクションシーケンスを生成。
   • 時間系列予測の視点: アクション生成を時系列予測問題として捉え、**周波数領域（Frequency Domain）**での損失関数を補助的に導入することで、計算コストをほぼ増やさずに性能を向上。
   • ワールドモデリング: 将来の画像を予測するタスクを追加すると性能は向上するが、トレーニング時間が 3 倍になるため、実用性から除外。

3. 主要な貢献と提案モデル（Key Contributions & VLANeXt）

上記の検討から導き出された 12 の主要な知見を統合し、VLANeXtというモデルを構築しました。

• モデル構成: Qwen3-VL-2B を基盤とし、ソフト結合によるメタクエリを介した VLM-ポリシー接続、マルチビュー入力、VLM 側での固有受容感覚条件付け、フローマッチング損失、周波数領域の補助損失を採用。
• 設計哲学: 大規模なモデルスケールやタスク固有のエンジニアリングに依存せず、原理的な設計選択によって高性能を実現。
• オープンソース: 再現性を高め、コミュニティが設計空間を探索できるよう、統一された軽量なコードベースを公開予定。

4. 実験結果（Results）

VLANeXt は、既存の最先端（SOTA）モデルを凌駕する結果を示しました。

• LIBERO ベンチマーク:
  • 標準タスク（Spatial, Object, Goal, Long）において、OpenVLA-OFT（7B パラメータ）やπ0 などの SOTA モデルを上回る成功率を達成。
  • 特に、VLANeXt は2.5B パラメータという比較的小さなモデルサイズでありながら、7B モデルである OpenVLA-OFT を上回る性能（LIBERO 平均 97.4% vs 97.1%）を示しました。
• LIBERO-plus ベンチマーク（頑健性・汎化）:
  • 照明、背景、カメラ位置、物理的レイアウト、言語指示の書き換えなど、多様な摂動に対するテストで、OpenVLA-OFT よりも約 10% 高い成功率（平均 80.1% vs 69.6%）を記録。
  • 未知の環境変化に対する強力な汎化能力を証明しました。
• 実世界評価:
  • 単腕（Franka Emika）および双腕（Aloha）ロボットを用いた実機実験（テーブル清掃、引き出し操作、バスケット持ち上げなど）において、OpenVLA-OFT やπ0 よりも高い成功率を達成。
  • 双腕タスクに対しては、双腕データでの事前学習を行わずとも適応可能であることを示し、形態への適応性（Cross-embodiment adaptability）の高さを示しました。

5. 意義と結論（Significance）

本論文の意義は以下の点にあります。

1. 体系的な設計指針の確立: VLA 開発における「試行錯誤」から「原理に基づく設計」への転換を促す、具体的な「レシピ」を提供しました。
2. 効率性の重視: 単なるモデルの巨大化（スケーリング）ではなく、適切なアーキテクチャ設計（ソフト結合、周波数領域損失など）によって、小規模モデルでも SOTA 性能を達成できることを示しました。
3. コミュニティへの貢献: 統一された評価プロトコルとコードベースの公開により、今後の VLA 研究の再現性と発展を加速させる基盤を提供します。

結論として、VLANeXt は、VLA モデルの設計において「どこに情報を注入するか（VLM 側 vs ポリシー側）」や「時系列構造をどう扱うか（周波数領域）」といった微細な設計選択が、モデルの性能に決定的な影響を与えることを実証しました。