💻 computer science

From Foundation to Application: Improving VLA Models in Practice

本論文は、大規模なマルチエンボディメント（多形態）事前学習による汎化性能の向上、全身操作をサポートするためのアクションスペースの拡張、および予測ダイナミクスモデリングによる時間的推論の改善を通じて、研究室での研究と実世界への応用との間の溝を埋めるVLA基盤モデルであるLingBot-VLA 2.0を導入する。

原著者： Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong Wang, Shuailei Ma, Xinyang Wang, Yibin Liu, Shuai Yang, Tianxiang Zhou, Kejia Zhang, Lei Zhou, Cheng Su, Nan Xue, Bin Tan

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong Wang, Shuailei Ma, Xinyang Wang, Yibin Liu, Shuai Yang, Tianxiang Zhou, Kejia Zhang, Lei Zhou, Cheng Su, Nan Xue, Bin Tan, Han Zhang, Youchao Zhang, Fei Liao, Xing Zhu, Yujun Shen, Kecheng Zheng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある優秀なロボットの学生を想像してみてください。彼らは、完璧に制御された静かな教室（「実験室」）で何年も勉強してきました。明るい照明の下、テーブルの上に何も置かれておらず、先生が正確な指示を与えてくれる時には、パズルを解くのが非常に得意です。しかし、いざキッチンへ連れて行って夕食を作らせようとすると、彼は立ちすくんでしまいます。よろめく椅子や、滑りやすいスプーン、あるいは動く床といったものにどう対処すればいいのか、彼には分からないのです。

この論文は、その「教室のロボット」を「キッチン対応のロボット」へと変貌させるための大幅なアップグレードである、LingBot-VLA 2.0を紹介しています。著者たちは、ロボットを実世界で役立つものにするためには、「多様性」、「動き」、そして「先読み」という3つの特定の問題を解決する必要があると主張しています。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「スーパー学生」のトレーニングキャンプ（汎用性）

問題点： 従来のロボットは、非常に限定的で特定のデータに基づいて訓練されていました。それは、特定の空いているコースでのみ運転を教わる学生のようなものです。違う車や、雨の日の道路には対応できませんでした。
解決策： チームは、6万時間の映像を用いた大規模な「トレーニングキャンプ」を構築しました。

ミックス： 彼らは単一のタイプのロボットだけを使用したのではありません。20種類の異なるロボットの体（片腕のもの、両腕のもの、車輪付きのもの、脚を持つものなど）からデータを収集しました。
人間のタッチ： さらに、人間がどのように手や体を動かしてタスクを行うかを示す、1万時間の人間視点のビデオ（GoProを頭につけたような映像）も追加しました。
結果： この多様な経験という「食事」をロボットに与えることで、ロボットはジェネラリスト（汎用的な能力を持つ者）になることを学びました。もはや一つの部屋だけのスペシャリストではなく、異なるロボットの体や、乱れた環境にも適応できる「万能選手」となったのです。

2. 「全身のダンス」（拡張されたアクションスペース）

問題点： ほとんどのロボットは、椅子に座って手が机に縛られている人のように、腕の動きだけを訓練されてきました。彼らは、周囲を見渡すために頭を動かしたり、腰をひねったり、車輪で転がったり、あるいは繊細な指を使ったりすることができませんでした。
解決策： LingBot-VLA 2.0は、全身を動かすことを学習しました。

比喩： かつては指だけで鍵盤を押すことしか許されていなかったピアニストを想像してください。今では、彼らは立ち上がり、ピアノのそばまで歩き、ベンチを調整し、楽譜を読むために頭を回し、さらには足の指を使ってリズムを刻むこともできるようになりました。
能力： 新しいモデルは、ロボットの頭部、腰、移動ベース（車輪）、そして器用な手を制御します。これにより、冷蔵庫まで歩いて行き、ドアを開け、ボトルを掴むといった、コーディネーションを必要とする複雑な作業を、一連の滑らかな動作としてこなすことが可能になります。
結果： これにより、ロボットは連携が必要な複雑な仕事、例えば冷蔵庫に近づいてドアを開け、ボトルを掴むといった動作を、一つのスムーズな動きとして遂行できるようになります。

3. 「水晶玉」（予測ダイナミクス）

問題点： 古いロボットは、今まさに見ているものに対して反応していました。もしボールが転がり始めたら、それが自分にぶつかるまで待ってから反応するのです。彼らには「時間的な推論」、つまり「次に何が起こるか」を考える能力が欠けていました。
解決策： チームは、ロボットに未来を予測させる方法を教えました。

比喩： チェス盤を見て駒を動かすのではなく、駒を動かす前に、その手が打たれた後に盤面がどのようになっているかを予想しなければならないゲームを、ロボットはプレイしているのです。
仕組み： 彼らは、ロボットの学習を助けるために2人の「先生」を用いました。
1. デプス（深度）の先生： 物体がどれくらい離れているか（幾何学）をロボットに示します。
2. ビデオの先生： 時間とともに物事がどのように動くか（因果関係）をロボットに示します。
結果： ロボットは、シーンの「未来の状態」を想像できるようになりました。コップを押せば滑るだろう、ドアを開ければ開くはずだ、といったことを理解しています。これにより、単に反応するのではなく、先を見越して計画を立てることができるようになりました。

証明：「実世界の試験」への合格

これらの変更が実際に機能したかどうかをテストするために、研究者たちはロボットをGM-100ベンチマークと呼ばれる一連の困難なチャレンジに投入しました。

タスク： これらは単に「ブロックを拾う」といった単純なものではありません。「スナックを容器に仕分けする」「皿からおもちゃの骨を取り出す」「電子レンジからボウルを取り出す」といった、複雑で多段階の作業です。
結果： LingBot-VLA 2.0は、以前のバージョンや他のトップモデルを大幅に上回る成績を収めました。単にタスクの成功率が高いだけでなく、実世界の乱れた変化に対してもはるかに優れた対応を見せました。また、長い複雑なシーケンス（例えば、掃除をするために別の部屋へ移動するなど）においても、迷うことなく遂行できることを示しました。

まとめ

要約すると、LingBot-VLA 2.0は、以下のアップグレードを受けたロボットの脳です。

より適応力が高い（20種類の異なるロボットタイプと人間のビデオで訓練されている）。
より機動力がある（腕だけでなく、全身を動かすことができる）。
より先読みができる（数秒後の世界がどのように変化するかを予測できる）。

この論文は、これがロボットの知能を「実験室の成功」から「実用的な応用」へと進化させ、私たちの家庭や職場での活動に真に貢献できる準備を整えたものであると主張しています。

技術サマリー: LingBot-VLA 2.0

問題提起

Vision-Language-Action (VLA) 基盤モデルの最近の進歩にもかかわらず、ラボのベンチマークと実世界のロボットへのデプロイメントとの間には、依然として大きな乖離が存在します。現在のVLAシステムは、実用的なアプリケーションへの移行時に、以下の3つの主要な制限に直面することがよくあります：

限定的な汎用性: 既存のモデルは、多様なロボットのエンボディメント（異種構成）やデータソースに対して汎用化できないことが多く、特定のタスクセットや特定のハードウェアに限定された学習が行われています。
制限されたアクション空間: 多くのシステムは標準的な両腕操作に限定されており、複雑な実世界のタスクに不可欠な、移動ベース、腰、頭部、および器用な手などの全身の自由度（DoF）を制御する能力を欠いています。
弱い時間的推論: 現在のモデルは、将来のシーンの変化やアクションの結果を予測するのではなく、即時的な観察に反応する傾向があり、動的な環境における有効性を制限しています。

手法

著者らは、基盤レベルの能力と実用的なデプロイメントの間のギャップを埋めるために設計された改良型VLAシステムである LingBot-VLA 2.0 を提示しています。本手法は、以下の3つの機能ドメインに焦点を当てています：

1. 大規模かつマルチエンボディメントなデータキュレーション

汎用性を高めるため、著者らはデータ処理パイプラインを再設計し、約 60,000時間 の事前学習コーパスをキュレートしました：

ロボットデータ: 様々なDoF（腕、手、腰、移動ベース）を持つ 20種類の異なるロボット構成（シングルアーム、デュアルアーム、ハーフヒューマノイド、フルヒューマノイド・プラットフォームを含む）にわたる約50,000時間の軌跡。
エゴセントリックデータ: 約10,000時間の人間によるビデオ。
処理パイプライン: パイプラインには、以下の厳格なフィルタリングが含まれます：
- 品質管理: 軌跡の不連続性、異常な速度/加速度（ジャーク）、または静止信号（期間の95%以上）を含むエピソードの破棄。
- アライメント検証: ビデオフレームと状態信号の一貫性を確保するためのURDF投影および人間によるアノテーションの使用。
- エゴセントリック再構成: アクションを含まない人間ビデオに対して、システムはSLAMを用いてカメラポーズ推定および手ポーズ推定（MANOパラメータ）を行い、世界座標系における連続的な手の軌跡を再構成します。
統一表現: 異種混合の制御（腕、グリッパー、手、腰、頭、モビリティ）を単一のアクション空間に統合するために、55次元の標準的なベクトル表現が使用され、欠落している次元にはパディングが適用されます。

2. 拡張されたアクション空間とアーキテクチャ

モデルは、標準的なデュアルアーム構成を超えて、以下のものを収容するより広いアクション空間をサポートするように拡張されています：

全身制御: 頭部 (2D)、腰 (4D)、移動ベース (3D)、器用な手 (6D/12D)、および腕 (6D/7D)。
Mixture-of-Experts (MoE) アーキテクチャ: 著者らは、アクションエキスパート内に トークンレベルのロスフリー（loss-free）なスパースMoE を導入しています。
- 構造: 標準的なフィードフォワードネットワーク（FFN）を、一つの共有エキスパート（普遍的な事前知識用）と複数のルーティングされたエキスパート（専門的なモデリング用）の組み合わせに置き換えています。
- ルーティング: Softmaxによる競合を避けるために、トークンが独立して複数のエキスパートを活性化できる、シグモイドベースのルーティングメカニリズム（DeepSeek-V3に着想を得たもの）を利用しています。
- ロードバランシング: 明示的なロードバランシング損失を主要な目的関数に注入することなく、ルーティング補正バイアスを用いた補助損失フリー戦略を用いて、エキスパートの利用を均衡させています。

3. デュアルクエリ蒸留による予測ダイナミクス

時間的推論を改善するために、システムは Dual-Query Distillation フレームワークを用いた、将来予測をプロキシタスクとして定式化しています：

デュアルクエリ: 学習可能な2つのクエリ、 $Q_t$ （現在）と $Q_{t+T}$ （将来）が、視覚およびテキストトークンに付加されます。
ティーチャーモデル:
- LingBot-Depth: 現在および将来のフレームに対する深度表現を蒸留することで、幾何学的な監督を提供します。
- DINO-Video: ロボティクスに対応したビデオ表現モデル（因果的テンポラルアテンションを備えたDINOv3上に構築）であり、セマンティックな事前知識とモーションを認識した視覚的特徴を提供します。
目的: モデルは現在および将来の時間ステップの両方について、深度とビデオ特徴を予測するように訓練され、これによりVLAが将来のシーンの進化とアクションの結果について推論することを促します。

主な貢献

データの規模と多様性: 20種類の多様なロボットエンボディメントとエゴセントリックな人間ビデオをカバーする60,000時間の事前学習データセットの作成、および新しいパイプラインを通じた異種データソースの統合。
全身アクションモデリング: 統一されたアクション表現を介して、VLAの能力を複雑な全身の自由度（頭部、腰、移動ベース、器用な手）の制御へと拡張。
アーキテクチャの革新: モデル容量を効率的にスケールさせつつ、バランスの取れたエキスパート利用を維持する、トークンレベルのロスフリーなスパースMoEアーキテクチャの実装。
時間的推論: 深度およびビデオ表現モデルを活用して、将来の状態を予測し因果関係を推論する能力を高める、デュアルクエリ蒸留フレームワークの導入。

実験結果

著者らは、GM-100ベンチマーク（9つのバイマニュアル操作タスク）と2つのロングホライゾン移動操作タスクにおいてLingBot-VLA 2.0を評価しました。

バイマニュアル操作 (GM-100):
- Agilex Cobot Magic プラットフォームにおいて、LingBot-VLA 2.0は進捗スコア 66.2% および成功率 34.4% を達成し、LingBot-VLA 1.0 (58.2%/30.0%) および $\pi_{0.5}$ (59.1%/32.2%) を上回りました。
- Galaxea R1 Pro プラットフォームにおいて、進捗 34.6% および成功率 15.6% を達成し、 $\pi_{0.5}$ (27.4%/8.9%) を凌駕しました。
- 改善は、精密なオブジェクトグラウンディングと目標指向の実行を必要とするタスク（例：「キーホルダーの回収」はAgilexで成功率100%に到達）において最も顕著でした。
ロングホライゾン移動操作:
- Astribot S1（冷蔵庫の仕分け）および Cobot Magic-ARX X5（コンロの掃除）で評価。
- LingBot-VLA 2.0は、インドメインおよびアウトオブドメイン（OOD）の設定の両方において、一貫して $\pi_{0.5}$ を上回りました。
- OOD設定（摂動を加えた初期ポーズや未知のオブジェクト）において、LingBot-VLA 2.0は成功率において明確な優位性を維持し、タスクの全軌跡を完了する堅牢性を示しました。
アブレーション研究:
- アクションターゲット: 相対的な関節アクションは、絶対的なアクションよりも大幅に優れた結果を示しました (55.0% vs 33.7% の成功率)。
- 正規化: MeanStd正規化は、MinMaxやQ01-Q99と比較して、相対アクション分布のロングテール構造を保持するため、最良の結果 (55.0%) を得ました。
- 損失関数: 全体としてはL2損失が最も優れた性能を示しましたが、「ケチャップを絞り出す」のような接触の多いタスクではL1が優れていました。

重要性と主張

本論文は、LingBot-VLA 2.0が、VLA基盤モデルをラボの成功から実世界の適用可能性へと前進させるための実用的な一歩であることを主張しています。著者らは、実用的なVLAシステムは、単なるモデルやデータサイズのスケールアップを超えて、以下の特定の実世界の要求に対処しなければならないと論じています：

より広範なエンボディメントのサポート: ヘテロジニアスなロボット構成の取り扱い。
より豊かなアクション空間: 全身のダイナミクス制御の実現。
予測的理解: 動的なシーンの変化を予測するための時間的推論の強化。

これらの結果は、汎用性、アクション空間のカバー範囲、および予測ダイナミクスのモデリングを共同で強化することが、実用的なロボット能力の一貫した向上につながることを検証しています。この研究は、LingBot-VLA 2.0を単なるモデルの改善ではなく、基盤レベルのVLA能力を実世界のデプロイメントの複雑さに適合させるためのフレームワークとして位置付けています。