🤖 AI

Hybrid Training for Vision-Language-Action Models

本論文は、推論中の思考生成をスキップすることで遅延を削減し実用性を向上させつつ、トレーニング中に思考連鎖推論を活用して性能を向上させるビジョン・言語・アクションモデル向けのハイブリッドトレーニング（HyT）というフレームワークを導入する。

原著者： Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

原著者： Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、赤いブロックを拾ってカップに入れるといった家事を教える場面を想像してください。

従来の方法：「考える者」と「実行する者」の対立
最近、研究者たちはロボットが動く前に「声に出して考える」ことを試みました。これは、学生に方程式を解く前に数学のステップを書き出すよう求めるようなものです。この「思考連鎖（Chain-of-Thought: CoT）」アプローチにより、ロボットは賢くなり、より難しい問題を解決できるようになりました。しかし、大きな欠点がありました：それは遅かったのです。

単純な質問に答える前に、すべての思考を書き出すのに10 分もかかる学生のように、これらのロボットは実生活にはあまりにも遅すぎました。ロボットがすべての動作の前に数秒間立ち止まって「考える」必要があるなら、落ちる物体をキャッチしたり、コンベアベルト上で滑らかに移動したりするなど、素早い反射神経を必要とするタスクには役に立たなくなります。

新しい解決策：ハイブリッド訓練（HyT）
この論文の著者たちは、単純な問いを投げかけました：ロボットは実際に作業中に「声に出して考える」必要があるのでしょうか、それとも訓練中に「考える」方法を学ぶだけでよかったのでしょうか？

彼らは**ハイブリッド訓練（HyT）**と呼ばれる手法を開発しました。それがどのように機能するかを、簡単な比喩を使って説明します。

料理学校を想像してください。

従来の方法（ECoT）： 料理人（ロボット）は、調理中にすべての切り方やかき混ぜ方について、詳細なレシピを書き、その理由を説明することを強いられます。これにより彼らは優れた料理人になりますが、調理は非常に遅くなります。
ハイブリッド方法（HyT）： 料理人は特別な方法で訓練されます。
- 時には、レシピを書き、自分の思考を説明する練習をします（「なぜ」を学ぶ）。
- 時には、誰かが書いたレシピに従う練習をします。
- 最も重要なのは、すべての推論知識をすでに内面化させた状態で、ただ調理する（動作を実行する）練習をすることです。

結果：「熟練した直感」
この論文は、学習段階でロボットに「考える」ことを訓練することで、ロボットはある種の熟練した直感を身につけると主張しています。これは、レシピを読む必要も、独り言を言う必要もない熟練した料理人のようなものです。彼らは思考プロセスをこれほどまでに練習してきたため、何をすべきかを正確に「知っている」のです。

ロボットが実際に作業を行うとき（推論時）：

「考える」ステップをスキップします。 直接行動に移ります。
速いです。 標準的なロボットと同じ速度で移動します（「考える者」ロボットのおよそ 3 倍の速さです）。
賢いです。 「考える」練習から学んだため、作業中に声に出して考えていなくても、思考を教えられなかったロボットよりも優れたパフォーマンスを発揮します。

ロボットの「3 つのモード」
このハイブリッド訓練の素晴らしい点は、ロボットが柔軟であることです。特定の指示トークン（小さなキーワード）を与えることで、どの「モード」を使用するかを指示できます。

「実行（Act）」モード： ロボットは素早く作業を行います（実世界での使用のデフォルト）。
「思考（Think）」モード： ロボットは立ち止まり、計画を声に出して説明します（人間がロボットの思考内容を確認したい場合に有用です）。
「追従（Follow）」モード： ロボットは自分の考えを無視し、人間の詳細な指示を厳密に守ります。

実験が示したもの
チームは、コンピュータシミュレーションと実機のロボットアーム（UFactory xArm 6）でこれをテストしました。

シミュレーション内： ハイブリッド訓練を受けたロボットは、標準的なロボットよりも複雑な積み上げや配置タスクで優れており、「考える」ロボットよりもはるかに速かったです。
実世界で： 本物のテーブルに本物の物体（バナナ、立方体、マグカップなど）がある環境では、ハイブリッドロボットは**63%の成功率を達成し、標準ロボットは41%**でした。特に、以前に見たことのない新しい厄介な状況への対応において優れていました。

結論
この論文は、「考える」ことは学習のための強力なツールですが、実行のためのツールである必要はないと結論付けています。ハイブリッド訓練を使用することで、複雑な推論をロボットに内面化させ、迅速かつ効率的に行動させることができます。これにより、思考者の知性と実行者の速度という、両方の利点を兼ね備えた世界を実現できます。

技術的サマリー：ビジョン・言語・アクションモデルのためのハイブリッド学習

問題定義

ビジョン・言語・アクション（VLA）モデルは、大規模な事前学習済みビジョン・言語モデル（VLM）をロボティクスデータセットで微調整することで、汎用ロボット制御の有効なアプローチとして登場しました。しかし、性能と推論効率の間には重大なボトルネックが存在します。Embodied Chain-of-Thought（ECoT）のような最近の戦略は、モデルにアクションを実行する前に中間的な言語的「思考（推論の痕跡）」を生成させることで性能を向上させます。これらの中間出力はエージェントの計画と汎化能力を強化しますが、推論レイテンシを大幅に増加させます。長系列のアクションを必要とする現実世界のロボット操作において、この遅延は使い勝手と制御周波数に悪影響を及ぼします。

本研究が扱う中心的な問いは、VLA における性能向上を達成するために、長い思考連鎖の生成が厳密な前提条件であるかという点です。著者らは、CoT による性能向上がテスト時の思考生成そのものから来るのではなく、学習段階における推論パターンの内部化に由来すると仮定しています。彼らは、モデルが学習段階で推論の痕跡から学ぶことで、高い精度で直接アクションを予測できる「熟練した直感」（人間の認知におけるシステム 1 思考に相当）を習得できると提案しています。

手法：ハイブリッド学習（HyT）

本論文は、VLA が推論の痕跡から学びつつ、高速な直接アクション推論を行う能力を維持することを可能にするフレームワークである**ハイブリッド学習（HyT）**を導入します。

中核概念

HyT は、VLA をモダリティ変数（ $m$ ）に基づいて複数の条件付き分布を学習できる単一モデルとして扱います。「思考（ECoT）」と「行動（標準 VLA）」のために別々のモデルを学習させるのではなく、HyT は 3 つの異なるモードを処理するために単一のパラメータ集合（ $\theta$ ）を共同最適化します。

行動モード（ $m_a$ ）： モデルは観察とタスク記述のみを条件として、直接アクションを予測します（ $p(a_t | x_t, l)$ ）。これは標準的な VLA 推論を模倣します。
思考モード（ $m_\tau$ ）： モデルはまず中間思考（ $\tau_t$ ）を予測し、その後その思考を条件としてアクションを予測します（ $p(a_t, \tau_t | x_t, l)$ ）。これは ECoT に類似しています。
追従モード（ $m_f$ ）： モデルは外部ソース（人間やオラクルなど）から提供された思考/指示を条件としてアクションを予測し、階層システムにおける低レベル方策として機能します（ $p(a_t | x_t, \tau_t, l)$ ）。

学習目的

学習目的は、各分布の負の対数尤度損失の重み付き和として定式化されます。
$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$

バッチの可変性を低下させること（すべてのデータポイントに 3 つのモードが含まれる場合に発生する）を避けるため、著者らはモンテカルロ推定を採用します。学習中、各バッチにおいて、モデルは係数（ $w_\alpha, w_\tau, w_f$ ）によって定義された確率に従って入力と出力をサンプリングします。実験において、著者らは係数 $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$ を使用し、推論の痕跡からの学習信号を最大化するために「思考」分布を優先しました。

推論の柔軟性

テスト時には、モデルの動作を制御するためにモダリティ変数が明示的に設定されます。

デフォルト（行動）： モデルは $m = \langle act \rangle$ で指示され、直接アクションを出力します。これにより、学習中に内部化された知識の恩恵を受けつつ、標準 VLA の推論速度（A100 GPU で約 3 Hz）を維持します。
代替モード： モデルは解釈可能性のために「思考」モードに切り替えるか、オラクルや人間から提供された微細な指示を実行するために「追従」モードに切り替えることができます。

主要な貢献

HyT フレームワーク： 標準的な VLA 学習、ECoT、および階層的な指示追従を単一のモデルアーキテクチャに統合する新しい学習戦略。
学習と推論の分離： モデルが学習中に推論の痕跡（CoT）から学習し、推論中は直接アクションを実行できることを実証。これにより、推論レイテンシを負うことなく推論プロセスをモデルの内部表現に効果的に「蒸留」します。
柔軟な推論モード： 同一モデル内で直接アクション予測、思考生成、指示追従の間を動的に切り替える能力。速度と解釈可能性の間のトレードオフを提供します。
実証的検証： 模擬ベンチマーク（ClevrSkills、LIBERO）および現実世界のロボットタスク（UFactory xArm 6）における広範な評価。

実験結果

模擬ベンチマーク

ClevrSkills： HyT 学習モデルは、標準 VLA を一貫して上回り、すべてのデータセットサイズ（300 から 3000 のデモンストレーション）で一般的に ECoT および階層的（HiRobot）ベースラインを上回りました。特に、HyT は複雑で長期のタスクにおいて最も顕著な改善を示しました。
- 推論速度： HyT と標準 VLA は約 3 Hz を達成しましたが、ECoT は 3 倍遅く、HiRobot は 4 倍遅かったです。
- データ効率： 小規模データセット（300 デモ）で学習した HyT モデルは、ベースラインと比較して優れた性能を示しました。これは、データが不足している場合でも「思考」分布が強力な学習信号を提供することを示唆しています。
LIBERO： OFT（最適化ファインチューニング）レシピと組み合わせると、HyT は「Goal」および「Long」タスクスイートにおいて特に最先端の結果を達成し、他の CoT ベースおよび標準 VLA アプローチを上回りました。

現実世界の実験

設定： 2 本指グリッパーを備えた UFactory xArm 6 上で実験を実施。
性能： HyT は OpenVLA ベースラインを大幅に上回り、OpenVLA の 41% に対して63% の全体の成功率を達成しました。
汎化： 性能差は分布外（OOD）タスクにおいて最も顕著でした（54% 対 29%）。これは、HyT がモデルの新しい物体配置やシナリオへの汎化能力を向上させることを示しています。
定性的分析： OpenVLA と比較して、HyT モデルはピック＆プレース位置への到達精度が高く、物体選択におけるエラーが少なかったことが示されました。

除去実験（アブレーション研究）

係数： 「思考」分布は小規模データセットにおいて重要であることが判明しました。一方、「追従」分布は、モデルが外部オラクルの指示に従う必要がある場合に性能を向上させました。
推論モード： 評価された設定において、「行動」と「思考」モードは同様の性能を示しました。これは、素朴な操作タスクにおいてはテスト時の中間思考生成が厳密に必要ではないという仮説を支持しています。

意義と主張

本論文は、VLA における CoT 技術の主な有用性は、実行中の必須の中間ステップとして機能することではなく、モデルの学習された表現を改善することにあると主張しています。推論パターンを内部化することで、モデルは堅牢で高周波数の制御を可能にする「専門家直感」を発達させます。

著者らは、HyT を高性能な推論とリアルタイムロボット制御の間のギャップを埋めるスケーラブルな解決策として位置付けています。彼らは、高度な記憶や推論を必要とする複雑なタスクは依然としてテスト時の CoT の恩恵を受ける可能性がある一方で、多くの標準的な操作タスクは HyT を活用することで低推論コストで堅牢に解決できると論じています。このフレームワークは、レイテンシが重要な現実世界の環境において、推論ベースの学習の汎化の恩恵を犠牲にすることなく、高性能な VLA を展開するための実用的な道筋を提供します。