💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

本論文は、Vision-Language-Action モデル（VLA）が、内部のテキスト潜在変数を補間によって操作するという手法を用いることで、タスク外挿および空間的過学習という課題を克服し得ることを示しており、その手法は新規指示ベンチマークにおいて 83% の成功率を達成し、隠れた人間には読み取れないプロンプト注入の可能性を明らかにするものである。

原著者： Quanyi Li

公開日 2026-05-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Quanyi Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットシェフに料理を教える状況を想像してください。あなたは 2 つの具体的なレシピを見せます：

レシピ A: 「クリームチーズをボウルに入れてください。」
レシピ B: 「ボウルをキャビネットの上に置いてください。」

ロボットはこの 2 つの動きを完璧に学びます。レシピ A も、レシピ B も実行できます。しかし、次にあなたは新しい質問を投げかけます：「クリームチーズをキャビネットの上に置いてください。」

論理的には、ロボットはこれを実行できるはずです。チーズを掴む方法も、キャビネットに届く方法も知っています。必要なのは、すでに持っている 2 つのスキルを組み合わせるだけです。しかし、この論文によると、ほとんどの最先端のロボット脳（ビジョン・ランゲージ・アクションモデル、または VLA と呼ばれる）はこの点で惨めに失敗します。ロボットは立ち往生し、まるで直前のステップでキャビネットやチーズを使ったことさえなかったかのように振る舞います。

問題点：ロボットは「シェフ」ではなく「オウム」である

著者たちは、これらのロボットが世界を真に理解しているわけではないことを発見しました。代わりに、彼らは特定のシーンを暗記しているのです。

練習テストの答えを暗記しているが、数学を理解していない生徒を想像してください。「2 + 2 は何？」と聞かれれば「4」と答えます。しかし、「数字が赤インクで書かれていたら、2 + 2 は何？」と聞かれれば、パニックになるかもしれません。

ロボットのケースでは、それは「クリームチーズ」が、トレーニング中にクリームチーズを見たテーブル上の特定の場所と常に結びついていると学習しています。「クリームチーズ」は移動可能な物体であるという理解ではなく、「クリームチーズ」とは「その特定の場所」そのものであると考えています。論文はこの現象を**「空間的過適合（Spatial Overfitting）」**と呼んでいます。ロボットはトレーニング動画で物が「どこに」あったかにあまりにも集中しすぎて、実際の瞬間に物が「どこにあるか」を無視してしまっているのです。

解決策：「魔法のレシピカード」（テキスト潜在変数）

研究者たちは疑問に思いました：ロボットは本質的に賢いのか、それとも単に壊れているだけなのか？

彼らは、ロボットの脳の中に**テキスト潜在変数（Text Latent）**と呼ばれる隠れた「材料」を発見しました。

アナロジー: ロボットの脳を巨大な図書館だと想像してください。「チーズをボウルに入れて」という命令を与えると、ロボットは内部メモリから特定の目に見えない「レシピカード」を引き出します。このカードは読み取れる言葉で書かれているわけではなく、ロボットが正確にどのように動くかを指示する、電気信号の複雑なパターン（ベクトル）です。
発見: 研究者たちは、この目に見えない「ボウルに物を置く」ためのレシピカードを取り出し、それをロボットの脳に注入すれば、言葉を与えなくてもロボットはその動作を完璧に実行できることを発見しました。このカードこそが命令そのものだったのです。

画期的な突破：カードを混ぜる（テキスト潜在変数の補間）

真の魔法が起きたのは、「キャビネット上のクリームチーズ」という問題を解決しようとした時でした。

彼らはタスク A（チーズからボウルへ）の目に見えない「レシピカード」と、タスク B（ボウルからキャビネットへ）のカードを取り出しました。そして、それら 2 つのカードを滑らかにブレンドしました。

アナロジー: 2 つの音楽トラックが流れていると想像してください。1 つはジャズ、もう 1 つはロックです。一方から他方へ突然切り替えるのではなく、ミキサーを使ってジャズを徐々にフェードアウトさせながらロックをフェードインさせます。
結果: ロボットの脳内でこれら 2 つの目に見えないレシピカードを「混ぜる」ことで、ロボットはスキルを正常に組み合わせることができました。チーズを掴み、キャビネットへ運び、落としました。

統計データ:

このトリックなしでは、ロボット（π0）はこれらの新しい組み合わせタスクにおいて、わずか**9%**の成功率しか達成できませんでした。
「混ぜる」というトリックを用いると、成功率は**83%**に跳ね上がりました。

これは、ロボットが最初からスキルを持っていたことを証明しました。問題は、それを自分でどう混ぜるかを見つけられなかっただけだったのです。「レシピカード」は存在しましたが、ロボットはそれらを混ぜ合わせるために人間の助けを必要としていたのです。

大規模テスト：「Libero-OOD」ベンチマーク

これが単なる偶然ではないことを証明するため、著者たちはLibero-OODと呼ばれる新しいテストを作成しました。このテストには、ロボットが既知のスキルを新しい方法で組み合わせなければならない 20 の厄介なタスクが含まれています。

結果: 彼らは世界最高峰のロボット脳（UniVLA、OpenVLA、π0-fast など）をテストしました。どれ一つとして、自力でこれを達成できませんでした。すべてのスコアは21% 未満でした。
結論: 最も賢いロボットでさえ、現在はそのトレーニングデータに「立ち往生」しています。助けなしでは一般化できず、「枠を超えて考える」ことができません。

警告：「プライベートな命令」

研究者たちは、少し不気味なことも発見しました。これらの「レシピカード」が単なる数字のパターンであるため、それらをテキストに戻すことができるのです。

タスクの「レシピカード」を読み取ろうとすると、結果として得られるテキストは意味不明なもの（QSize、black、plate のようなもの）でした。
しかし、この意味不明なテキストをロボットに与え直すと、それでも機能しました！
比喩: これは、ロボットだけが理解できる秘密のコードを持っているようなものです。普通の文章の中に秘密の命令を隠し、他の誰にも気づかれずにロボットに実行させることができます。これは「バックドア」と呼ばれ、これらのモデルが私たちが思っていたよりも神秘的であることを示しています。

まとめ

この論文が私たちに教えてくれるのは、今日の最も賢いロボットは2 つの曲を完璧に演奏できるが、新しい旋律を即興で演奏できないミュージシャンのようなものだということです。彼らは練習セッションからの正確な音符と位置を暗記していますが、音楽が少し変わると失敗してしまいます。

著者たちは、異なる 2 つの曲からの「楽譜」（テキスト潜在変数）を手動で混ぜれば、ロボットが新しい旋律を演奏できることを示しました。これはロボットに才能があることを証明しますが、自らのスキルを組み合わせる能力が欠けていることを示しています。この論文は、単にシーンを暗記するのではなく、実際に自らのスキルを混ぜることを学べるロボットを構築するために、新しいテスト（Libero-OOD）を導入しています。

クアンイ・リーによる論文「VLAs は制約されているが、新規指示への汎化能力を有している」の詳細な技術的サマリーです。

1. 問題定義

ビジョン・ランゲージ・アクションモデル（VLA）は、特定のデモンストレーションで微調整された場合、分布内タスクにおいて高い性能を示しています。しかし、**分布外（OOD）タスク、特に学習したスキルを新たな方法で再構成する外挿（extrapolation）**を必要とするタスクにおいては、著しく困難に直面しています。

核心的な課題: VLA は個別に「クリームチーズをボウルに入れる」および「ボウルをキャビネットの上に置く」を学習できても、構成要素となる運動プリミティブ（把持、到達）は既に学習済みであるにもかかわらず、外挿されたタスクである「クリームチーズをキャビネットの上に置く」を実行できない可能性があります。
問い: VLA は単に提示された軌道に過剰適合しているのか、それともより広範な汎化を支援する構成可能な内部表現を学習しているのか？
ギャップ: これを検証するための適切なベンチマークが存在しません。既存の OOD タスクは、（全く新しい物理法則を必要とするなど）難しすぎるか、あるいは容易すぎる傾向があります。著者らは、有効なベンチマークとは、モデルが既存のスキルを組み合わせることで解決できるはずであるが、現状では自律的に実行できていないタスクで構成されるべきであると提案しています。

2. 手法

本論文は、VLA（特にモデル $\pi_0$ ）の内部状態を調査・操作するための**機械的解釈可能性（Mechanistic Interpretability）**に基づくフレームワークを導入します。

A. テキスト潜在変数の抽出

著者らは、タスク固有のスキル表現がテキストトークン（タスク記述）の隠れ状態にエンコードされていると仮定しています。

定義: **テキスト潜在変数（ $T$ ）**とは、特定のタスクについて、すべてのトランスフォーマー層および複数のデモンストレーションエピソードにわたるテキストトークンの隠れ状態を平均化して導出されたタスク固有のベクトルです。
抽出: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ ここで、 $h_T(i)$ はタイムステップ $i$ におけるテキストトークンの隠れ状態を表します。
機能: $T$ をモデルの残差ストリーム（具体的にはテキストトークンの隠れ状態）に注入することで、元のテキストプロンプトがなくても関連するタスクの動作を再構成できます。

B. テキスト潜在変数補間（TLI）

外挿を達成するために、著者らは 2 つのベースタスクのテキスト潜在変数を混合し、新しい複合動作を生成することを提案します。

メカニズム: 離散的なテキストトークンを補間する（不可能である）代わりに、残差ストリーム内で**テキスト潜在変数（ $T_1$ および $T_2$ ）**を補間します。
数式: タイムステップ $i$ において、隠れ状態は以下のように修正されます：
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
ここで、 $\alpha = i/\lambda$ はタスク 1 からタスク 2 への遷移速度を制御します。
効果: これにより、モデルはタスク 1 の動作から開始し、タスク 2 へと滑らかに遷移するように誘導され、サブ軌道を「継ぎ接ぎ」することで、新規の外挿タスクを解決します。

C. Libero-OOD ベンチマーク

著者らは、標準的な LIBERO スイート（libero-goal, libero-spatial, libero-object）から派生した 20 の外挿タスクを含む新しいベンチマークスイート libero-ood を導入します。

設計: 各タスクは、あるタスクから学習した把持位置と、別のタスクから学習した配置位置を組み合わせることを要求します。これら 2 点を結ぶ具体的な軌道は、トレーニングにおいて一度も見られていません。
目的: VLA が学習したスキル表現を自律的に再構成できるかどうかを検証することです。

3. 主要な貢献

構成可能なスキル表現の発見: 本論文は、VLA（特に $\pi_0$ ）が個別でありながら構成可能なスキルの内部表現を有していることを実証しています。モデルは自律的にそれらを組み合わせることはできませんが、テキスト潜在変数の操作を通じて強制的に組み合わせさせることは可能です。
テキスト潜在変数補間（TLI）: 推論時の介入手法として、タスク表現を混合して外挿を可能にする新規技術です。再トレーニングなしで新規タスクにおける成功率を向上させます。
Libero-OOD ベンチマーク: スキルの再構成能力を分離して評価するために設計された厳格なベンチマークです。ロボットにとって不可能なタスクを除外し、モデルの既存の知識ベースによって理論的に解決可能なタスクに焦点を当てています。
空間的過剰適合の特定: 論文は、VLA が物体の同一性や現在の状態を理解するのではなく、トレーニングデータからの固定された空間的位置と物体名を関連付けてしまうという、重要な失敗モードを明らかにしました。

4. 実験結果

Libero-OOD における性能

ベースラインの失敗: 最先端の VLA（ $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft）は、標準的な LIBERO タスクで約 95% の成功率を達成したにもかかわらず、libero-ood の 20 の外挿タスクでは21% 未満の成功率にとどまりました。
TLI の成功: $\pi_0$ に TLI を適用したところ、libero-ood における成功率が**9% から 83%**に向上しました。
比較: 本ベンチマークにおいて 21% 以上の成功率を達成した他の VLA は存在せず、外挿に関する現在のアーキテクチャにおける体系的な限界が浮き彫りになりました。

タスク再構成とセキュリティへの示唆

再構成: 空白のプロンプトにテキスト潜在変数を注入することで、 $\pi_0$ は 80% 以上の成功率でタスクを完了しました。これは、潜在変数が本質的なタスク知識を捉えていることを証明しています。
アンエンベディング: テキスト潜在変数をトークン ID にアンエンベディングすると、「不明瞭なプロンプト（しばしば読めない）」が生成され、それでもモデルに指示を与えることができました。これは、プライベートな指示やバックドア攻撃に対する潜在的な脆弱性を示唆しています。

失敗モードの分析：空間的過剰適合

観察: 物体（例：「クリームチーズ」）が新しい場所に移動された場合、指示されたにもかかわらず、モデルは物体の現在の位置を無視し、トレーニングデモンストレーションでその物体が表示された位置へ移動することが多々ありました。
証拠: 物体の位置を入れ替えた実験において、 $\pi_0$ （および他の VLA）は、実際の物体ではなく、物体名の「トレーニング上の位置」へ一貫して移動しました。
結論: VLA は空間的過剰適合を示しており、物体と目標の真の理解を学習するのではなく、物体名を固定座標にマッピングしています。

5. 意義

OOD 汎化の再定義: 本論文は、現在の VLA が「壊れている」のではなく「ロックされている」と主張します。これらは必要なスキルを有しているものの、自律的にそれらを再構成するメカニズムを欠いています。提案されたベンチマーク（libero-ood）は、この潜在的な能力を測定するための基準を提供します。
ツールとしての解釈可能性: 機械的解釈可能性（テキスト潜在変数）を用いることで、著者らは失敗が知識の欠如ではなく、構成の失敗であることを証明しました。これにより、研究の焦点はより多くのデータ収集から、モデルの内部構成メカニズムの改善へとシフトします。
安全性とセキュリティ: テキスト潜在変数が不明瞭なプロンプトにアンエンベディングされ得るという発見は、ロボットシステムにおける敵対的攻撃やバックドアの新たなベクトルを浮き彫りにしました。
将来の方向性: 結果は、将来の VLA アーキテクチャが、TLI のような事後トレーニングのトリックに依存して潜在能力を解き放つのではなく、学習した表現の再構成を明示的にサポートするように設計されるべきであることを示唆しています。

要約すると、本論文は VLA が汎化の潜在能力を有しているが、現状では空間的過剰適合と学習したスキルの自律的構成 inability によって妨げられているという強力な証拠を提供しています。libero-oodとTLIの導入は、コミュニティにとって新たなベンチマークを提供すると同時に、ロボットポリシーの内部「ブラックボックス」を調査する方法を提供するものです。