テクニカルサマリー：VLA表現からのタスク進捗のデコード

問題提起

Vision-Language-Action (VLA) モデルは、事前学習済みの Vision-Language Model (VLM) バックボーンを活用してオープン語彙のタスクをサポートする、ロボット操作のための汎用的なポリシーとして台頭しています。しかし、これらのモデルをデプロイする際には、タスク固有のファインチューニングが必要になることが多く、それが汎化性能の低下、言語感受性の減少、および知覚的な摂動に対する脆弱性を招く可能性があります。現在、これらのモデルの内部状態を実行時に監視する能力には決定的なギャップが存在します。既存の解釈可能性ツールは、モデルが世界について何を「知っているか」（例：物体の状態）をデコードすることはできますが、特定のタスクに対してポリシーがどの位置にいるかを監視する機能はまだ備わっていません。具体的には、外部の報酬信号やOOD（分布外）ラベルを必要とせずに、停滞した実行やOODによる失敗を検出するために不可欠な、タスクの進捗（task progress）——すなわち、軌跡における正規化された残り時間——を内部的に監視するツールが不足しています。

メソドロジー

著者らは、VLAモデル $\pi_{0.5}$（PaliGemmaバックボーンに基づく）の内部活性化から、タスクの進捗が線形に読み取り可能（linearly readable）であるかどうかを調査しています。本手法は、デコーダビリティ（decodability）、ステアラビリティ（steerability）、およびこれらの信号をOOD検出へ適用するという3つの核となる概念で構成されています。

1. 特徴量の定義と抽出

• タスクの進捗 ($\tau$): 完了までの軌跡の正規化された残りの割合 ($1 - t/T$) として定義されます（ここで $t$ は現在のタイムステップ、$T$ は全軌跡長）。このラベルは、追加のアノテーションなしに、オフラインのエキスパートデモンストレーションから直接導出されます。
• 埋め込みの抽出: 著者らは、$\pi_{0.5}$ のトランスフォーマー層の残差ストリーム（residual stream）の活性化 $z_i$ を、データセットの各観測値に対して抽出します。
• 線形プロービング（Linear Probing）: 活性化から $\tau$ を予測するために、線形プローブ $\phi(z) = w^\top z + b$ を訓練します。

2. 表象の定式化

本論文では、3つの異なるレベルの特性表現を定式化しています。

• 弱いデコーダビリティ (Weak Decodability): 分布内（in-distribution）の活性化から、$\tau$ と相関する線形信号を抽出できる能力。
• 強いデコーダビリティ (Strong Decodability): 単一のプローブが（再訓練なしに）、反事実的な変換（例：言語プロンプト内のターゲット名詞の入れ替え）を施した入力に対して汎化できる能力。これは、信号が単なるスプリアスな相関ではなく、正しい意味論的入力に依存しているかどうかをテストします。
• ステアラビリティ (Steerability): 活性化に対して介入（プローブの重みベクトルに沿ってシフトさせること）を行い、モデルの振る舞いを因果的に変化させる（例：モデルにより多くの進捗があったかのように強制的に振る舞わせる）能力。

3. OOD検出メカニズム

進捗プローブを用いて、実行時の検出器を構築します。これは、予測された進捗 ($\tau_{pred}$) を、経過時間に基づく期待値 ($1 - t/E[T|\ell]$) と比較します。顕著な残差 ($V_\tau(t) > \delta$) は、ポリシーが停滞していることを示し、その状態をOODとしてフラグを立てます。この手法は、訓練中にOODラベルを必要としません。

主な貢献

1. 定義: 著者らは、生成モデルの文脈における弱デコーダビリティ、強デコーダビリティ、およびステアラビリティの形式的な定義を導入し、信号の存在、入力への依存性、および出力への因果的影響を区別しています。
2. デコーダビリティの知見: 彼らは、タスクの進捗が $\pi_{0.5}$ の残差ストリームから弱的にも強的にもデコーダブルであることを示しました。
   • この信号は、ロボット特有のファインチューニングを行う前の段階である、事前学習済みのPaliGemmaバックボーンに既に存在しており、大規模なロボット事前学習から創発していることを示唆しています。
   • 言語の反事実的構成（タスクの名詞を入れ替える）を用いて訓練されたプローブは、正しく出力を調整します。これは、信号が言語に接地（grounded）されており、単なる時間や視覚的特徴の関数ではないことを証明しています。
3. ステアラビリティの限界: デコーダブルであるにもかかわらず、タスクの進捗信号はステアラブルではありません。活性化に「ブースト」を注入しても、ネットワークを通じて伝播して将来の行動を変化させたり、反事実的な振る舞いへとモデルを誘導したりすることには成功しませんでした。
4. OOD検出: 進捗プローブは、ラベルフリーのOOD検出器として機能します。ポリシーが摂動（ノイズ、ぼけ、遮蔽）や未知のタスクに遭遇した際に、停滞した進捗を検出します。

結果

• 信号の創発: 進捗特徴は、生のPaliGemmaバックボーン、ベースの $\pi_{0.5}$、およびファインチューニングされたバリアントを含む、テストされたすべてのモデルで観察されます。ただし、$\pi_{0.x}$ バリアント（ロボットデータで訓練されたもの）は、生のVLMバックボーンよりも大幅に優れた性能を示しており、この特徴がロボット事前学習中に確立されていることを示しています。
• 反事実的堅牢性: 言語の反事実的構成で訓練されたプローブは、強いデコーダビリティ（ノイズの多いプロキシによりイン分布データで $R^2 \approx 0.33$ ですが、指示の入れ替えに対して $\tau=1.0$ を正しく追跡します）を達成します。一方、標準的なプローブは言語の変化に反応できません。
• ステアラビリティの失敗: レイヤー0で進捗ブースト ($\tau_{boost} = 0.2$) を注入する実験では、後続のレイヤーで予測される進捗が変化せず、結果として得られる行動も反事実的なターゲットとは一致しないことが示されました。注入された行動は、グラウンドトゥルースの将来の行動から離れたままとなります。
• OOD検出性能:
  • タスク間汎化: 進捗ベースの検出器 ($V_\tau$) は、未知のタスクにおいて 0.833 のAUROCを達成しました（既知のタスクでは0.796）。これは、再学習なしでの堅牢性を示しており、密度ベースの手法（Mahalanobis, VAE）を上回り、OODの教師あり監督を必要としない教師ありベースライン（SAFE-MLP）とも競争力のある性能を発揮しました。
  • 摂動間汎化: イン分布のデータのみで訓練され、未知のノイズモード（例：ノイズA/Bで訓練し、C/Dでテスト）でテストした場合、$V_\tau$ はエピソードあたりのAUROC 0.960 を達成し、特定のノイズタイプに対して訓練された教師あり検出器を凌駕しました。

意義と主張

本論文は、VLAがタスクの進捗のような意味論的な量に関する、線形に読み取り可能な内部表現を保持していると主張しています。この知見は以下を示唆しています：

1. モニタリングの実現可能性: これらの信号を読み取る方法を学ぶことは、複雑な外部モデルやラベル付きの失敗データを必要とせずに、デプロイされた視覚運動ポリシーを監視するための軽量で解釈可能な道筋を提供します。
2. 事前学習の重要性: 事前学習済みバックボーンにタスクの進捗が現れることは、大規模なロボット事前学習が、ファインチューニングを経ても持続する構造化された理解を植え付けていることを示しています。
3. 観測可能性 vs 制御可能性: ポリシーが何を表現しているか（観測可能な進捗）と、それに基づいて何を行うか（ステアラビリティ）の間には明確な隔たりがあります。進捗注入によるステアリングの失敗は、ポリシーがこの特定の内部信号を意思決定のための直接的な制御変数として使用していないことを浮き彫りにしています。

著者らは、本研究を、展開されたVLAを計装するための第一歩として位置づけており、タスクの変化や環境の摂動に対して堅牢な、サイレントな失敗（停滞した進捗）を検出するためのツールを提供しています。