技術的サマリー：Contrastive Conceptor Activation Steering (COAST)

問題定義

ビジョン・言語・アクション（VLA）モデルは、ウェブ規模のビジョン・言語モデル（VLM）による事前学習から得られる強力な知覚的事前知識を活用して、自然言語コマンドを解釈し、複雑なロボットの動作を実行します。しかし、これらのモデルは実際には驚くほど脆く、強力な汎化能力を有しているにもかかわらず、単純なロボットタスクで頻繁に失敗します。既存の対策、例えば事後学習による微調整や対照的表現正則化などは、しばしばコストが高く、概念的に整合性が取れていません。これらはモデルの事前学習済み重みに既に符号化されている汎化能力を最大化するのではなく、行動を再学習しようとするからです。

著者らは、主要なボトルネックが VLA アーキテクチャのアクションエキスパートにあると仮説を立てています。凍結された VLM バックボーンは、その隠れ状態に豊かで高次元のタスク理解を保持していますが、アクションエキスパートの最終的なデコーディングは、この情報を十分に活用できないことがよくあります。VLA 向けの現在の活性化誘導（steering）手法は、通常 VLM バックボーンに焦点を当てるか、単一方向の加法的シフトに依存しており、関連する信号が複数の次元に分散している場合には不十分である可能性があります。

手法：COAST

本論文では、推論時に凍結された VLA ポリシーを誘導する、軽量で学習不要なフレームワークであるContrastive Conceptor Activation Steering (COAST) を提案します。COAST は、conceptorの概念に由来し、アクションエキスパートの残差ストリーム活性化に対して乗法的ゲートを適用することで動作します。

中核メカニズム

1. Conceptor の構築: Conceptor は、データを対象分布の主成分へソフトに射影する線形演算子です。COAST は 2 つの個別の conceptor を構築します。

   • $C_{success}$: 成功したロールアウトからの活性化の主部分空間を捉えます。
   • $C_{failure}$: 失敗したロールアウトからの活性化の主部分空間を捉えます。
     これらは、活性化の共分散行列と正則化パラメータ（アパーチャ $\alpha$）を用いて閉形式で計算され、勾配降下法を必要としません。

2. 対照的構成: 成功と失敗を区別するタスク関連の方向を分離するために、COAST はブール部分空間代数を用いて対照的 conceptor ($C_{steer}$) を構成します。
   $$C_{steer} = C_{success} \land \neg C_{failure}$$
   この演算（AND-NOT）は、成功部分空間に存在する方向を保持しつつ、失敗部分空間と共有される方向（ノイズ）および失敗に固有の方向を抑制します。

3. 推論時の誘導: 推論中、特定の層 $\ell$ における残差ストリーム活性化 $h$ は、乗法的ゲート $M$ を介して変換されます。
   $$h' = h M^\top, \quad \text{where } M = (1 - \beta)I + \beta C_{steer}$$
   ここで、$\beta \in [0, 1]$ は誘導の強さを制御します。この操作は、モデルの内部計算を上書きすることなく、隠れ状態を成功に関連する部分空間へと穏やかに射影します。

主要な特徴

• 学習不要: 重みの更新、勾配計算、補助モデルを必要としません。
• プラグアンドプレイ: アクションエキスパートの残差ストリームに直接動作します。
• 部分空間レベル: 単一方向の加法的誘導（例：Contrastive Activation Addition）とは異なり、COAST は多次元部分空間で動作し、複雑な結果に不可欠な幾何学的構造を捉えます。

主要な貢献

1. 軽量な学習不要なポリシー誘導: 著者らは、conceptor ベースの部分空間ゲーティングを VLA アクションエキスパートに適用する最初の事例を提示します。成功と失敗のロールアウトに対するブール conceptor 代数から閉形式の乗法的ゲートを構築することにより、COAST は多様なベンチマークにおいて、平均シミュレーションタスク成功率を20% 以上、実ロボットタスク成功率を40% 以上向上させます。
2. メカニズム的洞察: 分析により、VLA アクションエキスパートの固有値構造が conceptor ベースの誘導に適していることが明らかになりました。結果に関連する表現は、ランクは低いがランク 1 ではない部分空間を占めており、これが多次元 conceptor が単一方向の加法的手法よりも優れている理由を説明します。さらに、この研究は、成功表現が主にタスク固有であるのに対し、失敗モードは異なるタスク間で広範な幾何学的構造を共有していることを発見しました。
3. プラグアンドプレイによる汎化: COAST は、3 つのアーキテクチャ的に異なるポリシーファミリー（フローマッチング VLA、自己回帰 VLA、拡散ポリシー）および複雑さが増す 3 つのシミュレーションベンチマーク（MetaWorld、LIBERO-10、RoboCasa）、ならびに DROID プラットフォーム上での実ロボット展開において検証されました。この手法は、利用する幾何学的構造が単一のアーキテクチャや環境に固有ではないことを示しています。

実験結果

本論文は、COAST を誘導なしのベースライン、教師あり微調整（SFT）、Contrastive Activation Addition (CAA)、およびスパースオートエンコーダ（SAE）誘導と比較評価しました。

• 性能向上: すべてのモデル・ベンチマークの組み合わせにおいて、COAST は統計的に有意な改善をもたらしました。
  • MetaWorld ML45: 1 ステップごとの対照的誘導により、$\pi0.5$ 平均成功率は 0.57 から 0.82 へ（+25%）増加しました。
  • LIBERO-10: $\pi0.5$ 平均成功率は 0.43 から 0.80 へ（+37%）増加しました。
  • RoboCasa: モデル全体で有意な向上が見られ、$\pi0.5$ は 0.56、GR00T N1.5 は 0.75 に達しました。
  • 実世界: DROID プラットフォームにおいて、COAST を用いた $\pi0.5$ は、「Open Drawer」や「Close Microwave」などのタスクで、デモンストレーションの微調整を行わなくても成功率が平均40% 改善しました。
• 比較: COAST は、単一方向または特徴ベースの性質に制限される CAA や SAE 誘導を一貫して上回ります。また、COAST の conceptor 適合に使用される少数のロールアウト（15 回）で学習した場合に過学習に陥りやすい SFT とも比較して優れています。
• タスク間転移: 失敗モードの共有された幾何学的構造により、あるタスクで適合された conceptor は、失敗部分空間が重なり合う限り、同じベンチマーク内の異なるタスクの性能を再適合なしに向上させることができます。

意義と主張

本論文は、現在の VLA はその潜在表現に相当量のタスク関連知識を保持しているが、アクションエキスパートのデコーディングボトルネックがこれらの情報の完全な利用を妨げていると主張しています。COAST は、再学習なしでこの潜在能力を表面化するための閉形式の幾何学的演算子を提供します。

著者らは、誘導を可能にする幾何学的構造、すなわち対照的に分離可能な成功と失敗の方向を持つ低ランク部分空間は、ニューラルネットワークがタスク関連情報を符号化する際の一般的な性質であり、フローマッチング、自己回帰、拡散ポリシーにわたって存続すると強調しています。彼らは、VLA の実行失敗は、モデルを自身の「成功」分布へと誘導することで緩和でき、具現化された AI における潜在能力を解放するためのスケーラブルかつ効率的な道筋を提供すると結論付けています。

この研究はまた、安全性に関する考慮事項を浮き彫りにしています。誘導は内部活性化に作用するため、誘導されたポリシーは、動作痕跡のみに基づいて未修正のものから区別することが困難です。著者らは、透明性を確保するために、適用された conceptor をポリシー仕様の一部としてログ記録することを推奨しています。