技術的サマリー：能力と堅牢性の両立は無料ではない

問題提起

視覚言語行動（VLA）モデルは、マルチモーダルな観測（画像と言語）を直接ロボット動作にマッピングするものであり、クリーンな入力においては高い成功率を達成していますが、敵対的摂動下では壊滅的な脆弱性を示します。実証的研究は、知覚不可能な摂動（例：$16/255$ の PGD 攻撃）によって、タスク成功率が $>95\%$ から $<5\%$ に低下することを示しています。実証的な防御策は存在しますが、それらは通常トレードオフを伴います：堅牢性を回復させることは、多くの場合、クリーンな精度の低下というコストを伴います。

この研究が扱う中心的な未解決問題は、このトレードオフに理論的な下限が存在するかどうかです。具体的には、より賢明な学習手順によって、無制限に高い能力（クリーンな精度）と高い堅牢性を同時に達成できるのか、それとも両方を同時に最大化することを防ぐ根本的な情報理論的制約が存在するのかという点です。

手法

著者は、VLA ポリシーの共同性能を境界付けるために、情報理論に基づく理論的枠組みを定式化しました。

1. 理論的枠組み

本論文は、観測 $X$ を動作 $A_\pi$ にマッピングする VLA ポリシー $\pi$ を定義します。$A^\star$ をオラクル（専門家）の動作とし、$\tilde{X} = X + \delta$ を摂動された観測とします。著者は 2 つの主要な指標を定義します：

• **能力（$Cap$）：** ポリシーの動作とオラクルの動作との間の相互情報量、$I(A^\star; A_\pi)$。
• **堅牢性（$Rob$）：** 攻撃下で保持される相互情報量であり、「漏洩」を調整したもので、$I(A_\pi; \tilde{A}\pi) - I(A\pi; \delta)$と定義されます。$I(A_\pi; \delta)$の減算は、単に摂動$\delta$ を動作にコピーするだけで高いスコアを達成する退化したポリシーを防ぐものです。

核心的な貢献は定理 1であり、離散的（または離散化された）動作を持つ任意の VLA ポリシーについて以下が成り立つと述べています：
$$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(X; \tilde{X})$$
ここで：

• $H(A^\star)$ はオラクル動作のエントロピー（タスクの複雑さ）です。
• $I(X; \tilde{X})$ はクリーンな観測と摂動された観測との間の相互情報量（攻撃チャネル容量）です。

証明は、データ処理不等式（DPI）の 2 回の適用と、相互情報量の非負性に依存しています。この境界はポリシー非依存であり、能力と堅牢性に対する「予算」はモデルのアーキテクチャではなく、タスクと攻撃によってのみ決定されます。

2. 境界の厳密化

著者は、画像次元（$D \approx 49,152$）が動作空間次元（7 次元）を大幅に上回るため、現在のモデルに対して画素レベルの境界は緩いことを認めています。これを解決するため、彼らは**系 4（エンコーダ固有の境界）**を提案します：
$$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(\phi(X); \phi(\tilde{X}))$$
ここで、$\phi$ は凍結されたエンコーダ（例：OpenVLA における DINOv2+SigLIP）を表します。これにより、チャネル容量をポリシーに関連する部分空間に制限し、理論的予算を大幅に厳密化します。

3. 検証戦略

本論文は、2 つの異なるアプローチを通じて境界を検証します：

1. 合成検証（Gaussian-VLA）： すべての量（$H, I$）を解析的に計算するか、高精度で推定できる閉形式の代理モデルです。これには、次元とノイズレベルを変化させた 252 の実験セルが含まれます。
2. 実モデル検証： 射影勾配降下（PGD）攻撃下での、4 つのLIBEROスイート（Spatial, Object, Goal, LIBERO-10）におけるOpenVLA-7Bの評価です。著者は、相互情報量神経推定（MINE）と離散化ヒストグラム推定子を用いて各項を測定します。

主要な結果

1. 理論的検証

• 違反ゼロ： 境界は、252/252 の合成 Gaussian-VLA セルと 48/48 の実 OpenVLA-7B 実験セルで成立しました。
• 余剰の挙動： 「余剰（$S = \text{予算} - (Cap + Rob)$）」はすべてのケースで非負でした。攻撃予算 $\epsilon$ が増加すると、チャネル容量 $I(X; \tilde{X})$ が減少し、総予算が縮小します。これは理論的予測と一致します。

2. 境界の大きさ

• 画素レベルの境界： OpenVLA において、画素レベルの予算は約5,000 nat（画素チャネル容量に支配される）ですが、測定された $Cap + Rob$は無視できるほど小さく（$<1$ nat）、余剰は $\sim 10^3$ nat となります。これは画素レベルの境界が緩い天井であることを示しています。
• エンコーダ固有の境界： チャネルをエンコーダ部分空間に制限することで、予算は$\sim 31$ natに低下します（$H(A^\star) \approx 26$ nat + $I(\phi(X); \phi(\tilde{X})) \approx 4.6$ nat）。
• 制約の現実性： エンコーダ固有の境界の下では、離散化された能力（$Cap_{disc} \approx 7.5$ nat）ですでに総予算の$\sim 24\%$を消費しています。これは、現在のアーキテクチャにおいて、トレードオフが単に理論的なものではなく、実用的に制約的であることを示唆しています。能力を犠牲にせずに堅牢性を向上させる余地は限られています。

3. 推定子の堅牢性

著者は、偏った推定子（MINE, InfoNCE, KSG）を使用しても境界が成立することを示しました。MINE は相互情報量を過小評価する傾向がある（下限である）ため、不等式の左辺（LHS）を過小評価し、結果として境界を満たしやすくします。したがって、違反ゼロという結果は、推定子のバイアスに対して堅牢です。

意義と主張

本論文は、以下の貢献と意義を主張します：

1. 動作ポリシーに対する最初の不可能性結果： 二値分類器に焦点を当てた先行研究（例：Tsipras et al., 2019）とは異なり、これは動作生成ポリシーに特化した最初の情報理論的境界です。これは、能力と堅牢性の両方が無料ではあり得ないこと、すなわち、タスクのエントロピーと攻撃チャネル容量によって決定される固定された予算を巡って競合することを証明します。
2. 防御評価のための新たな指標： 著者は、防御論文を比較するための正規化指標として**エンコーダ固有の余剰（$S_{enc}$）**を提案します。設定間で転送されない絶対的な堅牢性数値を報告する代わりに、将来の研究はエンコーダ予算の消費割合を報告できます。これにより、ポリシーが理論的限界にどの程度近いかを標準的に評価することが可能になります。
3. アーキテクチャの診断的価値： この境界は、現在のモデルにおける「緩み」が構造的なものであることを明らかにします。画素レベルの予算とエンコーダレベルの予算の間のギャップは、現在のポリシーがエンコーダ表現で利用可能な情報を十分に活用していないことを浮き彫りにします。
4. 安全性への含意： この研究は、敵対的脆弱性を精度の問題から安全性の問題へと再定義します。各予測が物理的な動作であるため、理論的な下限は、タスクを実行する能力を損なうことなく VLA をどれほど堅牢にできるかにはハードリミットが存在することを意味し、安全性が重要なシステムの設計と評価のあり方の変革を必要とします。

本論文は、境界が非構成的である（境界を満たすポリシーを構築するレシピを提供しない）一方で、いかなるアーキテクチャの調整によっても回避できない根本的な限界を確立していると結論付けています。「余剰」は、現在の能力と理論的極大値との間のギャップを表しており、これは現在定量化可能です。