The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound

技術要約：コードLLMのセキュリティ・バジェット（Security Budget）

問題提起
AIプログラミング・アシスタントは、ソフトウェア開発の主要なインターフェースとして自然言語プロンプトに依存するようになっています。この変化は、重大な脆弱性をもたらします。すなわち、プロンプトへの微小な摂動（例：類義語への置換、識別子のリネーム、コメントの注入）によって、ユーザーの意図を部分的に認識可能な状態に保ちつつ、生成されるコードを変化させることができる点です。既存の評価手法は、摂動の前後における実行パス率（pass@1）に依存することが多いですが、著者らは、これはインタラクティブなアシスタントにおいては不十分であると主張しています。なぜなら、それは「タスク情報をすべて失ったモデル（これでは『堅牢性』の意味がなくなる）」と、「意図は保持しているが実装が変化したモデル」を区別できないからです。したがって、タスク情報、プロンプトの漏洩（leakage）、および生成の安定性を分離し、機能的な容量と摂動下でのセキュリティとの間のトレードオフを理解するための「バジェットレベル（予算レベル）」の視点が必要とされています。

手法
本論文では、情報理論を用いてこのトレードオフを定式化し、コードLLM $\pi$ に関する2つの主要な量として定義します。

1. **容量 (Capacity, $Cap$):** 標準的な解$c^$とモデルの生成$c_\pi$の間の相互情報量$I(c^; c_\pi)$。これは、モデルがタスクをどの程度捉えているかを測定します。
2. **セキュリティ (Security, $Sec$):** 元のプロンプト$p$の下での生成$c_\pi$と、敵対的に摂動されたプロンプト$\tilde{p}$の下での生成$\tilde{c}\pi$の間の相互情報量$I(c\pi; \tilde{c}_\pi)$。これは「摂動保持チャネル（perturbation-retention channel）」として機能し、クリーンな出力と摂動後の出力の間で共有されている情報を測定します。

理論的枠組み
核心となる理論的貢献は、これら2つの量の和に対して上限を確立する定理1です。
$$Cap + Sec \leq H(c^*) + I(p; \tilde{p})$$
ここで、$H(c^*)$ は標準的な解のエントロピー（タスク・エントロピー）であり、$I(p; \tilde{p})$ は元のプロンプトと摂動されたプロンプトの間の相互情報量（プロンプト・リーク）です。証明は、標準的な情報理論的不等式に基づいています。

• $Cap \leq H(c^*)$ は、相互情報量の定義に従います。
• $Sec \leq I(p; \tilde{p})$ は、生成 $c_\pi$ と $\tilde{c}_\pi$ がプロンプトのペア $(p, \tilde{p})$ を与えられたとき、条件付き独立であるという仮定の下で、データ処理不等式（DPI）に従います。

モデルの内部学習データにアクセスすることなく、この境界を実用的なものにするために、著者らは $H(c^*)$ に対する閉形式の、モデルに依存しない相棒となる境界（定理2）を導出しています。これはソースコードの圧縮可能性を利用しています。
$$H(c^*) \leq \min(L_{max} \log V, |c^*|_{gz})$$
ここで、$L_{max}$ は最大トークン長、$V$ は語彙サイズ、$|c^*|_{gz}$ は標準的な解のgzip圧縮後の期待長です。

実証検証
著者らは、**出力のみの埋め込みプロトコル（output-only embedding protocol）**を用いて、**系図1（Corollary 1: Embedded-Variable Bound）**を検証しています。証明に必要なマルコフ連鎖（$z_\pi \to p \to \tilde{p} \to \tilde{z}_\pi$）を維持するため、埋め込み $E$ はプロンプトのコンテキストを除いた、生成されたコードに対してのみ適用されます。

• モデルとデータセット: 実験は、HumanEvalおよびMBPPをサニタイズしたデータセットを用いて、CodeLlama-7BおよびQwen2.5-Coder-7Bに対して行われました。
• 推定器: 相互情報量は、最後のトークンの隠れ状態（PCAにより次元削減済み）に対し、MINE（Mutual Information Neural Estimation）およびKSG（Kraskov-Stögbauer-Grassberger）推定器を用いて推定されました。
• 摂動: 類義語の入れ替え、否定、コメント注入（セキュリティ・アンチ・コメントを含む）、識別子のリネームを含む、23種類の摂動プールが使用されました。

主な結果

1. 境界の充足: 6つの個別の検証構成（モデル、データセット、精度、および埋め込みのアブレーションのバリエーション）において、埋め込みチェックは不等式を満たしました。飽和比 $(Cap + \max_T Sec) / (H(z^*) + \max_T I(p; \tilde{p}))$ は 0.27から0.92 の範囲にあり、正の定理のスラック（slack）が 2.36 から 26.94 ナッツ（nats）存在しました。
2. 安定性: 3つのシードを用いた安定性診断により、平均飽和度は 0.87 でした。
3. ストレス・テスト: 23種類の摂動プール、固定されたユニバーサルなセキュリティ・アンチ・サフィックス、および勾配ベースのPGD攻撃を含む適応的ストレス・テストは、すべて正のスラックをもたらし、強力な摂動戦略の下でも境界が保持されることを確認しました。
4. 問題ごとのシグナル: 理論的境界は出力のみの埋め込みを使用していますが、別途、コンテキスト混合埋め込み・コサイン（context-mixed embedding cosine）（プロンプトとコードの両方に条件付けるもの）は、実行レベルのpass@1（例：CodeLlama-HumanEvalにおいて $\rho=0.36$）と相関していることが判明しました。これは、セキュリティ境界とは異なる実用的なアライメント・シグナルとして機能します。
5. リーク分析: 識別子のリネームと類義語の置換は、最大の共有情報天井（高い $I(p; \tilde{p})$）を残す一方で、セキュリティ・アンチ・コメントはプロンプトの情報をあまり漏洩させないものの、安全性に対してはより危険であることが特定されました。

意義と主張
本論文は、コード生成の安定性に関する定量的かつ情報理論的なバジェットを提供することを主張しています。その意義は以下の通りです。

• 分解: 「バジェット」をタスク・エントロピーとプロンプト・リークに分離することで、開発者が、プロンプト・リーク（$I(p; \tilde{p})$）を減らすことが、必ずしも機能的な容量を増やすことなく、攻撃者が利用可能な最大チャネルを絞り込むことになるということを理解できるようにしています。
• モデルに依存しない天井: $H(c^*)$ に対する閉形式の境界により、新しいモデルや既知のタスクセットに対して、モデルへのアクセスや学習データを必要とせずに、セキュリティの天井を計算することができます。これは、トークナイザーと標準的な解の分布のみに基づいています。
• 実用的なガードレール: 著者らは、プログラミング・アシスタントのガードレールは、単にpass@1によって評価されるべきではなく、プロンプトの摂動によって攻撃者に残される情報の量によって評価されるべきであると主張しています。この境界は、プロンプトの硬化（hardening）をテストするための手段となります。すなわち、$I(p; \tilde{p})$ を減少させることは、セキュリティ・バジェットを絞り込むことにつながります。

著者らは謙虚な姿勢を崩しておらず、貢献はこれらの概念をコード生成のために「インスタンス化（具体化）」したこと（バジェットと閉形式の天井の定義）であり、新しいデータ処理定理の提示ではないとしています。また、限界についても、MI（相互情報量）推定器の感度（MINEは境界付近で過大評価する場合があること）や、この境界はあくまで「利用可能な」安定性バジェットを特徴づけるものであり、現実的な攻撃者が常にそれを飽和させることを証明するものではないことを認めています。