Divergence-based Safety Measure for Large Language Models via Rational Inattention

技術要約：合理的注意（Rational Inattention）を通じた大規模言語モデルのための発散に基づく安全性指標

問題提起
大規模言語モデル（LLM）を意思決定支援パイプラインに統合することは、システムレベルの安全性に関する懸念、特に、モデルの出力を変化させ、下流の人間による意思決定に影響を与える入力トークンの悪意ある摂動（perturbation）をもたらす問題を引き起こします。モデルの比較、ランタイムモニタリング、およびパラメータの微調整を支援するために、システムおよび制御の観点から定量的な安全性指標が求められていますが、LLMのためのこのような指標の開発については、限られた進展しか得られていません。具体的には、攻撃が内部のモニタリングメカニズムに対して隠密性（stealthiness）を維持しつつ、入力攻撃によって引き起こされる最悪の出力摂動を定量化する指標が必要です。

手法
本論文は、クリーンなLLMと、埋め込み入力攻撃を受けたLLMとの間の出力分布間のカルバック・ライブラー（KL）発散の最悪値を定量化する、発散ベースの安全性指標を提案しています。手法の核心的な革新は、トランスフォーマーの注意（attention）メカニズムと、人間の意思決定における合理的注意（Rational Inattention; RI）モデルとの間の等価性を活用して、「隠密性制約」を構築することにあります。

1. 合理的注意（RI）フレームワーク: 著者らは、エージェントが期待効用とデータの処理に伴う情報コストをトレードオフするRIフレームワークを再検討しています。RIにおける最適な行動ポリシーは、シャノン相互情報量を含む最適化問題から導出されるソフトマックス関数によって特徴付けられます。
2. 構造的接続: 本論文は、トランスフォーマーベースのLLMにおける注意の重み（スケールド・ドットプロダクト・ソフトマックスによって計算される）が、RIフレームワークにおける最適な行動ポリシーと同じ関数形式を共有していることを確立しています。これにより、トランスフォーマーの注意を、モデルがコンテキスト・トークンに対して限られた情報処理容量を割り当てるRI型の最適化問題の解として解釈することが可能になります。
3. 限定合理性指標: これに基づき、著者らはヘッドごとの「限定合理性指標」（$\Delta V^{(m)}(\tau)$）を定義しています。この指標は、$\tau$-限定合理性値（温度パラメータ $\tau$ を持つ注意の最適化問題の最適値）と、完全な合理性値（$\tau \to 0$ の極限）との差を表します。この指標は、LLMの注意の割り当てにおける「合理性レベル」を示す内部モニタリング出力として機能します。
4. 安全性指標の定式化: 提案される安全性指標は、以下の2つの制約条件下で、クリーンな出力分布と攻撃を受けた出力分布の間のKL発散を最大化する最適化問題として定式化されます。
   • エネルギー制約: 埋め込みトークンに注入される攻撃信号の総エネルギーは制限される（$\sum \|\zeta_i\|^2 \leq \rho$）。
   • 隠密性制約: すべての注意ヘッドにおける限定合理性指標の加重和は、指定された信頼許容度（$\epsilon_T$）を下回らなければならない。これにより、攻撃がモデルの内部的な注意ベースのモニタリング信号を大幅に変更しないことが保証されます。

主な貢献
本論文は、主に3つの貢献を提示しています。

1. 構造的対応: トランスフォーマーの注意の重みがRI型の最適化問題の唯一の解であることを示し、LLMのメカニズムと限定合理的な意思決定モデルとの間の正式な関連性を確立しました。
2. ヘッドごとの限定合理性指標: RIフレームワークから派生した新しい指標を導入し、LLMにおける注意の割り当ての合理性を定量化しました。
3. 発散ベースの安全性指標: 限定合理性指標をモニタリング出力として利用し、隠密な出力シフトの最悪値を定量化する安全性指標を定義しました。また、出力スコアマップがリプシッツ連続であると仮定した場合の、ブレグマン・ダイバージェンスを用いた議論を用いて、「完全に検知不可能な攻撃」（モニタリング出力を変化させない攻撃）を分析し、安全性指標の上界を導出しました。

実験結果
提案された指標は、2つの学習済み因果言語モデル（GPT-2およびGPT-Neo-125M）を用いて評価されました。

• セットアップ: 曖昧な文章が、制限されたプールから次のトークン（形容詞）を予測する必要がある、制御された候補予測タスクが使用されました。攻撃は、エネルギーおよび隠密性の制約を遵守しながら、出力分布のKLダイバージェンスを最大化するように、射影勾配上昇法を用いて生成されました。
• 知見: 実験により、これら2つのモデルの異なる安全性プロファイルが明らかになりました。GPT-2は、隠密領域内（信頼許容度を満たす）に留まりながらも、いくつかの高ダイバージェンスな攻撃を示しました。一方、GPT-Neo-125Mに対する高インパクトな攻撃は、一般的に、より大きなモニタリング残差をもたらしました。これは、提案された指標が、同一の攻撃予算と信頼許容度の下で、モデルレベルの安全性プロファイルを効果的に区別できることを示しています。

意義と主張
本論文は、システムおよび制御の観点からLLMの定量的な安全性指標を開発するという空白を埋めるものであると主張しています。トランスフォーマーの注意を合理的注意の観点から解釈することで、著者らは内部モニタリング出力を構築するための原理的なメカニズムを提供しています。提案されたダイバージェンスベースの安全性指標は、隠密な埋め込み入力攻撃に対するLLMの脆弱性を定量化する手段を提供します。著者らは、この貢献を、従来の制御システムに見られる堅牢性、回復力、および安全性と同様の、解釈可能な性能指標をLLMに備えさせるためのステップとして位置付けています。本研究は、すべてのLLMセキュリティ問題を解決することを目的としているのではなく、モデルの安全性プロファイルを区別し、最悪の隠密な影響を分析するための特定の指標を提供することを目指しています。