技術要約：中間層におけるエントロピー動態からのジェイルブレイク検出

1. 問題提起

ジェイルブレイク攻撃は、アライメントの取り組みにもかかわらず、ポリシーに違反する応答を引き出すために、大規模言語モデル（LLM）の安全策を回避しようとするものである。既存の防御策は、プロンプトレベル（フィルタリング）、出力レベル（レスポンス検査）、または教師あり分類器を通じて行われるが、有害な意図の内部エンコーディングについては未だ十分に理解されていない。具体的には、敵対的な意図がモデルの潜在空間内でどのように表現されているのか、そのシグナルがトークン位置に沿ってどのように進化するのか、そしてトランスフォーマー・アーキテクチャのどの深さにおいて、ベンニンの入力から最も識別可能になるのかが不明である。

平均パープレキシティやエントロピーといった静的な集計統計量に依存する既存の手法は、ジェイルブレイクの試みを特徴づける、トークンとモデルの内部状態との間の微細で局所的な相互作用を捉えることに失敗することが多い。本論文は、ジェイルブレイクの挙動は単なる全体的な不確実性レベルの変化ではなく、プロンプトが進展するにつれて予測エントロピーがどのように進化するかという**構造化された動態（structured dynamics）**を誘発するものであると仮定している。

2. 手法

著者らは、凍結されたLLMの中間層におけるトークンレベルの予測エントロピーの軌跡を分析する、トレーニングフリーのフレームワークを提案している。このアプローチは、以下のコンポーネントに基づいている。

2.1 中間層エントロピー抽出（ロジットレンズ）

最終的な出力を待つ代わりに、この手法は特定のレイヤー $\ell$ における中間隠れ状態 ($h_t^{(\ell)}$) を、モデルの最終アンエンベディング行列 ($W_U$) を用いて直接語彙空間へと投影する。この「ロジットレンズ」技術により、各中間ステップにおける次のトークンの確率分布 $p^{(\ell)}(\cdot | x_{<t})$ が生成される。
その後、これらのプローブレイヤーにおけるシャノンエントロピー $H_t^{(\ell)}$ が各トークン位置 $t$ に対して計算され、エントロピーの軌跡 $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$ が作成される。

2.2 特徴量の構築

本フレームワークは、これらの軌跡から導出される2つの家族の特徴を区別する：

• 静的（レベル）特徴: 平均、最大値、標準偏差、最小値など、プロンプト全体にわたる不確実性の大きさを要約する集計統計量。
• 動的（トレンド）特徴: トークン位置に沿った不確実性の方向的な進化を捉える指標。主な特徴量は以下の通りである：
  • ケンダールの $\tau$ (Kendall's $\tau$): エントロピー値とトークン位置の間の順位相関。
  • スピアマンの $\rho$ (Spearman's $\rho$): 順位変換されたエントロピーとトークン位置のピアソン相関。
  • 単調性 (Monotonicity): 連続するトークンペアにおいて、エントロピーが特定の「有害な」方向（$d$）へ移動する割合。これはモデルごとに経験的に決定される（例：Llama/Qwenでは減少、Gemmaでは増加）。

2.3 評価プロトコル

本研究では、凍結されたモデルを用い、単一のフォワードパスを用いてこれらの特徴を評価する。検出性能は、モデル固有の有害な方向における**方向性AUROC（Area Under the ROC Curve）**を介して測定される。評価は、3つのオープンソースモデル（Llama-3.1-8B, Qwen3-8B, Gemma-7b）および複数の敵対的ベンチマーク（AdvBench, HarmBench, StrongREJECT）を、ベンニンのデータセット（UltraChat, WildJailbreak, JailbreakBench）に対して実施される。

3. 主な貢献

本論文は、主に3つの貢献を行っている：

1. トレーニングフリーの分析: 分類器の微調整や生成された出力の分析を行うことなく、中間層の活性化のみを使用してジェイルブレイクのシグナルを検出する方法を導入した。
2. 動的シグナル vs 静的シグナル: 識別能力は、静的なエントロピー集計統計ではなく、主に動的な軌跡特徴（単調性、順位ベースのトレンド）にあることを示した。
3. 深さに依存する局在化: ジェイルブレイクのシグナルは中間層（ネットワークの深さの約50〜85%）に集中しており、最終層では著しく低下することを示した。これは、有害な意図が出力特有の処理によって変換される前に、中間ネットワークのセマンティックな表現の中にエンコードされていることを示唆している。

4. 実証結果

4.1 動的特徴が静的集計を上回る

すべてのモデルにおいて、動的なトレンド特徴は、ベンニンのプロンプトとジェイルブレイクのプロンプトを一貫して分離したが、静的な特徴（平均、最大エントロピー）は高い分散を示し、モデル間の汎用性が低かった。

• 単調性は、Llama (0.941) および Qwen (0.941) で最高の平均AUROCを達成した。
• ケンダールの $\tau$ と スピアマンの $\rho$ は、堅牢でアーキテクチャ間で一貫した分離（平均AUROC $\approx$ 0.78–0.80）を提供し、絶対的なエントロピーのスケールに関わらず、エントロピー進化の構造が転移可能なシグナルであることを示した。

4.2 中間層におけるシグナルの集中

識別シグナルは、深さに対して一様ではない。

• 中間層のピーク: 単調性やケンダールの $\tau$ といった特徴は、中間層（例：Llamaでは32層中22層目、Qwenでは36層中25層目）でピークに達した。
• 最終層での劣化: パフォーマンスは最終層で急激に低下した。Gemmaでは、ケンダールの $\tau$ は中間層の0.796から最終層の0.458へと低下した。これは、最終層が、より早い段階の表現に存在する敵対的な構造を能動的に抑制、あるいは再構成していることを示唆している。
• 静的特徴との対照: 静的な特徴（平均エントロピーなど）は逆の傾向を示し、多くの場合、最終層で最高のパフォーマンスを発揮した。これは、それらが動的なトレンドとは異なる計算特性を捉えていることを裏付けている。

4.3 汎化性能と敵対的コントロール

• モデル間の整合性: 順位ベースの特徴は、トレーニングパイプラインやレイヤー数の違いにかかわらず、Llama, Qwen, Gemmaの間で良好に汎化した。
• 敵対的コントロール (JailbreakBench ベンニン): ベンニンのセットが、有害な意図を持たずに有害なリクエストの構造を模倣するように意図的に作成されたもの（JailbreakBench benign）であった場合、AUROCは崩壊した（~0.35まで低下）。これは、このシグナルがセマンティックな有害性ではなく、構造的なプロンプト構成を検出していることを示している。ベンニンの入力がジェイルブレイクと構造的に類似している場合、内部の動態は区別不能になる。

5. 意義と主張

本論文は、アライメントされたLLMにおけるジェイルブレイクの挙動は、構造化された中間層の不確実性動態に反映されると主張している。具体的には：

• 解釈可能性: 本研究の結果は、有害な意図がどこで（中間層）、そしてどのように（単調なエントロピーのトレンド）エンコードされるかを明らかにし、モデル内部への診断的なレンズを提供する。
• アーキテクチャの一貫性: このシグナルは、追加のトレーニングなしに、異なるモデルファミリー（Llama, Qwen, Gemma）にわたって持続する、中間ネットワーク表現の創発的特性である。
• 限界と範囲: 著者らは、これを完成されたデプロイ可能な検出器ではなく、一つの診断的特性化として控えめに位置づけている。この手法には中間活性化へのホワイトボックスアクセスが必要であり、その有効性はベンニンのプロンプトの分布に依存することを認めている。ベンニンのプロンプトが構造的にジェイルブレイクを模倣する場合、シグナルは減衰する。さらに、この手法はロジットレンズ投影に依存しており、表現の不一致による歪みが生じる可能性がある。

結論として、本研究は、中間層におけるトークンレベルの予測エントロピーの進化を監視することが、従来のパープレキシティベースの検出とは異なる、ジェイルブレイクの試置に関連する構造的パターンを特定するための、堅牢かつトレーニングフリーのシグナルを提供することを確立している。