💬 NLP

Jailbreaking Leaves a Trace: Understanding and Detecting Jailbreak Attacks from Internal Representations of Large Language Models

この論文は、LLM の内部表現における一貫した潜在パターンを分析し、モデルの微調整や追加の検出器なしに軽量な脱獄攻撃の検出と、推論時の高脆弱性層の選択的バイパスによる攻撃の能動的な阻止を実現するフレームワークを提案しています。

原著者： Sri Durga Sai Sowmya Kadali, Evangelos E. Papalexakis

公開日 2026-02-23

📖 1 分で読めます☕ さくっと読める

原著者： Sri Durga Sai Sowmya Kadali, Evangelos E. Papalexakis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🕵️‍♂️ 物語：「AI の脳内探偵」

1. 問題：AI をだます「偽装工作」

現代の AI（大規模言語モデル）は、人間に役立つように作られていますが、同時に「危険なことは言わない」というルールも守っています。
しかし、悪意のある人々は、**「ジョークのつもりで聞いてね」「架空の物語の続きを書いて」**といった巧妙な言い回し（これを「ジャイルブレイク」と呼びます）を使って、AI のルールをハックし、危険な指令を実行させようとします。

これまでの対策は、**「入力された言葉そのもの」**を監視して、怪しい単語が含まれていればブロックするという方法でした。しかし、悪者は言い回しを次々と変えるので、この「言葉の監視」はすぐに突破されてしまいます。

2. 発見：「脳内」には必ず痕跡が残る

この研究のチームは、**「言葉の表面ではなく、AI の『脳内』（内部の計算プロセス）を見れば、必ず悪意の痕跡が見つかるはずだ」**と考えました。

従来の方法： 犯人の「顔（入力文）」を見て捕まえる。
この研究の方法： 犯人が部屋に入った瞬間の**「足音や振動（AI の内部データ）」**を感知する。

彼らは、AI が言葉を処理している過程で、「良い質問（善意）」と「悪い質問（悪意）」では、AI の脳内の電気信号（内部表現）の動き方が決定的に違うことに気づきました。

3. 仕組み：「AI の脳」をスキャンする

研究者たちは、AI の脳を構成する何層もの「神経回路（レイヤー）」を詳しく調べました。

3 次元パズル（テンソル分解）：
AI の脳内データを、まるで 3 次元パズルのように分解して分析しました。すると、「悪意ある質問」が来ると、特定の層（神経回路）で、独特な「リズム」や「パターン」が現れることが分かりました。
- 例え話： 普通の会話では、脳内の特定の部屋（層）は穏やかに動きますが、悪意ある命令が来ると、その部屋が「ギラギラと光り始めたり、特定のノイズを発生させたり」するのです。
早期発見：
驚くべきことに、この「悪意のサイン」は、AI が答えを言い出すずっと前、入力された直後の初期段階の層で現れました。つまり、AI が「危険だ」と判断する前に、脳内で「あ、これはヤバいぞ」というサインが出ているのです。

4. 解決策：「悪い神経回路」を一時停止する

この発見をもとに、彼らは新しい防御システムを開発しました。

スマートな遮断：
通常、AI はすべての層を順番に動かして答えを出します。しかし、この新しいシステムは、「今、この層（神経回路）が『悪意のサイン』を出しているな」と検知したら、その層だけを一時的にスキップ（バイパス）させてしまいます。
- 例え話： 工場で不良品が流れてきそうになったとき、その特定のベルトコンベアだけを止めて、他の正常なベルトコンベアはそのまま動かすようなものです。
結果：
- 悪意ある質問： 重要な「悪意の処理」が行われる層が止まるため、危険な答えを出すことができなくなります（78% の攻撃を阻止）。
- 普通の質問： 悪意のサインが出ないため、すべての層が正常に動き、普段通りスムーズに答えます（94% の正常な動作を維持）。

5. この研究のすごいところ

AI を書き換えなくていい： 既存の AI モデルを再学習させたり、複雑な追加プログラムを入れる必要がありません。AI が「考える瞬間」にだけ、少しだけ手を加えるだけです。
どんな AI でも通用する： GPT や LLaMA など、さまざまな種類の AI でも同じような「悪意の痕跡」が見つかりました。
軽量で速い： 計算コストがほとんど増えず、リアルタイムで防衛できます。

🎯 まとめ

この論文は、**「AI をだます攻撃は、必ずその『脳内』に痕跡を残す」という事実を突き止め、「その痕跡を感知して、攻撃の瞬間にだけ AI の一部を止める」**という、非常に賢く効率的な防衛策を提案しました。

まるで、泥棒が家に入ろうとした瞬間に、その足音が聞こえたので「その部屋への扉だけロックする」ような、**「AI の脳内探偵」**のような技術なのです。これにより、AI の安全性を、言葉のチェックだけでなく、もっと根本的なレベルで守れるようになる可能性があります。

論文要約：大規模言語モデルの内部表現から Jailbreak 攻撃を理解・検知する

1. 問題定義 (Problem)

大規模言語モデル（LLM）の普及に伴い、悪意のあるユーザーが精巧に設計されたプロンプト（Jailbreak プロンプト）を用いて、モデルの安全性ガードレールを回避し、制限された内容や有害な出力を生成させる「Jailbreak 攻撃」が深刻なセキュリティ課題となっています。

既存の防御手法（プロンプトレベルのフィルタリング、RLHF による微調整、補助的な安全モデルなど）は、攻撃者が適応的な戦略を講じるにつれて限界を示しており、単一の防御策では完全な対策が困難です。また、これらの手法はモデルの「出力」や「入力プロンプト」の表面に依存しており、モデル内部の挙動を直接分析するアプローチは十分に研究されていませんでした。

本研究は、**「Jailbreak 攻撃は、モデルの内部表現（Hidden Representations）において、良性のプロンプトとは明確に区別可能な構造的な痕跡（Trace）を残す」**という仮説に基づき、この内部信号を利用した検知と防御の枠組みを提案します。

2. 提案手法 (Methodology)

本研究は、モデルの内部表現（マルチヘッドアテンション出力や層ごとの隠れ状態）をテンソル分解を用いて分析し、その特徴量に基づいて Jailbreak 検知と防御を行う 2 つの主要なパイプラインで構成されています。

2.1 隠れ表現の分析とテンソル分解

データ収集: GPT-J, LLaMA, Mistral, Mamba2 などの多様なモデル（Base, Instruction-Tuned, Abliterated）の各層から、マルチヘッドアテンション（MHA）出力と層出力（Hidden State）を抽出します。
テンソル構築: 入力プロンプト、シーケンス長、隠れ次元の 3 つのモードを持つ 3 次元テンソル（ $N \times T \times d$ ）を構築します。
CP 分解: 構築されたテンソルに対して CANDECOMP/PARAFAC (CP) テンソル分解を適用し、低次元の潜在因子（Latent Factors）を抽出します。これにより、プロンプトのモードに対応する因子が、Jailbreak と良性のプロンプトを区別する構造的なパターンを捉えていることを示します。
層ごとの分離性評価: 各層ごとに抽出された潜在因子を用いて軽量な分類器（ロジスティック回帰など）を訓練し、どの層が Jailbreak 信号に対して最も敏感（Separability が高い）かを特定します。

2.2 推論時の層ごとのバイパスによる防御 (Layer-Aware Mitigation)

脆弱性スコアリング: 推論時に新しいプロンプトが入力された際、その内部表現を事前に学習した潜在因子に射影し、各層ごとの「Jailbreak 確率」を推定します。
ターゲット層の特定: 確率が閾値（ $\tau=0.7$ ）を超える層を「Jailbreak 攻撃に脆弱な層」として特定します。
介入（バイパス）: 脆弱な層の出力をスキップ（バイパス）させることで、攻撃的な処理フローを物理的に遮断します。
- Layer Bypass: 特定の層全体の出力をバイパス。
- MHA Bypass: 特定の層内のアテンション成分のみをバイパス。
特徴: この手法はモデルの微調整（Fine-tuning）を不要とし、追加のモデルも不要なため、推論時のオーバーヘッドが極めて軽いです。

3. 主要な貢献 (Key Contributions)

層依存の Jailbreak 署名の発見:
Jailbreak プロンプトと良性プロンプトは、LLM の内部表現において層に依存した明確な潜在空間の「署名（Signature）」を示すことを実証しました。テンソル分解を用いることで、これらの構造的な違いを抽出可能です。
ターゲット層バイパスによる効果的な防御:
推論時に、Jailbreak 信号が強く現れる層を特定し、それらをバイパスすることで、モデルの微調整や出力フィルタリングなしに Jailbreak 実行を阻止できることを示しました。
アーキテクチャ非依存の汎用性:
Transformer 系モデル（LLaMA, Mistral, GPT-J）だけでなく、状態空間モデル（Mamba2）においても同様のパターンが観測され、このアプローチがモデルのアーキテクチャやアライメント段階（Base, Instruct, Abliterated）に依存しないことを示しました。

4. 実験結果 (Results)

検知性能:
複数のモデルにおいて、CP 分解された潜在因子を用いた分類器は、Jailbreak と良性プロンプトを高い F1 スコアで分離できました。特に、入力直後の浅い層でも明確な分離が観測され、攻撃意図が早期にエンコードされていることが示されました。
防御効果（Abliterated LLaMA 3.1 8B での評価）:
- Layer Bypass: 100 件の Jailbreak プロンプトのうち、78% を阻止（True Positive）しました。同時に、良性プロンプトの 94% を正常に維持（True Negative）しました。
- MHA Bypass: 層全体をバイパスするよりも効果が低く、Jailbreak 阻止率は 61% にとどまりました。これは、Jailbreak に関連する計算がアテンション機構だけでなく、層出力全体に広がっていることを示唆しています。
- 攻撃成功率（ASR）の低下: 層バイパスにより、Jailbreak 攻撃の成功率を 39%（MHA のみ）から22% まで低下させることができました。
失敗事例の分析:
阻止できなかったケースの多くは、ロールプレイや人格の強制（"never refuse" など）によるプロンプト注入であり、攻撃意図がプロンプト全体に分散して持続している場合に、単一の層のバイパスでは完全には遮断できないことが示されました。

5. 意義と結論 (Significance)

本研究は、Jailbreak 攻撃が単なるテキストの表面的な操作ではなく、モデルの内部構造に安定した痕跡を残すことを初めて体系的に実証しました。

セキュリティへの示唆: 従来の「入力/出力」ベースの防御に依存せず、モデルの「内部状態」を監視・制御する新しい防御パラダイムを提供します。
実用性: 追加の学習や重たい外部モデルを必要とせず、推論時に軽量かつ迅速に実行可能なため、実システムへの導入が容易です。
解釈可能性: どの層が攻撃に脆弱であるかを可視化できるため、モデルの安全性メカニズムがどのように機能（または機能不全）しているかを理解する上で重要な知見を与えます。

結論として、内部表現に基づくアプローチは、LLM のセキュリティを強化するための、補完的かつ汎用的な方向性を示すものであり、より包括的な防御策の基盤となり得ます。