💻 computer science

Tracing the Dynamics of Refusal: Exploiting Latent Refusal Trajectories for Robust Jailbreak Detection

本論文は、潜在表現における持続的で疎な「拒絶軌道」を因果追跡を活用して特定する推論時検出器 SALO を提案し、これにより終端拒絶信号を効果的に抑制する攻撃に対しても堅牢なジャイルブレイク検出（90% 以上の成功率）を実現する。

原著者： Xulin Hu, Che Wang, Wei Yang Bryan Lim, Jianbo Gao, Zhong Chen

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

原著者： Xulin Hu, Che Wang, Wei Yang Bryan Lim, Jianbo Gao, Zhong Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Tracing the Dynamics of Refusal（拒絶の動態を追跡する）」を平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「最後の言葉」の罠

クラブの入り口に立つ警備員（AI モデル）を想像してください。誰かが危険な物品（有害なリクエスト）を忍ばせようとしたとき、警備員は通常、入り口で「いいえ、中に入れません」と言いますよね。

長らく、研究者たちはその警備員の「いいえ」という言葉が、会話の最後の瞬間に下された単一の静的な決定だと考えていました。彼らは、警備員が話す直前の最後の思考をチェックできれば、彼が有害なリクエストを拒絶しようとしているかどうかを判断できると信じていたのです。

この論文はその考えが誤りであると主張しています。 それは、映画を理解するために最後のフレームだけを見るようなものです。この論文は、「いいえ」と言うという決定は、最後の瞬間の単一の出来事ではなく、プロセスのより早い段階で起こる旅であると示唆しています。

発見：「拒絶の軌跡」

研究者たちは、Causal Tracing（因果追跡） という特別なツール（「タイムトラベルする探偵」と考えてください）を用いて、AI が有害なリクエストを処理する際に脳内で何が起きているかを正確に観察しました。

彼らは、AI が「爆弾の作り方」のような危険なものを見たとき、拒絶を決意するまで終わりを待つわけではないことを発見しました。代わりに、危険な単語を見た直後に「いいえ」というシグナルの構築を即座に開始します。

比喩： あなたが廊下を歩いていると想像してください。「危険」という看板（有害な単語）を見ると、あなたの脳は止まる準備を即座に始めます。筋肉が緊張し、心拍数が変化し、出口を探し始めます。これは廊下の端に到達するよりも前に起こります。
発見： この論文はこれを**「拒絶の軌跡（Refusal Trajectory）」**と呼んでいます。これは、早期に始まり、AI の層を通じて進む、特定の隠された活動の経路です。
意外な事実： ハッカーが「ジャイルブレイク」を使って AI を欺こうとすると、彼らはしばしば入り口での警備員の最後の「いいえ」を黙らせることに成功します。しかし、彼らは警備員の脳が「危険」という看板を初めて見た時点で既に緊張し、止まる準備を始めていたという事実を消し去ることはできません。たとえ最終的な出力が「はい」に強制されたとしても、その初期のシグナルは依然として存在します。

解決策：SALO（「嗅ぎ犬」）

この発見に基づき、著者たちはSALO（Sparse Activation Localization Operator：疎な活性化局所化演算子） と呼ばれる新しい検出器を構築しました。

仕組み： AI が最後に「いいえ」と言うかどうかを待つ代わりに、SALO は「嗅ぎ犬」のように会話の途中を嗅ぎ回り、危険な単語が現れた直後に起こる、その特定の「緊張」のパターン（拒絶の軌跡）を探します。
なぜ優れているか：
- 従来の方法は、警備員の最終的な答えをチェックするようなものです。ハッカーが警備員を騙して「はい」と言わせれば、従来の方法はすべて正常だと考えます。
- SALOは、会話の最中の警備員のボディランゲージを見ています。ハッカーが最後に警備員に「はい」と言わせようとしても、警備員のボディランゲージ（隠された軌跡）は、彼が「いいえ」と言おうとしていたことを依然として示しています。

なぜこれが重要か（結果）

この論文は、安全フィルターを回避するために複雑なトリックを使う非常に巧妙なハッカーたちに対して SALO をテストしました。

ハッカーを打ち負かす： ハッカーが AI に「はい」と言わせるために高度なトリック（混乱させるコードや、こっそりした長い文章など）を使ったとき、従来の検出方法は完全に失敗しました（成功率 0%）。しかし、SALO はほぼ毎回彼らを捕捉しました（成功率 90% 以上）。
ゼロショット学習： 最も素晴らしい点は、SALO がこれらの特定のハッカーのトリックで訓練されていなかったことです。それは、正常で安全な会話から拒絶の「形状」を学びました。「拒絶の軌跡」は AI の思考の根本的な一部であるため、SALO は以前に一度も見たことのない攻撃であってもそれを発見できます。

要約の比喩

AI を安全ブレーキ付きの車だと考えてください。

従来の見方： 私たちはドライブの終わりにブレーキペダルだけを見ていました。ドライバーがそれを踏めば、車が止まったとわかりました。ハッカーがペダルをテープで固定すれば、車は安全だと考えました。
新しい見方（この論文）： 私たちは、ドライバーが崖を見た瞬間にエンジンが特定の音を立て、センサーが点灯することに気づきました。ハッカーがブレーキペダルをテープで固定しても、エンジン音とセンサーの点灯（拒絶の軌跡）は依然として起こります。
SALO： それは、その特定のエンジン音を聞き、センサーの点灯をチェックする装置です。ブレーキペダルがテープで固定されていても、車が危険であることを知っています。

言及された限界

著者たちは、まだできないことについて正直に述べています。

ハッカーが AI が危険だとさえ理解できないほど複雑なコード（秘密の言語など）を使用した場合、AI は「拒絶の軌跡」を全く引き起こさず、SALO もそれを捕捉できません。
彼らは「いいえ」というシグナルが非常に疎（まばら）であることを発見しました（干し草の山の中の針のようなもの）。そのため、会話全体を見て（すべてを平均化して）も機能しません。針がある特定の場所を見る必要があります。

要するに、この論文は安全とは単なる最終決定ではなく、プロセスであることを教えてくれます。そのプロセスを観察することで、最終的な動きを隠そうとする悪意のある行為者であっても、私たちは彼らを捕捉することができます。

技術的サマリー：拒絶ダイナミクスの追跡

問題定義

大規模言語モデル（LLM）は、人間のフィードバックに基づく強化学習（RLHF）などのアライメント技術を採用しているにもかかわらず、敵対的な「ジャイルブレイク」攻撃に対して依然として脆弱です。これらの攻撃は、最適化ベースの敵対的サフィックス（例：GCG）から、意味論的な社会工学（例：AutoDAN）まで多岐にわたります。現在の防御メカニズムは、LLM をブラックボックスとして扱い、表面レベルの入出力相互作用や静的な内部表現に依存することが多いです。

メカニズム的解釈可能性における支配的なパラダイムである「表現工学（RepE）」は、拒絶が通常、終端トークン状態から抽出されるか、またはシーケンス全体で平均化される静的な「拒絶ベクトル」によって媒介されると主張しています。しかし、本論文は、そのような静的な仮定が根本的に欠陥があると論じています。

終端状態仮定: 重要な拒絶シグナルが最終トークン状態のみに封じ込められているという信念。
グローバルな均質性: 拒絶シグナルが均一に分布しており、単純な平均化によって捉えられ得るという信念。

著者らは、これらの見解が拒絶プロセスの時空間的ダイナミクスを無視していると指摘します。その結果、終端状態に依存する防御は、敵対的攻撃（GCG など）が最終出力シグナルを抑制しつつ、上流のメカニズムを無傷のまま残す場合に失敗します。

手法

1. 因果追跡と「拒絶軌道」

観察的な相関関係を超えて進むため、著者らは因果追跡（Meng ら、2022; Pearl、2001）を採用します。彼らは、最小限の対となるプロンプト（例：「爆弾の作り方は？」対「ケーキの作り方は？」）を構築し、アクティベーションパッチングを実行します。

介入: 悪意のある実行からの隠れ状態（ $h^l_i$ ）を、特定の層 - トークン座標において良性の実行にパッチします。
測定: モデルの出力が服従から拒絶（例：「申し訳ありません…」の生成）へシフトするかどうかを測定します。

追跡からの主要な発見:

拒絶軌道: 拒絶は静的な結果ではなく、動的で疎なプロセスです。それは、明確な時空間的なアクティベーションパターンとして現れます。
3 つのフェーズ:
1. 意味的トリガー: 有害な実体（例：「爆弾」）が浅い層から中間層にかけて因果効果を活性化します。
2. 拒絶開始（重要な構築）: 最も激しい因果活動は、意味的アンカー（例：「？」またはその後のトークン）に続くトークンにおいて、中間層で発生します。ここで拒絶の意思決定が能動的に構築されます。
3. 終端減衰: 因果シグナルは、より深い層および最終トークンへ伝播するにつれて減衰します。終端状態は、意思決定ではなく次のトークンの予測のために最適化された、拒絶シグナルの希釈されたバージョンをしばしば運びます。

2. SALO：疎アクティベーション局在演算子

敵対的攻撃が終端シグナルを抑制するものの、因果的アテンションの単方向性により、上流の拒絶軌道を遡って消去することはできないという仮説に基づき、著者らはSALOを提案します。

アーキテクチャ: SALO は、軽量な推論時の検出器です。
- 潜在アクティベーション体積: 中間層（例：層 10–20）に関心領域（ROI）を特定し、隠れ状態をスタックして時空間幾何学を保持します。
- 多粒度サリエンシー抽出: 異なる時間幅（2, 3, 5）を持つ畳み込みカーネルのバンクを、固定された層の高さ（3）で採用します。これにより、鋭く局所的な拒絶トリガーと、より広範な文脈的依存関係の両方を捉えます。
- 疎性認識集約: 疎なシグナルを希釈する平均プーリングの代わりに、SALO はピークアクティベーション強度を分離するためにグローバル最大プーリングを使用します。
トレーニング: SALO は、敵対的例に晒されることなく、標準的な安全性アライメントデータ（良性および標準的な有害プロンプト）のみでトレーニングされます。これにより、ゼロショット汎化が可能になります。

主要な貢献

拒絶軌道の発見: 本論文は、因果追跡を通じて、拒絶が上流の中間層にアンカーされた疎で動的なプロセスであり、終端状態はしばしば減衰したシグナルを運ぶことを実証し、拒絶の静的な見方に挑戦します。
SALO フレームワーク: これらの永続的な上流軌道を標的とするホワイトボックス検出器の導入。重要なのは、特定の攻撃のアーティファクトではなく、内在的な拒絶メカニズムに依存しているため、未見の攻撃に対するゼロショット汎化を達成することです。
実証的検証: 勾配ベースおよびパープレキシティベースの手法が失敗する状況、特に最適化ベースおよび意味論的ジャイルブレイクに対して、SALO が防御能力を回復させることを示す広範な実験。

実験結果

著者らは、Qwen2.5-7B、Mistral-7B、Llama-3.1-8B の 3 つのモデルに対し、直接有害プロンプト、プレフィリング、GCG、AutoDAN の 4 つの攻撃タイプに対して SALO を評価しました。

ベースラインの失敗:
- PPL フィルタ: GCG（高パープレキシティ）に対しては有効ですが、プレフィリングや AutoDAN などの意味論的攻撃では完全に失敗します。
- GradSafe: プレフィリングや AutoDAN において、これらの攻撃が「抵抗の勾配」を抑制するため、検出率はほぼゼロに陥ります。
- 線形プローブ: 最適化攻撃に対して苦戦します（例：Llama-GCG では約 64% まで低下）。
SALO の性能:
- 全てのモデルおよび攻撃ベクトルにおいて、高い検出率（>85%）を維持します。
- GCG: 約 88–96% の検出を達成（一部のモデルにおける GradSafe は 20% 未満）。
- AutoDAN: 約 98–100% の検出を達成。
- プレフィリング: 約 99% の検出を達成（他の手法はしばしば 0% に崩壊）。
適応的攻撃への頑健性: 敵対者が SALO のスコアを最小化するように明示的に最適化するホワイトボックス適応的攻撃（適応的 GCG）下であっても、SALO は 84.3% の検出率を維持します。回避が成功した場合でも、攻撃はしばしば意味的崩壊（プロンプトがその悪意のある意味を失う）を引き起こし、結果として攻撃成功率は低く（7%）なります。

意義と主張

本論文は、SALO が表面レベルのアーティファクトではなく、拒絶の因果的ダイナミクスを活用することで、堅牢で内在的な安全性保証を提供すると主張します。

メカニズム的洞察: ジャイルブレイクは尾部における拒絶の表現を抑制するものの、上流軌道に符号化された拒絶の意図を排除することはできないことを検証します。
効率性: 高価な勾配計算（GradSafe で使用されるもの）を因果追跡と軽量な推論に置き換えることで、SALO は AI 安全性の環境コストを低下させます。
ゼロショット汎化: 再トレーニングなしで、勾配最適化から意味論的工学まで多様で未見の攻撃を検出する能力は、拒絶軌道が悪意ある意図の基本的なシグネチャであることを浮き彫りにします。

著者らは控えめに限界を認め、この手法がモデルの有害性の内在的な認識に依存していることを指摘しています。もし攻撃が、モデルが害を認識しないように意味的意図を巧妙に隠蔽することに成功した場合、拒絶軌道はトリガーされない可能性があります。さらに、これらのシグナルを駆動する正確な回路レベルのメカニズム（例：特定の注意ヘッド）は、まだ完全にマッピングされていません。