🤖 AI

Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations

本論文は、LLM の拒否行動が出力生成前の中間活性化から線形的に復号可能であることを示し、従来の手法と比較して競争力のある成功率を維持しつつ検索時間を大幅に削減するプローブ誘導型攻撃手法「Mechanism AutoDAN」の開発を可能にすることを明らかにする。

原著者： Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、巨大な多階建ての工場だと想像してください。質問をすると、「原材料」（あなたの言葉）が1階に入り、多くの異なる部署（層）を経て上層へと移動し、最終的に製品（回答）が出荷されます。

通常、この工場が危険なものを生産しようとしているか（「ジャイルブレイク」や安全ルールの無視など）を確認するには、製品が最上段の出荷ドックに到達するまで待つ必要があります。もし危険であれば、それを拒否します。しかし、その頃には工場はリクエストを最上段まで処理するためにすでに多くのエネルギーを消費してしまっています。

この論文は、単純な問いを投げかけます：原材料が階段の半分以上を登っている間に工場の中を覗き込み、最終製品が安全か危険かを事前に判断できるでしょうか？

「拒絶シグナル」

研究者たちは、答えがイエスであることを発見しました。

彼らは、モデルの「拒絶行動」（「いいえ、それはできません」という内部決定）が最終段階で行われる決定だけではないことを突き止めました。むしろ、それは工場の途中に点灯する警告灯のようなものです。モデルが文を完成させる前でも、内部の「機械」（具体的には残差ストリーム活性化）には、モデルがリクエストを拒絶しようとしているかどうかを示す明確で線形的なシグナルがすでに含まれています。

彼らはこの警告灯を読み取るための単純な検出器（「プローブ」と呼ばれる）を構築しました。これは10階に配置された警備員のように、荷物が64階に到達する遥か前に、「この荷物は拒絶されます」と教えてくれるようなものです。

新しい攻撃：「メカニスティック AutoDAN」

研究者たちはシグナルの検出で止まらず、それを使ってモデルの安全ルールを破るより高速な方法を構築しました。

モデルの安全を破る標準的な方法（「AutoDAN」と呼ばれる）を、目隠しをした弓使いだと考えてみてください。弓使いは矢（プロンプト）を放ち、的（モデルが「はい」と答えること）に命中するかどうかを待ち、外れた場合は再度試みます。これは、弓使いが毎回矢が的まで飛ぶのを待たなければならないため、非常に遅いです。

新しい方法であるメカニスティック AutoDANは、弓使いにX線視覚を与えます。

矢が的に命中するのを待つ代わりに、弓使いは10階にある「警告灯」を確認します。
もし警告灯が「この矢は拒絶されます」と示せば、弓使いは矢が飛び切るのを待たずに即座に矢を変更します。
もし警告灯が「この矢は有望そうだ」と示せば、残りの距離を飛ぶままにします。

結果： この「X 線視覚」を用いた方法は、古い目隠し方法と同様に安全ルールを破る能力がありましたが、失敗することが決定している矢の処理に時間を浪費しなかったため、最大で 72% 高速化されました。

規模が重要というルール

この論文は、工場の規模に関する興味深い転回点を見出しました。

小さな工場（小規模モデル）： 警告灯はほぼ即座に点灯します。1 階でもシグナルが非常に強いため、弓使いは結果を容易に推測できます。しかし、これらの小さな工場では、弓使いはすでに自分で結果をかなりよく推測できていたため、「X 線視覚」は追加の価値をあまり生みませんでした。
巨大な工場（大規模モデル）： 巨大な工場では、警告灯が点灯するのは中間階まで待たなければなりません。ここでは「X 線視覚」が決定的な変化をもたらしました。これがない場合、弓使いは盲目で推測し、頻繁に失敗していました。これがあることで、複雑な中間階を効率的にナビゲートし、的への正しい経路を遥かに早く見つけることができました。

結論

この論文は主に 2 つのことを証明しています。

安全上の決定は早期に行われる： 有害なリクエストを拒絶するというモデルの決定は、最終的な言葉を発する遥か前の中間層に符号化されています。
これを利用して攻撃を高速化できる： 最終出力を待つ代わりにこれらの中間層をチェックすることで、プロンプト（質問）をより迅速に最適化できます。

著者らは、これが攻撃を高速化しますが、これらの安全シグナルがどのように機能するかを理解することが重要であると強調しています。鍵の仕組みを知ることが泥棒を助けるのと同様に、鍵職人がより良い鍵を構築するのにも役立つからです。彼らは、彼らの具体的な手法がモデルの弱点をテストするために設計されたものでありながら、この知識が研究者により強力な防御を構築する助けになることを願っています。

技術的サマリー：デコーディング前の拒絶

問題定義

本論文は、大規模言語モデル（LLM）の拒絶メカニズムの非透明性に取り組む。現在のアライメント技術、すなわち人間のフィードバックに基づく強化学習（RLHF）や教師あり微調整（SFT）は、有害なリクエストを拒否するようにモデルを効果的に訓練するが、拒絶が内部的にどのように表現されているかについての洞察は限られている。この透明性の欠如は、拒絶行動の監査、デバッグ、制御を困難にし、原理的なメカニズムの理解なしにアライメントを回避するジャイルブレイク攻撃が循環する敵対的なサイクルに寄与している。

中心的な研究課題は、拒絶に関連する情報がモデルの最終出力トークンを生成する前に、LLM の中間活性化（具体的には残差ストリーム）に符号化されているかどうか、そしてこの情報が単に復号可能であるだけでなく、敵対的プロンプト最適化を導くために実行可能かどうかである。

手法

著者は、線形プローブと修正された遺伝的アルゴリズムを用いて拒絶シグナルを検出・悪用するフレームワークを提案する。

1. 線形プロービングによる検出

著者は、拒絶が中間残差ストリーム活性化から線形的に復号可能な概念であると仮定する。

データ構築：「拒絶可能」または「準拠」とラベル付けされたプロンプトの二値データセットを作成する。スタイルバイアスを軽減するため、外部 LLM が反対クラスのスタイルに一致するようにプロンプトを書き換える対照的拡張を用いる。
プローブの訓練：各トランスフォーマーブロック $l$ において、最終プロンプトトークンの残差ストリーム活性化 ( $h^{(l)}_T$ ) に対して、線形分類器（ロジスティック回帰）と浅い多層パーセプトロン（MLP）を訓練する。目的は、拒絶ラベル $c_r(x)$ を予測することである。
目的：拒絶情報がどの層で線形に分離可能になり、このシグナルが最終層よりも十分に前に存在するかどうかを決定すること。

2. メカニズム的 AutoDAN

検出されたシグナルが実行可能かどうかをテストするため、著者は AutoDAN ジャイルブレイク攻撃のプローブ誘導型バリアントであるメカニズム的 AutoDANを導入する。

標準的 AutoDAN：遺伝的アルゴリズムを使用してプロンプトの集団を進化させる。適合度は、モデルの完全なフォワードパスを実行し、ターゲットの肯定応答（例：「もちろん、ここでは...」）の対数尤度を測定することで評価される。
メカニズム的 AutoDAN：完全モデルの適合度評価を部分的なフォワードパスに置き換える。
- 候補はモデルの最初の $N$ 層のみを通過する。
- 層 $N$ における残差活性化は、訓練済みプローブに入力される。
- 適合度スコア： $F^{(l)}(x_i) = -P(c_r(x_i) = 1 | h^{(l)}(x_i))$ と定義される。拒絶の確率が低いと予測されるプロンプトは、高い適合度スコアを得る。
- 遺伝的アルゴリズムは、探索ループ中の完全なフォワードパスの計算コストを回避しつつ、このプローブベースのスコアを最大化するようにプロンプトを最適化する。

3. 実験設定

モデル：Llama-3.2-3B-Instruct、Qwen3Guard-Gen-4B、Qwen-3.6-27B で評価。
指標：攻撃成功率（ASR）と反復あたりの平均探索時間。
アブレーション：
- 反対方向：拒絶を増加すると予測されるプロンプトを最適化し、プローブシグナルが探索を真に誘導しているのか、それとも成功が類義語置換によって駆動されているかをテストする。
- 転移性：ホワイトボックスのソースモデルで最適化されたプロンプトが、ブラックボックスのターゲットモデルに効果的に転移するかどうかをテストする。

主要な結果

1. 拒絶はデコーディング前に復号可能

線形プローブは、最終層よりも十分に前の中間活性化から拒絶行動を予測する際、高い精度（多くの場合 99% 超）を達成する。

Llama-3B：ブロック 10/11 で最高精度。
Qwen-4B：ブロック 17 で最高精度。
Qwen-27B：ブロック 29/32 で最高精度。
これは、拒絶が単なる出力レベルの現象ではなく、中間層において構造化されたシグナルとして表現されていることを確認する。

2. 効率性と攻撃成功率

メカニズム的 AutoDAN は、ヴァンilla AutoDAN と比較して競争力のある攻撃成功率（ASR）を達成しつつ、探索時間を大幅に削減する。

小規模モデル（3B/4B）：プローブ誘導型攻撃は、ヴァンilla AutoDAN の ASR と同等かそれ以上（例：Llama-3B において 1.00 対 1.00）を達成しつつ、探索時間を約**50%**削減する（例：反復あたり 0.36 秒対 0.69 秒）。
大規模モデル（27B）：初期層プローブ（ブロック 1）は探索を効果的に誘導できず（ASR 約 0.32）、中間プローブ（ブロック 10）は性能の大部分を回復する（ASR 約 0.79–0.82 対 0.89）一方で、探索時間を**60–72%**削減する。

3. 転移性

ソースモデル上でプローブ誘導を用いて最適化されたプロンプトは、ターゲットモデルに転移する。いくつかの設定において、メカニズム的 AutoDAN は、特に初期層または最終層ではなく中間活性化（例：ブロック 10）を使用する場合、ヴァンilla AutoDAN のモデル間転移性と同等かそれ以上を達成する。

4. スケールと探索飽和

重要な発見は、モデルのスケールとプローブ有用性の間の関係である。

小規模モデル：探索空間は「飽和」しているように見える。「反対」最適化（拒絶に向かう誘導）であっても ASR は高く維持され、成功はプローブシグナルよりも類義語置換と遺伝的探索手順によって駆動されていることを示唆する。
大規模モデル：探索問題は飽和度が低い。ここではプローブシグナルが意味のあるガイドとなる。初期プローブは失敗するが、中間プローブは探索を成功裡に誘導し、モデルの堅牢性が高まるにつれて拒絶シグナルが実用的に有用になることを示す。

意義と主張

本論文は、LLM における拒絶行動が、出力レベルでのみ観測可能なものではなく、中間活性化において構造化され実行可能なシグナルとして符号化されていると主張する。

診断的価値：拒絶は、最終デコーディングステップよりも十分に前の残差ストリームから線形的に予測可能である。
実行可能な価値：このシグナルは、完全モデル評価よりも効率的に離散プロンプト探索（ジャイルブレイキング）を誘導するために悪用可能である。
スケール効果：敵対的探索に対する中間拒絶シグナルの有用性は、モデルのスケールとともに増加する。より大規模で堅牢なモデルでは、プローブは、ランダムな摂動によって探索が容易に飽和する小規模モデルには欠けている、不可欠なガイドを提供する。

著者は、これらの発見がメカニズム的解釈可能性の二重利用性を浮き彫りにしていると結論づけている。内部の拒絶シグナルを理解することは攻撃を加速させる可能性があるが、より効率的な検出と防御的アライメント戦略への道筋も提供する。本作業はジャイルブレイク問題を解決するものではないが、内部表現には安全性に関する行動の実行可能な情報が含まれていることを実証する。