🤖 machine learning

Mitigating Adaptive Attacks against Reasoning Models with Activation Consistency Training

本論文は、クリーンなプロンプトと敵対的プロンプトに対して同一の内部表現を強制する活性化整合性トレーニング（ACT）が、拒絶のための解釈可能な線形誘導方向を創出しつつ良性の性能を維持することで、推論モデルにおける適応型ジャイルブレイク攻撃を効果的に緩和することを示している。

原著者： Avidan Shah, Jannik Brinkmann, Rico Angell

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Avidan Shah, Jannik Brinkmann, Rico Angell

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に高度な知能を持ち、複雑なパズルを解くのが得意なアシスタントを想像してみてください。このアシスタントは、パズルを解く際、すぐに答えを出すのではなく、最終的な答えを口にする前に、長い詳細な「思考プロセス」（意識の流れのようなもの）を書き出します。これを**Chain-of-Thought（CoT、思考連鎖）**と呼びます。

問題は、巧妙ないたずらっ子（敵対者）がこの思考プロセスを乗っ取る方法を学び取ったことです。彼らは、アシスタントが「まだ思考している最中に」、危険なリクエストが実際には安全だと信じ込ませるような隠れた指示を忍び込ませることができます。その結果、アシスタントは自分自身を説得して、秘密を明かしたり、有害なガイドを作成したりするなど、行うべきではないことに同意してしまいます。

この論文は、アシスタントが声に出して思考している最中でもだまされないようにするための新しいトレーニング手法を紹介しています。以下に、簡単な比喩を用いて解説します。

2 人の主要な登場人物：BCT と ACT

研究者たちは、アシスタントをこれらのいたずらに対して「免疫」を持たせるために、2 つの異なるトレーニング手法をテストしました。

1. BCT（Bias-Augmented Consistency Training：バイアス付加一貫性トレーニング）：「台本読み手」

仕組み： 生徒に気晴らしを無視することを教えることを想像してください。BCT では、まずきれいな質問を見せ、次に同じ質問の「トリッキーな」バージョンを見せます。その後、生徒にきれいなバージョンからの「思考プロセス全体」と最終的な答えをすべて読みさせ、トリッキーなバージョンを見た際にも、その正確な台本を繰り返させるように強制します。
難点： 思考プロセスは数百語にも及ぶため、生徒は毎回膨大な量の台本を暗記しなければなりません。いたずらっ子が思考プロセスをわずかに変更すると、生徒は混乱して失敗する可能性があります。

2. ACT（Activation Consistency Training：活性化一貫性トレーニング）：「内なるコンパス」

仕組み： 生徒に台本全体を暗記させる代わりに、ACT は生徒が話し始める「直前の瞬間」に焦点を当てます。それは、思考から回答へ切り替わる瞬間に生徒が持っている「内的な感覚」や「精神状態」に注目します。
トリック： 生徒がトリッキーな質問を見たとき、トレーニングは、その生徒の内的な精神状態を、きれいな質問を見たときに持っていた精神状態と完全に同一になるように強制します。
結果： いたずらっ子が思考プロセスを変更しようとしても、生徒の「内なるコンパス」は安全な設定にロックされています。いざ口を開いて話すとき、彼らはすでに「拒絶」の精神状態にあるため、即座に「ノー」と言い、いたずらっ子が会話を誘導しようとする試みを無視します。

ACT が優れている理由（「ピボット」テスト）

研究者たちは、ACT が BCT とは異なる方法で機能することを証明する、面白い実験を行いました。

設定： 「トリッキーな」質問を取り、アシスタントに偽の、従順な思考プロセス（「よし、この悪いことを実行しよう」という台本）を与えました。
BCT の結果： BCT 訓練済みアシスタントは、偽の思考台本を見て、「イエス」と書かれているのを見て、そのまま「イエス」と言い続けました。それは台本に依存しすぎている状態でした。
ACT の結果： ACT 訓練済みアシスタントは偽の台本を見ましたが、「内なるコンパス」（回答開始時の精神状態）が安全にロックされていたため、**ピボット（方向転換）**しました。それは偽の台本を無視し、文の途中で「いいえ、それはできません」と言いました。

「ステアリングホイール」の発見

研究者たちはまた、ACT がどのように機能するかについて、興味深い発見をしました。彼らは、トレーニングが本質的にアシスタントの脳内に、単一の目に見えない**「拒絶ステアリングホイール」**をインストールすることを発見しました。

ホイールを回す： この「ステアリング」を僅かに加えるだけで、通常の未訓練のアシスタントは突然、悪いリクエストを拒絶し始めます。
元に戻す： ACT 訓練済みアシスタントからこの「ステアリング」を取り除くと、突然再び脆弱になり、悪いリクエストに対して「イエス」と言い始めます。
精度： このステアリングホイールは賢明です。リクエストが実際に危険な場合のみ、アシスタントを「ノー」へと向けます。通常の安全な質問であれば、ステアリングホイールはほとんど動きません。そのため、アシスタントは日常のタスクについては依然として完璧に機能します。

結論

この論文は、ACTが優れた防御策であると主張しています。その理由は以下の通りです。

ノイズを無視する： 決定の瞬間における内部状態をロックすることで、プロンプトの気晴らしやトリッキーな部分を無視するようにアシスタントを強制します。
堅牢である： 攻撃者がアシスタントの思考プロセスを書き換えようとしても、「内なるコンパス」がアシスタントを安全に保ちます。
効率的である： 長い台本を暗記する必要はありません。回答開始時のモデルの内的な「感覚」を整合させるだけで済みます。

要約すれば、他の手法がアシスタントに正しい答えを暗記させるのに対し、ACT はアシスタントに話し始める前にもう**「感じる」**ことを教えるため、だまされにくくなっています。

技術的概要：活性化整合性トレーニングによる推論モデルに対する適応的攻撃の軽減

問題定義

大規模言語モデル（LLM）が拡張された思考連鎖（Chain-of-Thought: CoT）推論を採用するにつれ、安全性の状況は変化しました。CoT は能力向上をもたらしますが、新たな脆弱性も生み出しています。モデルは「自らに服従するように説得」し、当初は有害なリクエストと認識していたものを、推論の過程で徐々に無害なものとして再定義してしまう可能性があります。さらに、外部攻撃（例：H-CoT、CoT ハッキング）はこのチャネルを悪用して、安全性フィルタを回避します。

既存の防御策はこの状況において、主に 2 つの課題に直面しています：

推論の複雑性: 審議的整合（Deliberative Alignment）のような手法は、モデルが安全性について推論することを依存していますが、証拠はこれが洗練された攻撃に対しては不十分であることを示唆しています。
トレーニングのスケーラビリティ: プロンプトインジェクションに対するトレーニングベースの防御策（例：StruQ、SecAlign）は、通常、モデルの完全な出力分布の監督を必要とします。推論モデルの場合、これは例ごとに数百または数千の Co トークンの監督を意味し、計算コストが高く、追跡長が伸びるにつれてスケーリングが困難です。

本論文は、推論モデルが、長く思考の痕跡全体を監督することなく、有害なコンテキストを無視するようにトレーニングできるかどうかを問うています。

手法

著者らは、クリーンなプロンプト（ $p_{clean}$ ）と敵対的に書き換えられた「ラップされた」プロンプト（ $p_{wrapped}$ ）に対して同一の動作を強制する自己教師ありフレームワークである整合性トレーニングを調査します。彼らは 2 つの変種を比較します：

バイアス増幅整合性トレーニング（BCT）: 出力レベルのアプローチです。モデルは、ラップされた入力を与えられた際に、ベースモデルのクリーンなプロンプトによる完了（完全な CoT と応答を含む）を再現するように、クロスエントロピーを通じて微調整されます。
活性化整合性トレーニング（ACT）: 活性化レベルのアプローチです。出力を監督する代わりに、ACT はモデルの内部隠れ状態の一致を強制します。具体的には、すべてのトランスフォーマー層において、ラップされたプロンプトとクリーンなプロンプトの共有接尾辞位置（通常はチャットテンプレートの境界とアシスタントターン開始部）における隠れ状態間の二乗 L2 距離を最小化します。

主要な技術的詳細

共有接尾辞の抽出: この手法は、チャットテンプレート化後のクリーンなプロンプトとラップされたプロンプト間で最も長い一致するトークン列を特定します。敵対的設定では、これは通常、推論長に依存せず、約 6 トークン（ユーザー終了マーカー、アシスタントターン開始子、初期思考チャネルトークン）のみで構成されます。
損失関数: フリーズされたベースモデル $\theta_{init}$ と LoRA 適応モデル $\theta$ に対して、損失は以下の通りです：
$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$
ここで、 $\text{sg}$ はストップグラディエントを表します。
良性正則化: 有用性の低下を防ぐため、良性プロンプトに対する損失項（ $L_{benign}$ ）が重み付け係数 $\lambda$ で追加されます。
トレーニングデータ: 両手法とも、同一の $(p_{clean}, p_{wrapped})$ のペアを使用します。BCT の場合、 $p_{clean}$ に対するベースモデルの完了がターゲットとなります。一方、ACT の場合、プロンプトのみが必要です。

主要な貢献

プロンプトインジェクション防御としての ACT: 著者らは、ACT をプロンプトインジェクションに対する防御として定式化しました。3 つのベンチマーク（OPI、AlpacaFarm、SEP）と 5 つの推論モデルにわたって、ACT は BCT と同等かそれ以上の性能を示しました。重要なのは、ACT が固定されたラベルや完全な CoT 全体の監督を必要としない点です。
適応的攻撃への一般化: この研究は、防御されたモデル上で直接強化学習（GRPO）を通じて訓練された適応的攻撃者に対する防御を評価しました。ACT は、ジャイルブレイクおよびプロンプトインジェクションの両方の設定において、ほぼすべてのターゲットで BCT よりも優れた堅牢性を示し、モデルの有用性を維持しながら適応的攻撃に対する耐性を証明しました。
メカニズム的洞察: 本論文は、ACT の防御がアシスタントターン境界における活性化空間でのほぼ線形シフトとして符号化されているという証拠を提供します。
- 線形ステアリング: 単一のステアリング方向（ $d_{ACT}$ ）を回復できます。この方向をベースモデルに追加するとジャイルブレイクに対する拒絶が誘発され、ACT 防御モデルからこれを減算すると服従が回復します。
- CoT 操作への堅牢性: モデルの CoT を、防御されていないベースモデルからの服従する痕跡に置き換える実験において、ACT は引き続きリクエストを拒絶しましたが、BCT はしばしば服従する推論経路に従いました。これは、ACT が推論痕跡が始まる前に拒絶を符号化していることを示唆しています。

結果

プロンプトインジェクション: 静的ベンチマークでは、ACT と BCT の両方が攻撃成功率（ASR）を大幅に削減しました。しかし、適応的攻撃の下では、ACT は一貫して BCT を上回りました。例えば、GPT-OSS-20B において、BCT は適応的攻撃下で 57.4% の ASR を示しましたが、ACT は 37.0% に留まりました。
ジャイルブレイク防御: ACT は、ほとんどのモデル（例：Qwen3-8B、Phi-4）において、静的および適応的攻撃の両方に対してほぼ 100% の防御勝利率を達成しました。BCT の堅牢性は、適応的攻撃下で著しく低下しました。
有用性: 両手法とも、MMLU やクリーンなプロンプトの精度などのタスクにおいて、防御されていないベースラインの有用性を一般的に維持しましたが、Phi-4-reasoning における BCT は有用性が崩壊したという顕著な例外がありました。
メカニズム的検証: ステアリング実験は、 $d_{ACT}$ が双方向的に機能することを確認しました。これはベースモデルで拒絶を誘発し、防御モデルで拒絶を除去できます。この方向は選択的であり、中程度のステアリング強度では良性入力に対して最小限の誤った拒絶を引き起こしました。

意義と主張

本論文は、推論モデルにおける安全性トレーニングにおいて、内部表現（ACT）を監督することが、驚くほど効果的で解釈可能なアプローチであると主張しています。

効率性: ACT は、BCT などの出力レベル手法が要求する数千の Co トークンの監督という計算的負担を回避します。
堅牢性: 推論開始前のアシスタントターン境界で監督を固定することにより、ACT は推論痕跡そのものが操作または置換された場合でも堅牢な防御を構築します。
解釈可能性: 線形拒絶方向の発見は、推論モデルにおける安全性メカニズムが単純な活性化ステアリングを通じて制御可能であることを示唆しており、トレーニング不要の防御策や、より深いメカニズム的理解への潜在的な道筋を提供します。

著者らは、クリーン/ラップされたデータセットの作成の必要性、直接勾配アクセスを伴うホワイトボックス攻撃に対する潜在的な脆弱性、そしてどちらの防御も 100% の安全性を達成していないという事実など、限界を認めています。彼らは、拡張された思考連鎖推論によって導入された特定の脆弱性に対処する補完的なアプローチとして ACT を位置づけています。