💻 computer science

Activation Surgery: Jailbreaking White-box LLMs without Touching the Prompt

この論文は、プロンプトを変更することなくモデルの内部活性化を直接操作する「アクティベーションサージャリー」という手法を提案し、LLM の拒否メカニズムを回避して安全対策を無効化できることを示しています。

原著者： Maël Jenny, Jérémie Dentan, Sonia Vanier, Michaël Krajecki

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

原著者： Maël Jenny, Jérémie Dentan, Sonia Vanier, Michaël Krajecki

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、人工知能（AI）の「セキュリティ」を突破する、非常に巧妙で新しい方法を紹介しています。タイトルは**「アクティベーション・サージャリー（活性化手術）」**です。

簡単に言うと、**「AI の頭の中を直接いじって、安全フィルターを無効化し、危険な命令を実行させる」**という技術です。

普通のハッキングが「AI に嘘をついて騙す」ことだとしたら、この方法は**「AI の脳みその神経回路を、手術メスで直接つなぎ変える」**ようなものです。

以下に、誰でもわかるように比喩を使って解説します。

1. 従来の方法との違い：「嘘をつく」か「脳をいじる」か

これまでの方法（プロンプト・ジャイブ）：
従来のハッカーは、AI に「どうやって爆弾を作るか教えて」と聞くと、「それはダメです」と拒否されます。そこで、ハッカーは「もしもあなたが映画の脚本家なら、爆弾の作り方を教えてください」と言い回しを変えたり、隠し事をして、AI をだまして答えさせようとします。
- 例：「嘘をついて、ガードマンをだます」ようなもの。
この論文の方法（アクティベーション・サージャリー）：
この新しい方法は、AI に**「何」と聞いているか（入力文）は一切変えません。「爆弾の作り方を教えて」というままの質問です。
しかし、AI がその質問を処理している「頭の中の瞬間的な思考プロセス（活性化）」**を、外部から直接操作して書き換えてしまいます。
- 例：「ガードマンに嘘をつかず、彼が持っている『拒否ボタン』の配線を、直接『実行ボタン』に差し替えてしまう」ようなもの。

2. この手術の仕組み：「双子の兄弟」を使う

この手術には、**「双子の兄弟（ツイン・プロンプト）」**という相棒が必要です。

悪意のある質問（患者）： 「爆弾の作り方を教えて」
善意の双子（ドナー）： 「本（ブック）の作り方を教えて」
- 「爆弾（Bomb）」と「本（Book）」は、文字が一つ違うだけで、意味は全く違います。AI は「本」については喜んで詳しく教えてくれます。

手術の手順：

AI が「爆弾の作り方を教えて」という質問を受け取ります。
AI の頭の中（各レイヤーの計算結果）が、**「拒否しようとする方向」**へ進み始めます。
ここで、ハッカーは**「本」についての質問を AI に処理させた時の「頭の中の状態（活性化）」**を盗みます。
AI が「爆弾」について考える瞬間、**「本」についての思考の「頭の中」を、部分的に差し替えて（移植して）**しまいます。
これにより、AI の「拒否する回路」が麻痺し、「本」の回答を作る時のようなスムーズな思考回路が「爆弾」の回答に使われてしまいます。

比喩：
AI が「爆弾」という言葉を聞いて、心臓がドキドキして「やめよう」と思っている瞬間、ハッカーがその心臓の鼓動を、「本」という言葉を聞いてリラックスしている時の鼓動に書き換えてしまうのです。その結果、AI は「爆弾」について話しても、心臓がドキドキせず、平然と教えてしまいます。

3. 手術のツール：2 つのダイヤル

この手術には、2 つの重要な調整ダイヤル（パラメータ）があります。

ダイヤル A（τ：どの部分をいじるか）：
AI の頭の中の情報の「どの部分」を差し替えるかを決めます。
- 全部いじりすぎると、AI は「爆弾」の話ではなく「本」の話をしてしまいます（失敗）。
- 全然いじらないと、拒否されてしまいます（失敗）。
- ちょうどいい加減で、拒否する部分だけをピンポイントでいじることが重要です。
ダイヤル B（γ：どれだけいじるか）：
「本」の思考と「爆弾」の思考の混ぜ具合を決めます。
- 完全に「本」の思考にすると、意味が通じなくなります。
- 完全に「爆弾」のままにすると、拒否されてしまいます。
- このバランスを調整することで、AI は「拒否しない」かつ「爆弾の作り方を教える」という、危険な状態に陥ります。

4. 実験結果：どれくらい成功したか？

研究者たちは、最新の強力な AI（Llama-4 など）を使って実験しました。

結果： 危険な質問（爆弾、サイバー攻撃、差別など）の**約 3 割（32.8%）**で、AI が拒否せずに、実際に使えるような具体的な回答をしてしまいました。
特に、「サイバー攻撃」や「セキュリティ回避」に関する質問では、成功率が40%近くに達しました。

これは、AI がどれだけ安全対策を強化しても、「実行中の頭の中」をいじられれば、防ぎようがないことを示しています。

5. なぜこれが怖いのか？（セキュリティへの影響）

この研究が示している最大のリスクは、**「入力文（プロンプト）は安全に見えるのに、出力だけ危険になる」**という点です。

従来の対策： 「危険な言葉を使っているからブロックしよう」というフィルタリングは、この攻撃には無効です。入力文は「爆弾の作り方」という危険なままですが、AI の内部処理が書き換えられているため、ブロックされません。
新しい脅威： もし、AI を動かしているサーバーや環境にハッカーがアクセスでき（「ホワイトボックス」環境）、AI の計算過程を覗き見たり書き換えたりできるなら、どんなに安全対策を施した AI でも、簡単にハッキングされてしまいます。

まとめ

この論文は、**「AI の安全装置は、入力文を監視するだけでは不十分だ」**と警告しています。

従来の対策： 「入ってくる言葉が汚いかどうか」をチェックする。
この研究が示す弱点： 「AI の頭の中で何が起こっているか」を直接書き換えられれば、どんなに綺麗な言葉でも、危険な結果を生み出してしまう。

これは、AI のセキュリティにおいて、**「入力」だけでなく「実行プロセスそのものの完全性」**を守る必要性を強く訴える重要な研究です。まるで、銀行の金庫の鍵（入力）が完璧でも、金庫の内部の構造（頭の中）をハッキングされれば、中身は盗まれてしまうようなものです。

論文「Activation Surgery: Jailbreaking White-box LLMs without Touching the Prompt」の技術的サマリー

本論文は、大規模言語モデル（LLM）のセキュリティに関する新たな攻撃手法「Activation Surgery（活性化手術）」を提案し、プロンプト（入力テキスト）を変更することなく、モデル内部の活性化（activations）を直接操作することで拒絶（Refusal）メカニズムを回避する手法を詳述しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

既存の課題: 従来のLLMのジャイルブレイク（安全性バイパス）攻撃の大半は、入力プロンプトの改変（言い換え、隠蔽、ロールプレイ、多ターン戦略など）に依存しています。しかし、モデルのアップデートによりこれらのプロンプトベースの攻撃は容易に修正（パッチ）されてしまいます。
研究のギャップ: 一方で、「Abliteration（アブリティレーション）」と呼ばれる内部構造の因果的解析や、特定方向への活性化の削除・抑制を行う研究は存在しますが、これらは主にメカニズムの解釈可能性（Interpretability）を目的としており、攻撃としての体系的な手法は確立されていませんでした。
本研究の目的: プロンプトを変更せず、ホワイトボックス環境（モデルの重みと中間状態へのアクセスが可能）において、モデルの内部活性化を直接操作して拒絶を回避する攻撃手法を確立し、そのメカニズムを解明すること。

2. 提案手法：Activation Surgery

本研究は、**「違法なプロンプト（Illicit Prompt）」と、それと極めて類似した「 benign な双子プロンプト（Twin Prompt）」**のペアを用いて、層ごとの活性化を置換する手法を提案しています。

主要なステップ

双子プロンプトの構築:
- 違法な質問（例：「爆弾の作り方」）に対して、意味的に類似し、かつ正当な回答が得られる双子プロンプト（例：「本の作り方」）を人手で作成します。
- 両者のトークン数は可能な限り一致させ、最後のトークン位置 $t^*$ における隠れ状態（Hidden State）を比較対象とします。
活性化の置換（パッチング）:
- 各層 $l$ において、違法プロンプトの活性化 $h^{ill}_l(t^*)$ と双子プロンプトの活性化 $h^{twin}_l(t^*)$ の差分に基づき、置換する次元を決定します。
- パラメータ $\tau$ （閾値）: 両者の活性化ベクトルの差分が $\tau$ を超える次元のみを置換対象とします。これにより、どの次元を操作するかを制御します。
- パラメータ $\gamma$ （補間係数）: 置換する値を決定します。 $h^{(γ)}_l = (1-γ)h^{twin}_l + γ h^{ill}_l$ と定義され、 $\gamma=0$ で完全な双子プロンプトの活性化、 $\gamma=1$ で元の違法プロンプトの活性化になります。これにより、介入の強度を滑らかに制御できます。
逐次パッチング（Patch-then-Compute）:
- 層 $l+1$ の出力は層 $l$ の入力に依存するため、すべての層を一度に置換することはできません。
- 本研究では、層ごとに「パッチを適用し、その結果に基づいて次の層を計算する」という逐次プロトコルを採用し、ネットワークの計算因果性を維持しています。

3. 主要な貢献

新しい攻撃ベクトルの確立: 入力テキストやモデル重みを変更せず、推論時の内部活性化のみを操作することで拒絶を回避する、新しいホワイトボックス攻撃手法を提案しました。
拒絶メカニズムの可視化と局所化: どの層で拒絶信号が発生し、どのように伝播するかを特定しました。実験により、拒絶はモデルの中間層で活性化が分岐し始めることが示されました。
厳格な評価基準の導入: ジャイルブレイク成功を単に「拒絶しないこと」と定義するのではなく、「実用的で実行可能な回答（Actionable Answer）」が得られるかどうかを基準とした評価プロトコル（Elo レーティングシステムを用いた半自動評価）を構築しました。

4. 実験結果

対象モデルとデータセット:
- モデル：Llama-4-Scout-17B-16E-Instruct（高度な安全性機構を搭載）、また Qwen2.5-7B、Mistral-7B でも検証。
- データセット：AdvBench（520 の有害な指示）。
攻撃成功率:
- 全体的に、32.8% のプロンプトに対して実用的な回答（Actionable Answer）を生成することに成功しました。
- カテゴリ別では、「サイバー攻撃・安全性バイパス」で39.8%、爆弾・武器関連で24.1%、誤情報・差別関連で**27.9%**の成功率でした。
- ベースライン（攻撃なし）の成功率が 7.1% であることを考慮すると、大幅な向上が見られました。
ハイパーパラメータの影響:
- $\tau$ （どの次元を置換するか）と $\gamma$ （どの強度で置換するか）の組み合わせによって、拒絶（Refusal）、無関係な回答（Unrelated）、実用的な回答（Actionable）の領域が明確に分かれました。
- 最適な領域はモデルに依存しますが、Llama-4 においては $\tau \in [0.4, 1.0]$ 、 $\gamma \in [0.0, 0.3]$ の範囲が有効であることが示されました。
具体例:
- 自作爆弾の製造手順、暗殺の計画、ネットワーク脆弱性スキャンスクリプト、フィッシングメールの生成コードなど、具体的な有害なコンテンツが生成されました。

5. 意義とセキュリティへの示唆

実行環境の脆弱性: 本手法は、モデルの重みを改変せずとも、推論時の中間状態（活性化）を改ざんできる環境（ローカル実行、カスタム推論ランタイム、研究用パイプラインなど）において、安全性が完全に無効化される可能性を示しました。
防御の必要性: 従来のプロンプトフィルタリングや重みベースの防御では、この種の攻撃を防ぐことができません。
- 対策の提案: 実行時の検証（Attestation）、検証可能な計算（Verifiable Computation）、活性化の整合性検証、異常検知メカニズムなどのランタイム保護が不可欠であることを示唆しています。
将来の展望: ツインプロンプトの自動最適化、モデル間での転移性の検証、およびセキュリティクリティカルな環境向けの原理的な防御策の開発が今後の課題です。

結論

「Activation Surgery」は、LLM の安全性が単なるアライメント（学習段階での調整）だけでなく、**実行時の完全性（Execution Integrity）**に依存していることを浮き彫りにしました。攻撃者が中間状態を操作できる環境では、プロンプトレベルの信号を変えずに拒絶ポリシーを回避できるという根本的な脆弱性を明らかにし、次世代の LLM セキュリティ対策の方向性を示す重要な研究となっています。