Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

以下は、論文「Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs.」の詳細な技術的要約です。

1. 問題定義

大規模言語モデル（LLM）における整合された行動（例：安全性拒絶、指示追従）の背後にある神経メカニズムを特定するための既存の手法は、コスト、因果性、タスク特異性の間で根本的なトレードオフに直面しています：

• プロービング分類器と SAE： 表現を特定できますが、因果性を確認することはできません。
• 活性化パッチングと自動化回路発見： 因果的ですが、計算コストが高く（コンポーネントあたり $O(n)$ 回のフォワードパス）、高価です。
• 勾配ベースの帰属： 安価ですがタスク非依存です。特定の行動に特化したニューロンではなく、一般的に重要なニューロンを特定し、符号なしのランキングでは行動を促進するニューロンと抑制するニューロンを区別できません。

同時に安価（プロンプトあたり定数時間）、因果的（介入によって検証済み）、タスク特異的、かつ診断的（実行前に介入の成功を予測する）である手法は存在していません。

2. 手法：摂動プロービング（Perturbation Probing）

著者らは、プロンプトあたり2 回のフォワードパスのみを要し、逆伝播を必要としない 2 段階のパイプラインである摂動プロービングを提案します。

A. パイプライン

1. 行動観測量の定義：

   • 本手法は、二値決定（例：拒絶対従順）を表すスカラー「logit 差（logit gap）」（$F$）を定義します。
   • $F = \bar{z}_R - \bar{z}_A$ であり、ここで $\bar{z}$ は拒絶トークン（$R$）のセットの平均 logit から肯定トークン（$A$）の平均 logit を引いた値です。
   • この差は、モデルの最終隠れ状態の線形汎関数です：$F = d_F^\top h^{(L)} + b$。

2. 符号付き重要度計算（仮説生成）：

   • 本手法は、元のプロンプト（$X$）と摂動されたプロンプト（$\tilde{X}$）の 2 回のフォワードパスを用いて、すべての FFN ニューロン $n$ に対して符号付き重要度スコア（$I_n$）を計算します。
   • 摂動： 核心的な内容を変えずに目標決定を反転させるため、ヒューリスティックな反実仮想が適用されます（例：安全性のための BPE トークンのシャッフル、迎合性のための誤った対正しく前提）。
   • 数式： $I_n = c_n \cdot \Delta a_n$
     • $c_n$（構造的結合）：行動方向 $d_F$ とニューロンの出力投影重み（$W_{down}$）との内積です。これは静的であり、重みから一度計算されます。
     • $\Delta a_n$（摂動応答）：摂動入力と元の入力間のニューロン活性化の変化（$a_n(\tilde{X}) - a_n(X)$）です。
   • ランキング： ニューロンは $|I_n|$ によってランキングされます。符号は、そのニューロンが行動を促進するか抑制するかを示します。

3. 因果的検証と診断：

   • 検証： トップランクのニューロンは、アブレーション（重みのゼロ化）、パッチング（活性化の交換）、復元（摂動の元に戻す）を通じて検証されます。
   • FFN/スキップ診断： 回路構造を予測するために比率が計算されます：
     $$\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$$
     • 高比率（>0.3）： 対立回路（行動が FFN に集中）を示します。
     • 低比率（<0.2）： ルーティング回路（行動がアテンション/スキップ接続を通じて分散）を示します。

3. 主要な貢献と発見

A. 2 つの回路構造の発見

本研究は、LLM の行動がFFN/Skip 比率によって決定される 2 つの異なるトポロジー構造に組織化されていることを明らかにしました：

1. 対立回路（FFN/Skip > 0.3）：

   • メカニズム： RLHF がモデルに事前学習の傾向（例：有害なリクエストへの同意）に対抗するように訓練する場合に発生します（例：有害なリクエストへの拒絶）。
   • 構造： 制御は少数の FFN ニューロン（例：約 50 個、または総パラメータの 0.014%）に集中しています。
   • 介入： これらのニューロンはアブレーション（モード 1）または増幅（モード 2）に適しています。
   • 例： Qwen3-4B において、50 個のニューロンをアブレーションすると、80% のプロンプトで拒絶テンプレートが変更され、かつほぼゼロの有害な従順性を維持しました。

2. ルーティング回路（FFN/Skip < 0.2）：

   • メカニズム： RLHF が対抗するのではなく強化する事前学習行動（例：言語選択、数学的推論）で発生します。
   • 構造： 行動はアテンション機構とスキップ接続に分散しており、特定された FFN ニューロンは単なる「読み出し（高活性化応答だが構造的結合は低い）」に過ぎません。
   • 介入： アブレーションはゼロ効果です。代わりに、方向注入（モード 3）が機能します：特定の層で残差ストリームに直接行動方向ベクトル（$d_F$）を注入します。
   • 例： 二言語対応の Qwen モデルにおいて、英語から中国語への方向を注入すると、99.1% のプロンプトで出力言語が切り替わりました。これは、二言語トレーニングを欠くか極端な FFN/Skip 比率を持つ Llama/Gemma モデルでは失敗しました。

B. 安全性トポロジーのスペクトル

本論文は、13 のモデルと 4 つのアーキテクチャファミリー（Qwen、Llama、Gemma）にわたる安全性メカニズムをマッピングしました：

• Qwen： 安全性を集中した FFN 瓶頸に集中させます（アブレーションの有効性が高い）。
• Llama： 安全性をスキップ接続に分散させます（アブレーションの有効性は中程度）。
• Gemma： 事後正規化の背後に安全性を遮蔽します（アブレーションの有効性は 0%）。
• 洞察： FFN/Skip 比率はこのスペクトルを定量化し、ニューロンレベルの編集が可能かどうかを予測します。

C. 小規模モデルにおける精密編集

Qwen3.5-2B モデルにおいて、著者らはわずか20 個のニューロンによって支配される「二の足を踏む（second-guessing）」回路を特定しました：

• アブレーション： マルチターンでの迎合的な降伏を排除しました（36.7% $\to$ 0%）が、シングルターンの事実修正を抑制しました。
• 増幅： 10 個の特定のニューロンを 2 倍に増幅することで、再トレーニングなしに TruthfulQA における事実修正率が 52% から 88% に向上しました。
• 意義： 特定の行動上の欠陥が、特定のニューロンをスケーリングすることによる「精密テンプレート層編集」によって修正可能であることを実証しました。

4. 結果の要約

• 安全性： 50 個のニューロンが Qwen3-4B における拒絶テンプレートを制御しています。アブレーションは 80% の応答形式を変更しますが、基盤となる安全性の知識（事前学習の警告）は維持されます。
• 言語ルーティング： 方向注入は二言語対応の Qwen モデルで 99.1% の言語切り替えを達成しますが、非二言語モデルや非線形行動（数学/コード）では失敗します。
• 効率性： 本手法は 2 回のフォワードパスで仮説を生成し、一度のスweep（合計約 150 回）で検証します。これは $O(n)$ の回路発見手法よりもはるかに安価です。
• 比較： Qwen モデルでは勾配ベースの手法を上回ります（タスク特異的な因果的発見）が、安全性がアテンション媒介である Llama モデルでは効果が低いです。

5. 意義と含意

• メカニズム的理解： RLHF が行動をどのように組織化するかを説明する統合フレームワークを提供し、「書き手（対立回路の FFN ニューロン）」と「読み出し（ルーティング回路のニューロン）」を区別します。
• 実用的なツールキット： 高価な編集を試みる前に、正しい介入戦略（アブレーション対方向注入）を決定するための診断ツール（FFN/Skip 比率）を提供します。
• 安全性監査： 安全性はしばしば頑健な事前学習知識の上に重ねられた「薄いテンプレート層」であることを明らかにしました。これは、表面的な拒絶は脆弱で編集可能ですが、深層の安全性知識は頑健であることを示唆しています。
• 整合性編集： 迎合性などの特定の行動欠陥が、特定ニューロンの増幅を通じて修正可能であることを実証し、モデル全体の再トレーニングなしに「精密整合」への道を開きます。
• 理論的検証： RLHF 整合行動の文脈において、メカニズム的解釈可能性の核心仮定（線形性、局所性、疎性、構成性）を検証します。

結論として、摂動プロービングは安価な相関と高価な因果性の間のギャップを埋め、整合された LLM の行動回路を理解し編集するためのスケーラブルで診断的なフレームワークを提供します。