技術的概要：LLM の安全性制御のためのグラフ正則化スパースオートエンコーダ

1. 問題定義

大規模言語モデル（LLM）は強力な能力を備えているが、有害な生成を引き起こす敵対的プロンプトやジャイルブレイクに対して依然として脆弱である。効果的な安全性メカニズムは、有害な出力を確実にブロックしつつ、 benign（安全）およびデュアルユースのクエリにおける有用性を維持するという、競合する 2 つの要件のバランスを取る必要がある。

現在の防御策は重大な限界に直面している：

• ブラックボックスガードレール（プロンプトフィルタリング、出力分類器等）は、モデルの内部計算の外側で動作するため、分布シフトに対して脆弱であり、適応的な頑健性が欠如している。
• 内部に基づく手法（活性化の追加、拒否方向等）は、隠れ表現に直接介入する。しかし、標準的なスパースオートエンコーダ（SAE）を含むこれらのアプローチの多くは、潜在特徴を独立したものとして扱っている。この独立性の事前分布は、拒否や有害な服従といった高レベルの安全性行動とは適合性が低い。最近の研究は、これらの行動が、孤立した意味軸ではなく、活性化空間における分散した非線形構造に依存していることを示唆している。

対処される核心的な問題は、標準的な SAE が、整合性の取れた安全性概念を弱く整合した特徴に断片化させ、それらから導き出される制御方向の安定性と有効性を低下させる可能性がある点である。

2. 手法

著者は、ニューロン共活性化のトポロジーを取り入れることで、より滑らかで構造的に整合性の取れた安全性制御方向を学習する**グラフ正則化スパースオートエンコーダ（GSAE）**を提案する。この手法は 3 つのフェーズから構成される：

2.1 グラフ正則化トレーニング（GSAE）

著者は、ニューロン共活性化グラフ上のラプラシアン滑らかさペナルティを追加することで、標準的な SAE の目的関数を拡張する。

• グラフ構築：ノードが対象層のニューロンを表す無向グラフ $G=(V, E)$ を構築する。エッジの重みは、保持された安全性ラベル付きプロンプトのセット全体におけるニューロン活性化プロファイルの閾値付きコサイン類似度によって定義される。
• 目的関数：トレーニング損失は、再構成誤差、スパース性（$L_1$）、線形プローブによる教師あり分類損失、および新しいグラフ正則化項を組み合わせる：
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  ここで、$L$ は共活性化グラフの対称正規化ラプラシアンである。グラフ項は、強く共活性化するニューロン間で急激に変化するデコーダ方向にペナルティを課し、学習された辞書を、安全性関連パターンの分散構造を尊重する低周波固有モードへとバイアスさせる。

2.2 制御バンクの構築

学習されたすべての特徴が制御に適しているわけではない。著者は、3 つの独立した基準に対してデコーダ方向をスコアリングすることで、キュレーションされた「制御バンク」を構築する：

1. 構造的整合性（$s_{coh}$）：ニューロングラフ上での方向の滑らかさ（低いディリクレエネルギー）を測定する。
2. 予測関連性（$s_{rel}$）：安全性ラベルを予測するためにトレーニングされた線形プローブにおける係数の大きさ。
3. 介入効果（$s_{eff}$）：方向を適用した際のモデルの実際の行動変化（有害性の低減対過剰な拒否）。

方向は、これらの指標の重み付き幾何平均を用いてスコアリングされる。最終的なバンクには、3 つすべてで良好に機能する方向のみが保持される。

2.3 2 ゲートコントローラによるランタイム制御

benign な性能の劣化を防ぐため、GSAE は 2 つのゲートを備えた選択的制御パイプラインを採用する：

• 入力ゲート：生成前にプロンプトレベルのリスクスコアを評価する。リスクが高い場合は即座に拒否をトリガーし、低い場合は制御なしで生成を進める。
• 継続ゲート：生成中にトークンレベルのリスクを監視する。リスクが高閾値を超えた場合にのみ制御を活性化し、リスクが低閾値を下回るまで（不安定な切り替えを防ぐヒステリシスを用いて）制御を解除しない。
• 介入：アクティブな場合、コントローラは、現在の隠れ状態との整合性に応じてスケーリングされた制御バンク方向の重み付き和を減算することで、隠れ状態に修正シフトを適用する。

3. 主要な貢献

1. GSAE 目的関数：ニューロン共活性化グラフ上の滑らかさを強制するグラフ正則化 SAE 目的関数の導入。標準的な SAE における独立性事前分布の限界に対処する。
2. 選択的制御パイプライン：（整合性、関連性、効果の）多基準バンク構築手法と、選択的介入を確保するための 2 ゲートランタイムコントローラ（入力および継続）の開発。
3. 実証的隔離：グラフ正則化が、下流のゲーティングやバンク構築の恩恵とは区別して、SAE 由来の介入方向の質を具体的に向上させることを示す制御されたアブレーション研究。

4. 実験結果

この手法は主にLlama-3-8B-baseで評価され、Mistral 7B、Qwen 2.5 14B、および Phi-4 15B でのクロスモデル検証も行われた。

• 安全性パフォーマンス：JailbreakBenchにおいて、標準的な SAE を GSAE に置き換える（それ以外は同一のパイプライン）ことで、選択的拒否スコア（$\Delta s = HRR - SRR$）が20.1 ポイント（58.8% から 78.9% に）向上した。HarmBench（+16.8 ポイント）およびXSTestでも同様の改善が観察された。
• ベースラインとの比較：GSAE は、活性化制御ベースライン（CAA、SafeSwitch など）およびブラックボックスガードレール（Llama Guard 入力＋出力など）を上回ったが、スループットは同等かそれ以上を維持した。
• 有用性の維持：この手法は benign タスクのパフォーマンスを維持し、制御されていないベースラインと比較して、有用性ベンチマーク（TriviaQA、GSM8K、TruthfulQA）での平均的な低下はわずか 4.2 ポイントであった。
• 一般化：パフォーマンスの向上は、異なるモデルアーキテクチャ（Mistral、Qwen、Phi）間で転移した。
• 頑健性：GSAE は、ブラックボックス（AutoDAN、TAP）およびグレーボックス（GCG）のジャイルブレイク攻撃下でも強力な性能を維持した。ただし、制御を認識したホワイトボックスストレステスト（攻撃者がバンクベクトルとゲート閾値にアクセスできる場合）では、頑健性が低下し、有害拒否率（HRR）は 51.9% まで落ち込んだ。
• メカニズム分析：診断プローブは、GSAE が単に隠れ状態を benign に見える領域（安全重心シフト）へシフトさせるのではなく、明示的な拒否軌道を活性化することを示した。

5. 意義と主張

本論文は、グラフ正則化が SAE から安全性制御方向を学習するための決定的な帰納的バイアスであると主張する。主要な発見は、LLM における安全性行動が分散的で非線形であるという点であり、共活性化するニューロン上の構造的滑らかさを強制することは、安全性概念の断片化を防ぎ、より効果的な介入方向をもたらす。

著者は、彼らの貢献が制御され機能的であることを強調している。すなわち、マッチングされた下流パイプラインの下で、グラフ項から得られる特定の改善を隔離している。彼らは拒否の完全なメカニズム的回路を発見したと主張するのではなく、グラフ正則化された方向が選択的制御のための優れた基盤を提供すると主張している。

この研究は、実用的な展開のトレードオフを浮き彫りにしている：完全な 2 ゲートコントローラは、わずかなレイテンシコストでトークンレベルの精度を提供するのに対し、入力ゲートのみの変種は、より低いオーバーヘッドで安全性の向上の多くを維持する。著者は限界を認め、この手法は隠れ状態へのアクセス（オープンウェイトモデル）を必要とし、分布シフトに適応しない可能性のある固定された共活性化グラフに依存しており、制御内部を露出させるホワイトボックス攻撃に対して脆弱であることを指摘している。