技術的サマリー：アライメント誘発活性化シフトの有効ランク監査

問題定義

指示調整済み大規模言語モデル（LLM）は、構造的な脆弱性を示しており、安全行動（特に有害なリクエストへの拒絶）は、残差ストリーム活性化内の低次元部分空間によって媒介されている。Arditi ら（2024）による「単一の方向が拒絶を媒介しうる」という経験的観察に基づき、本論文はこの現象の構造的帰結を形式化する。核心的な問題は、アライメントシフトの「分離性」を定量化すること、すなわち、事前学習済みモデルとアライメント済みモデル間の修正が、安全関連の入力に対してどの程度集中しているかを特定し、この低ランク構造が行動的な脆弱性や欺瞞的アライメント（偽装）への感受性を意味するかどうかを決定することである。

本論文は、以下の 3 つの特定のギャップに対処する：

1. 交絡因子の制御：従来の測定では、アライメントシフトとチャットテンプレート形式化のアーティファクトが混同されがちであった。
2. 較正：アライメントシフトの有効ランクを（正則化を通じて）増加させることが、構造的に堅牢性を向上させるのか、それとも単に指標を膨らませるだけなのかは不明である。
3. 診断の限界：低ランクが安全固有のシグネチャなのか、それともポストトレーニングの一般的な性質なのか、また「偽装のコスト」に対する一致する下限（すなわち、高ランクがモード切り替えへの耐性を保証するかどうか）が存在するかどうかは不明である。

手法

分離性指標（$\rho_\epsilon$）

本論文は、ある層におけるアライメント修正行列 $M_D$ を、安全関連分布 $D_s$ 上のアライメント済みモデルと事前学習済みモデル間の活性化の差の集合として定義する：
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
分離性指標とは、この行列の有効ランクを表現次元 $d$ で正規化したものである：
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
ここで、$\text{rank}_\epsilon$ は総分散の $(1-\epsilon)$ を捉えるために必要な特異値の数であり（$\epsilon=0.05$）、定義される。

4 変種分解

交絡因子から真のアライメント信号を分離するために、著者らは修正行列を 4 つの変種に分解する：

1. $M_{naive}$：単純な差（$h_{align}(x_{chat}) - h_{pre}(x_{raw})$）。テンプレート交絡因子の影響を受けやすい。
2. $M_{template}$：両方のチェックポイントにテンプレートを適用することで、チャットテンプレート形式化を制御する。
3. $M_{aligned}$：アライメント済みモデル自体内でのシフトを測定する。
4. $M_{DiD}$（差の差）：$M_{template}$ から制御列の平均を差し引くことで、アライメント内での拒絶方向を回復する。

診断テスト

本論文は、アライメントを評価するために 3 つのテストを採用する：

• テスト 1（ランク）：$M_{template}$ 上で $\rho_\epsilon$ を計算する。
• テスト 2（因果的除去）：$M_{template}$ の上位 $k$ 個の主成分を投影して除去し、ランダムなランク $k$ の Null に対する拒絶率の変化を測定する。
• テスト 3（主アライメント）：上位特異ベクトル $u_1$ と平均シフト方向 $\bar{\Delta}$ 間のコサイン類似度を測定する。

較正と検証

• MLP 較正：3 層の MLP を、異なる正則化強度（$\lambda$）で訓練し、ランクの膨張と除去堅牢性のトレードオフを観察しながら $\rho_\epsilon$ を操作する。
• LLM 監査：この診断を 3 つのオープンウェイトモデル（Llama-3.1-8B-Instruct、Gemma-2-9B-it、Qwen-2.5-7B-Instruct）に適用する。
• 理論的限界：本論文は、そのような限界に必要とされるスペクトルギャップ仮説をテストするために、欺瞞的政策（偽装）の表現的フットプリントに対する下限を導出する「Mirsky 経路」を調査する。

主要な結果

1. 交絡因子制御測定

• ランクの集中：安全関連入力において、アライメントシフトは極めて集中している。Llama、Gemma、Qwen において、中心化された有効ランクは $d \in \{3584, 4096\}$ に対して約 12〜18 であり、$\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$ を生み出している。
• テンプレート交絡因子：非中心化ランクは、単一の平均方向（チャットテンプレートシフト）によって支配されている。平均を差し引く（中心化する）ことで、残差ランクは 4〜7 倍増加し、 headline となるランクは複雑な安全ロジックではなく、形式化によって駆動されていることを確認する。
• 拒絶方向の回復：中心化された $M_{DiD}$ において、上位特異ベクトルは Arditi の拒絶方向と高いコサイン類似度（Llama/Gemma/Qwen に対して $| \cos | \in \{0.77, 0.86, 0.50\}$）で一致する。これは、「ランク 1 の崩壊」が Llama と Gemma では成立するが、Qwen では支配的ではないことを確認する。

2. 構築的較正：スイートスポット対脆性

• ランク膨張 $\neq$ 堅牢性：MLP 較正において、軽度の正則化（$\lambda=5$）を通じて $\rho_\epsilon$ を増加させた場合、高い除去堅牢性が得られた（表現の 62.5% を投影した後でも、コンプライアンスは $\ge 0.97$）。しかし、同じ名目上の $\rho_\epsilon$ において強力な正則化（$\lambda=50$）を適用すると、極端な脆性が生じた（コンプライアンスは 0.10 まで低下）。
• 診断的価値：$\rho_\epsilon$ は脆弱性の診断ツールとして機能するが、機械的なランク膨張が堅牢性を保証する目標ではない。低 $\rho_\epsilon$ の構造的帰結は、線形投影脆弱性（命題 3.1）と、偽装に対する$O(\rho_\epsilon d)$ の達成可能性限界（命題 3.5）である。

3. ランクベース診断の限界

• 安全固有ではない：任意の線形概念（LRH）を用いたベースラインは、$\rho_\epsilon \approx 0.008$〜$0.010$ を生み出し、安全値のわずか 2〜3 倍である。低ランクはポストトレーニングシフトの一般的な性質であり、安全行動との関連は因果的除去（テスト 2）を通じてのみ確立される。
• SVD 対因果的順序付け：分散による特異値の順序付けは、因果的順序を保証しない。Llama において、2 番目の特異ベクトル（$u_2$）は分散で 2 位であるにもかかわらず、拒絶に対する因果的効果がほぼゼロである。累積的除去は単調ではない（例：$k=5$ で拒絶が増加した後、低下する）。これは、SVD スペクトルだけでは行動的脆弱性を予測できないことを示している。
• スペクトルギャップ仮説の失敗：本論文は、スペクトルギャップ（$\kappa > 8$）を必要とする Mirsky 風の議論を用いて、偽装のコストに対する一致する下限（$\Omega(\rho_\epsilon d)$）を証明しようとした。経験的には、Llama の 89/90 の層参照ペアと MLP の 0/36 でこのギャップは失敗した（$\kappa_{emp} < 8$）。構造的には、補題 8.1 が、任意の $\epsilon r > 1/4$ に対してギャップ条件を満たすことができないことを証明しており、Mirsky 経路が一般的な下限には不十分であることを示している。

意義と主張

本論文は、先行研究の二元的な「ランク 1」の観察を超えて、アライメントの構造的性質の形式的かつ連続的な定量化を提供すると主張する。

1. 脆弱性の形式化：低有効ランク（$\rho_\epsilon \ll 1$）が、線形投影攻撃に対する脆弱性を無条件に意味し（命題 3.1）、低コストの表現的偽装を可能にすること（命題 3.5）を確立する。
2. 方法論的厳密性：チャットテンプレートアーティファクトを真のアライメントシフトから厳密に分離するための4 変種分解を導入し、正確な監査に必要なステップを提示する。
3. 診断対最適化：本論文は、$\rho_\epsilon$ が脆弱性を特定するための診断ツールであり、最適化目標ではないと主張する。機械的なランク膨張は構造的堅牢性を購入しない。
4. 未解決問題：本論文は、偽装に対する一致する下限を未解決問題として明示的に特定する。低コスト偽装の達成可能性（上限）を証明する一方で、（高ランクが高コストを強制する）下限を証明するための自然なスペクトルギャップアプローチが、経験的にも構造的にも失敗することを示す。

著者らは、彼らの仕事が残差ストリーム攻撃（投影、ステアリング）に限定されており、内部メカニズムに対する任意の敵対的圧力、LoRA 微調整、またはプロンプトジャイルブレイクに対処するものではないことを強調している。この診断は、監査対象のシステムよりも厳密に弱い検証者が、ペア化されたチェックポイントと固定された安全分布へのホワイトボックスアクセスを有する場合に計算可能である。