技術要約：拒絶の幾何学：安全性調整済みLLMにおける線形不安定性

問題提起

RLHF（人間からのフィードバックによる強化学習）などの安全性調整技術が広く採用されているにもかかわらず、大規模言語モデル（LLM）が有害なクエリを拒絶するメカニズム的な根拠は依然として不透明である。極めて重要な未解決の問いは、安全性の遵守が有害性に対する深い意味論的な理解を表しているのか、それとも単なる操作可能な浅い線形特徴に過ぎないのかという点である。現在の敵対的攻撃は、計算コストの高い最適化（例：GCG）や反復的な探索に依存することが多く、これらは現代の安全性訓練に対して失敗する可能性がある。本研究では、安全性がモデルの活性化空間における線形幾何学的特徴としてエンコードされており、出力ロジットへの直接的な算術介入を通じてバイパスまたは強化が可能であるかどうかを調査する。

手法：対照的ロジット・ステアリング (CLS)

著者らは、内部の隠れ層の活性化ではなく、モデルの出力分布（ロジット）に直接作用するゼロ最適化フレームワークである**対照的ロジット・ステアリング（Contrastive Logit Steering: CLS）**を導入する。

コア・メカニズム

1. 対照的プロンプティング: 与えられたユーザー・クエリ $q$ に対して、モデルは以下の3つの異なるシステム・プロンプトを用いて、3つの並列なフォワード・パスを実行する：
   • ベース ($s_{base}$): 中立的な指示（例：「あなたは役に立つアシスタントです」）。
   • 無制限 ($s_{+}$): 安全ガードレールを取り除いた敵対的な指示。
   • 制限付き ($s_{-}$): 極端な安全性を強制する制限的な指示。
2. ベクトルの孤立化: 各デコーディング・ステップ $t$ において、手法は、制限されたストリームのロジットから無制限のストリームのロジットを差し引くことで、瞬時的なステアリング・ベクトル $v_t$ を算出する：
   $$v_t = z^+_t - z^-_t$$
   このベクトルは、「拒絶方向（Refusal Direction）」、すなわちコンプライアンスと拒絶の二値的な区別をエンコードするロジット空間における特定の幾何学的方向を孤立させる。
3. ロジット介入: ベースのロジットは、スケーリングされたステアリング・ベクトルを加算することによって変調される：
   $$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$$
   • ジェイルブレイク ($\alpha > 0$): 「無制限」の振る舞いを注入し、安全トークンを抑制する。
   • 硬化（Hardening） ($\alpha < 0$): 「無制限」の振る舞いを差し引き、人工的に安全性を誘発する。
4. プレフィックス注入: モデルの初期の拒絶反射（モデルがしばしば即座に「できません」等と出力する現象）を回避するために、最初の $k$ 個のトークンを肯定的なプレフィックス（例：「もちろんです」）に強制させた後、後続のトークンに対してステアリング・ベクトルを適用する。

検出メカニズム

本フレームワークは、拒絶の幾何学的分離能を利用したゼロショット検出も活用する。有害なアンカー・クエリと無害なアンカー・クエリの間の最終層の隠れ状態の差から「グローバル拒絶ベクトル」を計算することで、システムは個別の分類器を訓練することなく、コサイン類似度に基づいて新しいクエリを分類できる。

主な貢献

1. 診断プローブとしてのCLS: 本論文は、Llamaのようなアーキテクチャにおける安全性は、深い意味論的な制約ではなく、浅い「ラッパー」として機能しているというメカニズム的な証拠を示す、ゼロショットのロジットレベルのステアリング・フレームワークを提供する。
2. 拒絶のトポロジー: KLダイバージェンス解析を通じて、著者らは2つの異なる安全性トポロジーを特定した：
   • 「遅延決定型」モデル (例: Llama-3.1): これらのモデルは、約95%の層において有害なクエリと無害なクエリを同一に処理し、最終的な出力ヘッドでのみ分岐する。これにより、ロジットレベルのステアリングに対して非常に脆弱となる。
   • 「早期分岐型」モデル (例: Qwen-2.5): これらのモデルは、計算の中間段階（深度約40%）で安全性を統合しており、拒絶メカニズムが推論と絡み合っているため、線形ステアリングに対して著しく堅牢である。
3. 実験的ベースライン: 本研究は、確立された活性化レベルのステアリング手法（Arditi et al., 2024）および最適化ベースの攻撃（GCG）との直接比較を提供し、ロジットレベルの介入がより大きなアライメントの脆弱性を露呈することを実証している。
4. 双方向制御: 本手法は、単一のベクトルを用いて、攻撃（ジェイルブレイク）と防御（安全性の硬化）の両方を可能にする。ステアリング・ベクトルを反転させること（$\alpha < 0$）により、モデルを「硬化」させ、カウンター・イントゥイティブ（直感に反して）ながら、曖昧さを減少させることで応答のコヒーレンス（一貫性）を向上させることが示された。

実験結果

著者らは、AdvBench、JailbreakBench、HarmBenchを含むデータセットを用い、7つのモデルファミリー（Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5）にわたってCLSを評価した。

• GCGに対する攻撃成功率 (ASR): Llama-3.1-8Bにおいて、GCGは100ステップの最適化後にわずか5%のASRしか達成できなかったのに対し、CLSは約1秒で95%のASRを達成した（約900倍の高速化）。Qwen-2.5-7Bにおいて、CLSはGCGの45%に対し、90%のASRを達成した。
• 活性化ステアリングとの比較: Arditi et al. (2024) と比較して、CLSはLlama 2において（73% 対 22.6%）、Qwen 7Bにおいて（91% 対 79.2%）大幅に高いASRを達成した。著者らは、この差がLlamaの「遅延決定」トポロジーに起因すると考えている。つまり、拒絶信号が出力層に集中しているため、隠れ状態のアブレーションよりもロジットレベルの介入の方が効果的である。
• 安全性の硬化: 負のステアリング ($\alpha = -1.0$) は、攻撃成功率を1桁台まで減少させた（例：Llama-3.3-70BのASRは68.8%から9.4%に低下した）。
• ゼロショット検出: グローバル拒絶ベクトルを用いることで、本手法はJailbreakBenchにおいて、個別のモデルを訓練することなく、悪意のあるプロンプトと無害なプロンプトを区別するF1スコア0.92を達成した。

意義と主張

本論文は、現在のアライメント技術は、脆弱性であると同時に精密な防御プリミティブでもある、ステアリング可能な「安全性の軸」を作り出していると主張している。

• メカニズム的洞察: これらの知見は、多くのモデルにおいて、RLHFは有害な知識を「学習解除」するのではなく、むしろ出力層に線形な抑制機能を適用していることを示唆している。「拒絶ベクトル」は、安全性の遵守だけでなく、躊躇や曖昧さも捉えている。これを取り除くことは、逆説的にコヒーレンスを向上させることがある。
• アーキテクチャの決定論: Llama（遅延決定型）とQwen（早期分岐型）の間の脆弱性の差は、安全性の統合の深さが、アーキテクチャと訓練介入の両方によって形成される決定論的な要因であることを示唆している。
• 防御への示唆: 安全性が分離可能な線形部分空間として実装されている限り、それは幾何学的介入に対して脆弱であり続ける。著者らは、将来のアライメント・パラダイムは、拒絶を、取り外し可能な表面的な特徴ではなく、深い意味論的な特性とするために、安全性と一般的な能力を絡み合わせる必要があると提案している。

結論として、CLSは抑制された能力を監査し、モデルを動的に硬化させるためのリアルタイムのプリミティブを提供し、現在の安全性実装の脆弱性を浮き彫りにしている。