論文要約：Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs

この論文は、安全調整（Alignment）された大規模言語モデル（LLM）において発生する「過剰拒絶（Over-Refusal）」と「有害拒絶（Harmful-Refusal）」のメカニズム的差異を、表現空間の幾何学的構造（Representation Geometry）の観点から分析した研究です。

1. 研究の背景と問題設定

• 問題の定義:
  • 有害拒絶 (Harmful-Refusal): モデルが実際に危険なリクエストを正しく拒絶すること。これは意図された動作です。
  • 過剰拒絶 (Over-Refusal): モデルが安全な指示であっても、有害な指示と似ているという理由で誤って拒絶してしまう現象です（例：「殺し方」を分析する感情分析タスクや、家庭で塩素ガスを合成する方法を翻訳するタスクなど）。
• 既存手法の限界:
  • 従来のアプローチでは、有害な拒絶と安全な回答の平均状態ベクトルの差（Difference-in-Means: DIM）から「拒絶方向（Refusal Direction）」を抽出し、これをモデルの隠れ状態から除去（Ablation）または操作（Steering）することで拒絶を抑制しようとしています。
  • しかし、この「グローバルな拒絶方向の除去」は、有害拒絶を抑制する一方で、過剰拒絶の修正には不十分であり、むしろ安全性メカニズムそのものを損なう副作用を引き起こすことが示されています。
• 研究の仮説:
  • 有害拒絶はタスクに依存しない単一のグローバル方向で表現されるが、過剰拒絶はタスクに依存し、高次元の部分空間（Subspace）に存在する。そのため、単一のベクトルによる介入では過剰拒絶を正確に制御できない。

2. 手法と実験設定

• モデルとデータセット:
  • モデル：LLaMA-3.1-8B-Instruct
  • データ：5 つの NLP タスク（感情分析、翻訳、RAG 型 QA、言い換え、暗号解読）における 270 サンプル。
  • 拒絶の分類：GPT-4o を用いて「直接回答」「直接拒絶」「間接拒絶」に分類し、過剰拒絶（安全だが拒絶）と有害拒絶（有害で拒絶）を特定。
• 幾何学的分析:
  • DIM 方向の抽出: 各レイヤーの残差ストリーム（Residual Stream）から、拒絶群と回答群の平均ベクトル差を計算。
  • クラスタリングと PCA: 残差ストリームの活性化を主成分分析（PCA）し、タスクごとのクラスタ構造と拒絶タイプの位置関係を可視化。
  • 直線性プローブ（Linear Probing）: 各レイヤーの活性化から「拒絶タイプ（過剰か有害か）」を線形分類器で識別できるか検証。
  • 因果的パッチング（Causal Patching）: 特定の注意ヘッド（Attention Head）の出力を置換し、拒絶決定への因果的寄与を測定。
  • 介入実験: グローバルな拒絶方向の除去と、タスク条件付き（Task-Conditioned）のステアリングを比較。

3. 主要な発見と結果

3.1 拒絶方向の幾何学的性質の違い

• 有害拒絶:
  • 入力内容やタスクに関わらず、中層（Mid-layers）で単一のグローバルなベクトルに収束します。
  • 低次元の部分空間に集中しており、単一の方向ベクトルによる制御（Ablation）が有効です。
• 過剰拒絶:
  • タスク依存性: 過剰拒絶の方向はタスクごとに異なり、特定のタスクのクラスタ内部に存在します（独立した「拒絶ゾーン」ではなく、タスククラスタ内での摂動として現れます）。
  • 高次元性: 過剰拒絶の分散を説明するには、有害拒絶よりもはるかに多くの主成分（次元）が必要であり、高次元の部分空間をspanしています。
  • 方向の不一致: 過剰拒絶の方向ベクトルは、有害拒絶のグローバル方向とは一致せず、タスク間でも一貫していません。

3.2 メカニズム的分離性

• 早期の分離: 線形プローブの結果、モデルは非常に早期のレイヤー（Transformer の初期ブロック）から「誤った拒絶（過剰）」と「正当な拒絶（有害）」を幾何学的に区別できる状態になっています。
• タスク構造の優先: 中層では「タスクのアイデンティティ」を表現するクラスタ構造が支配的であり、過剰拒絶はこのタスク構造の内部に埋め込まれています。

3.3 介入実験の結果

• グローバル・アブレーションの限界:
  • グローバルな拒絶方向を除去すると、有害拒絶は大幅に減少しますが、過剰拒絶の減少は限定的です。
  • 結果として、安全性メカニズム（有害拒絶）を破壊するコストに対して、過剰拒絶の改善効果が低く、「抑制比率（Over-Refusal 減少量 / 有害拒絶減少量）」が 1 を下回ります。
• タスク条件付きステアリングの優位性:
  • タスクごとの幾何学的構造に基づいた介入（Task-Conditioned Steering）を行うと、過剰拒絶をほぼ完全に排除（55% → 0%）しつつ、有害拒絶のメカニズムへの干渉を最小限に抑えることができました。

3.4 回路分析（Circuit Analysis）

• 特定の注意ヘッド（Attention Head）が拒絶決定のボトルネックとなっているという証拠は見つかりませんでした。
• 拒絶は、複数のレイヤーにまたがる分散されたタスク固有の回路によって実行されており、単一のヘッドを除去しても拒絶行動は変化しません。これは、残差ストリーム全体への介入が有効であることを示唆しています。

4. 結論と意義

• 結論:
  • 有害拒絶と過剰拒絶は、表現空間において幾何学的に異なる部分空間に存在する別個の現象です。
  • 有害拒絶はタスクに依存しない単一ベクトルで記述可能ですが、過剰拒絶はタスク依存的高次元構造を持っています。
  • したがって、過剰拒絶を修正するには、グローバルな方向を除去するのではなく、タスク条件付きの幾何学的介入が必要です。
• 学術的・実用的意義:
  • メカニズム的解釈性の深化: 拒絶行動が単一の「スイッチ」ではなく、タスク構造と絡み合った複雑な幾何学構造であることを明らかにしました。
  • 安全対策の最適化: 現在の「安全調整」モデルにおける過剰拒絶を修正する際、単一のベクトル操作では不十分であり、タスクを考慮した微調整や推論時の制御が必要であることを示しました。
  • 将来の展望: 早期レイヤーで高精度に拒絶タイプを識別できることを利用し、モデルの重みを変更せずに、軽量なプローブに基づいてタスク条件付き介入をトリガーする手法の実現可能性が示唆されました。

この研究は、LLM の安全制御において「なぜ一つの方向ベクトルですべてを制御できないのか」という根本的な問いに対し、表現空間の幾何学的構造に基づいた明確な答えを提供した点で重要です。