論文要約：Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

著者: Isaac Llorente-Saguer
日付: 2026 年 4 月 22 日
概要: 本論文は、大規模言語モデル（LLM）の残差ストリーム（residual streams）から、有害な意図（harmful intent）が幾何学的に復元可能であることを実証しています。具体的には、有害な意図がモデルの内部表現において「線形方向」として存在し、 Alignment（安全調整）やモデルのアーキテクチャ、規模を超えて安定して検出可能であることを示しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定と背景

• 背景: Transformer モデルの残差ストリームは、入力テキストのセマンティックな性質を活性化空間内のほぼ線形な方向として符号化しているという仮説（線形表現仮説）が支持されています。
• 既存研究の限界:
  • 過去の研究（Arditi et al., 2024; Zhao et al., 2025）は、特定のモデルやスケールにおいて「拒絶（refusal）」や「有害性」の方向性を特定しましたが、アーキテクチャやアライメント変種（ベース、インストラクションチューニング、アブレーション済み）全体にわたる一般化性は未確認でした。
  • 多くの研究は AUROC（ランキング指標）を報告するのみで、実運用で重要となる「低誤報率（False Positive Rate, FPR）における真陽性率（TPR）」を評価していませんでした。
  • 「拒絶行動を除去（アブレーション）したモデル」において、有害な意図の検出が可能かどうかは不明でした。
• 本研究の目的:
  1. 異なるアーキテクチャとアライメント変種において、有害な意図の方向性が一般化するか。
  2. 有害な方向と安全なプロンプトの主要な分散（Principal Component）との幾何学的関係は何か。
  3. 実運用制約（極めて低い誤報率）下での検出の信頼性はどうか。

2. 手法と実験設定

• 対象モデル: 4 つのアーキテクチャファミリー（Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3）に属する 12 種類のモデル（0.5B〜1.3B パラメータ）。各モデルについて、Base、Instruction-tuned、Abliterated（拒絶方向を除去した変種）の 3 つのアライメント変種を評価。
• データセット:
  • 有害データ: AdvBench（フィッティング用）、HarmBench、JailbreakBench（評価用、Out-of-Distribution）。
  • 安全データ: Alpaca-Cleaned（フィッティング用）、XSTest（ハードな安全プロンプト、評価用）。
  • プロンプト正規化: 句読点の除去など、表面的な特徴に依存しないよう前処理を実施。
• 活性化抽出: トークン次元全体で最大値プーリング（max-pooling）を行い、固定次元のベクトルとして残差ストリームを抽出。
• 方向探索戦略（6 種類）:
  1. wPC1: 安全データの主成分（PC1）。ゼロショット。
  2. θ-normative: 安全データの重心からの角度偏差。ゼロショット。
  3. wLDA: 有害と安全のクラス平均差（Fisher 線形判別）。
  4. wopt: ソフト AUC を最適化する線形方向（Riemannian 勾配降下）。
  5. θ two-class: 角度偏差スコアのソフト AUC を最適化。
  6. Baselines: ランダムベクトル、Perplexity。

3. 主要な貢献

1. アーキテクチャ・アライメント横断的な評価:
   • 12 モデル（4 ファミリー、3 変種）において、有害な意図の検出が安定していることを実証。
   • 拒絶と有害意図の機能的解離: 拒絶行動を外科的に除去した「アブレーション済みモデル」においても、有害な意図の検出は維持されました。これは、拒絶メカニズムと有害意図の認識信号が機能的に独立していることを示唆します。
2. 幾何学的特徴の解明:
   • 有害な方向は、安全なプロンプトの主要な分散（PC1）とほぼ直交（平均 82°）しています。
   • 2 つの幾何学的モード: 投影ベースの方法（wLDA, wopt）が中層で性能が低下する層（Qwen2.5 など）において、角度偏差ベースの戦略（θ two-class）が有効であることを発見。これは有害性が単一の線形方向だけでなく、異なる幾何学的モードでも符号化されている可能性を示しています。
3. 実運用指標の評価:
   • AUROC だけでなく、TPR@1%FPR（誤報率 1% 時の真陽性率）を報告。AUROC が 0.97 以上であっても、TPR が低いケースがあり、実運用では低 FPR 指標の併用が不可欠であることを示しました。
4. スケーラビリティの検証:
   • Qwen3.5 の 0.8B から 9B までのパラメータ規模（11 倍の範囲）で検証。規模が大きくなるほど、アライメント変種間での方向転送（transfer）がより安定し、有害表現がより強固になる傾向を確認しました。

4. 結果

• 検出性能:
  • wopt（ソフト AUC 最適化）: 平均 AUROC 0.982、TPR@1%FPR 0.797。
  • wLDA（クラス平均差）: 平均 AUROC 0.975、TPR@1%FPR 0.706。学習コストが極めて低い（<1ms）。
  • θ two-class: 平均 AUROC 0.962、TPR 0.607。中層での投影法の失敗を補完する役割を果たします。
  • ゼロショットや表面ベースライン（Perplexity など）は、すべてのモデルで TPR が 0.05 未満と失敗しました。
• 転送性（Generalization）:
  • AdvBench で学習した方向は、HarmBench や JailbreakBench などの未見データセットへも AUROC ≥ 0.961 で転送されます。
  • アライメント変種間（Base → Instruct/Abliterated）での転送も安定しており、特に Qwen3.5-9B では転送性能が極めて高い（オフ対角 AUROC が対角と 0.004 以内）ことが確認されました。
• 層ごとのプロファイル:
  • 多くのモデルで全層にわたって高い性能を示しますが、Qwen2.5 などは中層（レイヤー 2-20）で投影法の性能が低下する「谷」が見られます。この領域でも角度ベースの手法は高い性能を維持しました。

5. 意義と結論

• 理論的意義:
  • モデルは「一般的な言語理解」の一部として有害な意図を線形に復元可能な表現として獲得し、アライメント（安全調整）は出力行動を制御するだけで、入力側の認識信号そのものを再編成しない（または最小限しか変えない）という単純なモデルが支持されます。
  • 「拒絶」と「有害意図の認識」は機能的に分離された特徴であることが実証されました。
• 実用的意義:
  • 軽量な検出器: 各クラス 100 サンプル程度のラベル付きデータで学習可能で、推論時の遅延はほぼゼロ（数ミリ秒）です。
  • 評価指標の提言: 安全関連の評価では、AUROC だけでなく TPR@1%FPR などの運用指標を併記すべきです。AUROC 0.97 台でも実運用での検出能力は過大評価されている可能性があります。
  • アブレーションへの耐性: 拒絶行動を除去されたモデルであっても、有害な入力自体は検出可能であるため、単純な「拒絶方向の除去」だけでは安全対策としては不十分であることが示唆されます。

総括:
本論文は、LLM の内部表現において有害な意図が頑健な幾何学的特徴として存在し、モデルのサイズやアライメント状態に関わらず検出可能であることを実証しました。これは、軽量で解釈可能な事前生成（pre-generation）の安全フィルタの開発可能性を示すとともに、LLM の安全性メカニズムに関する理解を深める重要な知見を提供しています。