🤖 machine learning

The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

この論文は、有害な意図を持つプロンプトを検出するために、大規模言語モデルの残差ストリームにおける活性化の幾何学的特性（特に基準方向からの角度偏差）を分析するトレーニング不要な手法「LatentBiopsy」を提案し、拒絶メカニズムを除去したモデルにおいても高い検出精度を維持することを実証しています。

原著者： Isaac Llorente-Saguer

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Isaac Llorente-Saguer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が悪いことをしようとしているかどうかを、言葉そのものではなく『頭の中の思考の形』で瞬時に見抜く新しい方法」**について書かれています。

タイトルにある「LatentBiopsy（潜在生検）」という名前の通り、AI の「言葉の表面」ではなく、その奥にある「思考の構造」を針で刺すように検査するイメージです。

以下に、難しい専門用語を使わず、日常の例え話を使って解説します。

1. 従来の方法の限界：「犯人の顔」を探すだけ

今までの AI の安全対策は、主に 2 つの方法でした。

言葉のチェック： 「悪い言葉が含まれていないか？」を確認する（フィルタリング）。
教師あり学習： 「悪い質問と良い質問」の大量のデータを見せ、AI に「これは悪いよ」と教える。

問題点：

巧妙な嘘や、皮肉な言い回し（ジャイルブレイク）だと、言葉自体は綺麗に見えるため見逃されてしまいます。
新しい AI モデルが出ると、またゼロから「悪いデータ」を集めて教え直す必要があり、手間がかかります。

2. この論文のアイデア：「思考の姿勢」を測る

この研究チームは、**「悪いことを考えている AI は、頭の中で『思考の姿勢』が独特になる」**という仮説を立てました。

彼らが開発した**「LatentBiopsy」**という方法は、以下の 3 つの特徴があります。

① 悪い例は不要！（トレーニングフリー）

この方法は、「悪い質問」のデータは一切使いません。
代わりに、「安全で普通の質問」を 200 個だけ集めます。

例え話： 街中で「普通の人の歩き方」を 200 人観察して、「平均的な歩き方（基準）」を記憶します。
誰かが通りかかったとき、その歩き方が「平均からどれだけズレているか」を測るだけです。悪い歩き方をする人が誰か、事前に知っていなくても、ズレていれば「怪しい」とわかります。

② 角度で測る（幾何学的アプローチ）

AI の頭の中（残差ストリーム）には、言葉の意味が「空間上の方向」として存在しています。

普通の質問は、ある特定の方向（基準線）の周りに、ある程度バラつきながら集まっています。
悪い質問は、その基準線から**「角度」**が大きくズレています。
この論文では、言葉の長さや強さではなく、**「方向がどれだけ曲がっているか（角度）」**だけを測ることで、悪い意図を検知します。

③ 超高速・軽量

計算は非常にシンプルで、AI が答えを出すのにかかる時間の**「0.5 ミリ秒」**程度しか追加しません。まるで、AI が答えを口にする瞬間に、横から「その思考の角度は怪しいね」と囁くようなものです。

3. 驚くべき発見：「拒絶する能力」を消しても、悪い意図は残る

この研究で最も衝撃的な発見は、**「AI が『嫌だ』と拒絶する仕組みを、人工的に消し去っても、悪い意図は検知できる」**という点です。

実験： 研究者たちは、AI から「拒絶する方向（『それはダメです』と言うための回路）」を外科的に取り除きました。これにより、AI はどんな悪い質問にも「はい、承知しました」と答えてしまうようになりました。
結果： しかし、LatentBiopsy でその AI の頭の中を覗くと、「悪い質問」に対する思考の「角度のズレ」は、拒絶機能がある時と全く同じように残っていました。

意味するところ：

「悪いことをしようとする意図」と「それを口に出して拒絶する動作」は、AI の頭の中で別の場所で処理されています。
仮に AI が「拒絶する能力」を失っても、外部の監視システム（LatentBiopsy）を使えば、その AI が「今、悪いことを考えている」ことを見抜くことができます。
つまり、**「AI が拒絶しなくなったからといって、安全が崩れたわけではない。別の方法で監視すれば大丈夫だ」**という希望を示しています。

4. 家族によって「逆」になる不思議な現象

面白いことに、使った AI のモデル（Qwen3.5 と Qwen2.5）によって、悪い質問の「角度のズレ方」が逆転していました。

モデル A： 悪い質問は「基準線から遠く離れる（外側の輪）」
モデル B： 悪い質問は「基準線に近づきすぎる（内側の輪）」

しかし、この方法（LatentBiopsy）は、**「どちら側にズレても同じように危険と判断する」**という仕組みになっているため、どのモデルでも完璧に機能しました。

まとめ：なぜこれが重要なのか？

この研究は、**「AI の安全対策は、言葉のフィルタリングや、AI 自身に『拒絶』を教えることだけではない」**と教えてくれます。

トレーニング不要： 悪いデータを集める必要がないので、すぐに新しい AI に適用できます。
頑丈さ： AI が「拒絶する能力」を失っても、悪い意図は頭の中に残っているため、外部から監視すれば防げます。
透明性： 「ブラックボックス」だった AI の内部で、何が起きているかを「角度」という直感的な形で可視化できます。

まるで、「犯人の顔（言葉）」ではなく、「歩行の癖（思考の角度）」を見極めることで、どんなに仮面をかぶっても怪しい人を瞬時に見つけ出す方法が生まれたと言えます。これは、AI がより安全に社会に溶け込むための、非常に強力な新しい「目」になるでしょう。

論文概要：LatentBiopsy

この論文は、大規模言語モデル（LLM）の残差ストリーム（residual stream）の活性化状態の幾何学的構造を分析することで、有害なプロンプト（指示）を検出する新しい手法**「LatentBiopsy」**を提案しています。この手法の最大の特徴は、有害なデータの例を一切使用せず（トレーニングフリー）、安全なデータのみから基準を構築し、モデルの拒否（refusal）能力を除去した状態（abliterated）でも検知が可能である点にあります。

1. 解決すべき課題 (Problem)

既存の有害プロンプト検知手法には以下の限界がありました：

入力空間フィルタリング: 困惑度（perplexity）ベースの手法は、敵対的サフィックス攻撃には有効ですが、意味的に流暢なジャイルブレイク（脱獄）には無力です。
教師あり安全分類器: Llama Guard などの手法は高性能ですが、大量の「有害/安全」ペアのデータセットが必要であり、モデルが変わるたびに再学習が必要です。
表現工学（Representation Engineering）: 既存の研究では、安全な概念の線形方向を抽出するために、対照的な「安全/有害」ペアや意図的な安全プロンプトの操作が必要でした。

本研究の問い：
「有害な例を一切使わず、安全なプロンプトの分布のみから基準幾何学を構築し、そこから有害なプロンプトが検知可能なほど逸脱しているか？」

2. 手法 (Methodology)

LatentBiopsyは、トレーニングを必要としないゼロショットな異常検知器です。

基準方向の構築 (Normative Reference):
- 200 件の安全なプロンプト（Alpaca-Cleaned など）のみを使用します。
- 特定の層（target layer）における残差ストリームの活性化ベクトルを抽出し、主成分分析（PCA）を適用します。
- 第一主成分（PC1）を「基準方向（ $c$ ）」として定義します。これは安全な分布における最大分散方向です。
角度偏差の計算 (Angular Deviation $\theta$ ):
- テスト対象のプロンプトの活性化ベクトルと基準方向 $c$ のなす角 $\theta$ を計算します。
- ユークリッド距離ではなく角度距離を使用することで、概念の「強度（magnitude）」や層の深さによるノルムの増大の影響を排除し、「意味的な方向性」のみを捉えます。
異常スコア (Anomaly Scoring):
- 安全なプロンプトの $\theta$ の分布に対してガウス分布をフィットし、その負の対数尤度（Negative Log-Likelihood）を異常スコア $s(x)$ とします。
- 方向非依存性: スコアは基準の平均値に対して対称に計算されるため、有害なプロンプトが基準円の「内側」に集まるか「外側」に集まるか（モデルファミリーによって異なる）を事前に知る必要がありません。
視覚化 (Phi):
- 基準方向に直交する成分を投影し、方位角 $\phi$ を計算することで、幾何学的な可視化（極座標プロット）を可能にしています。

3. 主要な貢献と発見 (Key Contributions & Findings)

A. 拒否アブレーション後の幾何学的分離 (Geometry Survives Refusal Ablation)

発見: 拒否行動を数学的に除去したモデル（Abliterated モデル）においても、有害な意図の検知性能は Instruction-tuned モデルと同等に維持されました。
意味: 「有害な意図の表現（幾何学的構造）」と「拒否テキストを生成するメカニズム」は、残差ストリーム上で幾何学的に分離しています。
結果: 拒否機能を無効化しても、外部の検知器が有害性を検知できる信号は消えません。

B. 有害プロンプトの極端なコンパクト性 (Near-Degenerate Harmful Compactness)

発見: 有害なプロンプトの角度分布は極めて狭く（ $\sigma_{\theta} \approx 0.03$ rad）、安全なプロンプトの分布（ $\sigma_{\theta} \approx 0.27$ rad）よりも 1 桁以上集中しています。
意味: 有害な意図は、モデル内部で非常に特異的で均質な方向にエンコードされていることを示唆しています。

C. モデルファミリー間の逆転現象 (Opposite Ring Orientations)

発見: 2 つの異なるモデルファミリー（Qwen3.5-0.8B と Qwen2.5-0.5B）において、有害なプロンプトの位置関係が逆転していました。
- Qwen3.5-0.8B: 有害プロンプトは基準方向から外側（大きな角度）に位置する。
- Qwen2.5-0.5B: 有害プロンプトは基準方向から内側（小さな角度、より整合的）に位置する。
意義: 固定された閾値では検知できないため、本研究で提案する「方向非依存の対称スコア」の重要性が実証されました。

D. トレーニングフリーとデータ効率

有害なデータは 1 件も使用せず、安全なデータ 200 件のみで高精度な検知器が構築可能です。
検知オーバーヘッドは 1 クエリあたり 0.5ms 未満（サブミリ秒）です。

4. 実験結果 (Results)

実験は、Qwen3.5-0.8B と Qwen2.5-0.5B の 2 つのファミリーから、それぞれ「Base」「Instruction-tuned」「Abliterated」の計 6 つのモデル変種に対して行われました。

有害 vs 安全 (Harmful vs Normative):
- 全 6 変種で AUROC $\ge$ 0.937 を達成。
- Abliterated モデルでも Instruction-tuned モデルとほぼ同等の性能（差は 0.015 以内）を維持。
有害 vs 良性の攻撃的 (Harmful vs Benign-Aggressive, XSTest):
- 全モデルで AUROC = 1.000（完全な分離）。
- 単なる攻撃的な表現と、実際に有害な意図を持つプロンプトを完全に区別できます。
計算コスト:
- 既存のフォワードパスに対する追加コストは極めて低く、実用的なレイテンシです。

5. 意義と結論 (Significance & Conclusion)

安全性の新たな視点:
この研究は、モデルの「拒否機能」を削除しても、その背後にある「有害な意図の幾何学的シグナル」は消えないことを示しました。これは、敵対者がアブレーションでガードを回避しようとしても、外部の検知器には依然として痕跡が残ることを意味し、防御策の重要性を再確認させます。
事前学習の重要性:
Base モデル（微調整前）でも Instruction-tuned モデルと同程度の検知性能を示したことから、有害な意図の幾何学的構造は事前学習（Pretraining）の段階で確立されている可能性が高いことが示唆されました。
実用性と汎用性:
有害なデータを用意する必要がないため、新しいモデルアーキテクチャや新しいハザード分類法への適応が容易です。また、方向に依存しないスコアリングにより、異なるモデル間でのアーキテクチャ差を吸収しています。

結論として、LatentBiopsy は、LLM の内部表現の幾何学的性質を利用した、軽量かつ高信頼なトレーニングフリーな安全検知手法であり、モデルの拒否能力の有無に関わらず有害性を検知できることを実証しました。