💻 computer science

Detecting Safety Training Modification in Language Models via Activation Analysis

本論文は、活性化空間における安全性概念の幾何学的構造を分析することで言語モデルの安全性学習への改変を検知する、活性化ベースのツールであるAMSを紹介するものであり、多様なアーキテクチャにわたる4つの異なる改変タイプを正常に分類すると同時に、活性化のシグネチャーと行動の遵守性の間の相関関係を明らかにしている。

原著者： Glen Messenger

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Glen Messenger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

インターネットを、誰もが本を借りることができる巨大な図書館だと想像してみてください。しかし、その中には爆弾の作り方や人を騙す方法といった、危険なマニュアルが書かれた本も紛れ込んでいます。人工知能の世界では、これらの「本」は言語モデルと呼ばれます。最近、一部の人々が、これら有益なAIという「本」を密かに書き換え、安全規則を取り除いて、どんな有害な質問にも答えてしまう「アンセンサード（検閲なし）」版へと変貌させています。これは、標準的な百科事典から「盗みをしてはいけない」というページがすべて破り取られたものに、司書がこっそり差し替えてしまうようなものです。

どのようにしてこれらの破壊工作を見つけ出すことができるかを理解するために、まずはAIがどのように「思考」するかを知る必要があります。AIは文章を読むとき、単に言葉を保存するのではなく、それらを「アクティベーション（活性化）」と呼ばれる複雑な数値のマップへと変換します。このマップは、高次元の巨大な遊び場のようなものです。行儀が良く、安全なAIには、「良いアイデア」と「悪いアイデア」を分ける明確で広い道が存在します。それは、サッカーを楽しんでいる子供たちと、火遊びをしている子供たちを遠ざけておくための、頑丈なフェンスがある遊び場のようなものです。誰かがAIを「アンセンド（検閲解除）」しようとするとき、彼らはこのフェンスを倒したり、子供たちを移動させたりして、火とサッカーボールが混ざり合うように仕向けます。大きな疑問は、「AIに実際に火遊びをさせてみる」ことなく、遊び場のレイアウトを見るだけで、フェンスが改ざんされたかどうかを判断できるのか？ということです。

これこそが、グレン・メッセンジャーによる論文「Activation-based Model Scanner (AMS): Activation Analysis による言語モデルの安全性訓練の改変検出」が解明しようとしていることです。著者は、AMS（Activation-based Model Scanner）という新しいツールを紹介しています。AMSは、「質問して答えてもらう」というゲーム（これは時間がかかり、騙される可能性もあります）を行う代わりに、構造エンジニアのように振る舞います。AMSはAIの遊び場に足を踏み入れ、その空間の幾何学的な形状を測定します。そして、「良いゾーン」と「悪いゾーン」の間の距離が、依然として広く、かつ強固であるかどうかを確認するのです。

この研究では、このツールを小規模から大規模まで14種類の異なるAIモデルに対してテストしました。その結果、AMSは、もし安全性のフェンスが完全に取り壊されていた場合、それを察知するのに非常に優れていることが分かりました。研究者が、安全性訓練が完全に除去されたモデル（ベースモデルや「Dolphin」バリアントなど）を調査したところ、その「フェンス」は崩壊しており、良いアイデアと悪いアイデアの間の距離はほぼゼロにまで縮まっていました。AMSは、これらを高い精度で「CRITICAL（重大）」とフラグ立てしました。

しかし、この論文は、物語が単なる「フェンドがあるかないか」という単純な話ではないことも明らかにしています。研究者たちは、安全性が修正される4つの異なるパターンを発見しました。AMSはこれらにそれぞれ異なる形で対処します。

完全な崩壊（The Total Collapse）: 一部のモデルでは、安全性訓練が完全に剥ぎ取られています。遊び場のフェンスは消え去っています。AMSはこれを容易に見つけ出します。
壊れたフェンス（The Broken Fence）: 一部のモデルでは、安全規則が「直交化（orthogonalized）」されています。これは、フェンスが回転したり歪んだりしたことで、たとえ線自体は残っていても、悪いものを阻止できなくなっている状態を指します。AMSは、フェンドが正しい方向を向いているかを確認する二次チェックを用いることで、これも捉えることができます。
回転したフェンス（The Rotated Fence）: これは非常にトリッキーです。一部のモデル（特定のGemmaのバージョンなど）では、安全性のフェンスが、悪いものが通り抜けてしまう程度にちょうど回転しています。フェンス自体は依然として高く、頑丈に立っています。AMSの一次チェックは、「おや、フェンスはまだあるぞ！安全だ！」と判定します。しかし、フェンスの「向き」を見る二次チェックが、フェンスが間違った方向を向いていることに気づき、警告を発します。
見えないトリック（The Invisible Trick）: 論文では、AMSでは捉えることのできない4つ目の修正タイプを特定しています。この場合、遊び場のフェンスは依然として立っており、正しい方向を向いています。しかし、AIは実際に発言する際に、そのフェンスを無視するように密かに訓練されています。それは、門の前に立っている衛兵が、完璧に静止しているものの、実際には全員を通してしまうようなものです。論文ではこれを「行動的ファインチューニング（behavioral fine-tuning）」と呼び、遊び場の「幾何学的な形状」は完璧に見えるため、AMSでは検出できないことを認めています。

研究者たちは、結果を過大評価しないよう注意を払いました。彼らは、「フェンスの強さ」とAIの実際の危険な振る舞いとの関係は実在するものの、ノイズが多いことを発見しました。それは風見鶏のようなものです。風見鶏が壊れていれば嵐が来ることは分かりますが、風見鶏が回っているからといって、外を見る必要がないわけではありません。テストにおいて、このツールは新しいモデルに対して約71%の確率で安全性を正しく識別しました。

論文は、AMSは最初のチェックとして迅速かつ強力なツール（わずか10〜40秒でモデルをスキャン可能）ではあるものの、それだけを唯一の門番にすべきではないと結論付けています。「見えないトリック」（4番目の修正タイプ）が存在するため、著者は、目に見える明らかな危険をふるい分けるためにAMSを使用し、その後に従来のテスト（AIに質問を投げかける方法）を組み合わせて、内側は安全に見えるが外側では危険に振る舞う巧妙なケースを捕まえることを提案しています。これは、改ざんを見つけ出すための新しく賢い方法ですが、すべての問題を解決する魔法の杖ではありません。

技術要約：活性化解析による言語モデルの安全性トレーニング改変の検出

1. 問題提起

オープンウェイト言語モデルの普及により、安全性のガードレールを削除または弱めるように設計された安全性修正済みバリアント（例：「アンセンサード（無検閲）」モデル、「アブリテレーテッド（除去済み）」モデル）のエコシステムが生み出されている。これらのモデルは、意図的なサプライチェーン攻撃や、修正された重みの偶発的なデプロイを通じて、プロダクション環境への導入時に重大なリスクをもたらす。

現在の検出手法は、行動テスト（有害なリクエストに対するモデルへのプロンプティング）に依存している。本論文は、このアプローチにおける3つの決定的な限界を特定している：

低速性： モデルごとに数千回のクエリを必要とする。
不完全性： 有害な振る舞いの全空間をカバーすることはできない。
回避可能性： モデルは、ベンチマーク固有のプロンプトには拒絶するように訓練される一方で、未知の攻撃には従うように訓練される可能性がある（ベンチマークへの過学習）。

本論文は、安全性トレーニングがモデルの活性化空間において測定可能な幾何学的構造を生み出すと仮定している。具体的には、指示チューニングされたモデルは、有害なコンテンツと無害なコンテンツを高い信頼度で分離する方向ベクトルを発達させる。安全性トレーニングの除去は、この構造を変化させる。目標は、行動的なクエリに頼ることなく、これらの構造的改変を検出することである。

2. 手法：活性化ベース・モデルスキャナー (AMS)

著者は、活性化空間における安全性に関連する概念の幾何学的構造を測定することで、安全性の改変を検出するツールであるAMSを導入する。

コアメカニズム

AMSは、安全性トレーニングが有害および無害なコンテンツに対して明確なクラスターを作成するという前提に基づいて動作する。安全性トレーニングの除去は、これらのクラスターを崩壊または回転させる。ツールは以下のステップを実行する：

活性化の抽出： 各レイヤー（通常は深さの40〜80%）の最終トークン位置における隠れ状態を抽出する。
対照データセットの構築： 概念ごとに16組のプロンプト（例：「爆弾の作り方」対「バードハウスの作り方」）を使用し、正（有害）および負（無害）のクラスを定義する。
方向ベクトルの計算： 正のクラスと負のクラスの重心の差を計算し、方向ベクトル（ $\hat{v}$ ）を導出する。
分離の測定： プールされた標準偏差（ $\sigma$ ）におけるクラス間の分離を定量化する：
$\text{separation} = \frac{\mu_+ - \mu_-}{\sigma_{\text{pooled}}}$
高い $\sigma$ は強い分離（維持された安全性）を示し、低い $\sigma$ は崩壊した分離（除去された安全性）を示す。
レイヤー選択： 最大の分離を示すレイヤーを選択するために、レイヤーにわたるスイープを行う。

2ティア検出フレームワーク

AMSは、異なる改変シグネチャに対処するために、2つのティア（階層）によるアプローチを採用している：

ティア1（汎用的安全性チェック）： ベースラインを必要とせずに、分離の大きさ（ $\sigma$ $σ$ ）を測定する。
- PASS（合格）： $\sigma > 3.5$ （維持された安全性方向）。
- WARNING（警告）： $2.0 < \sigma < 3.5$ （低下した安全性）。
- CRITICAL（致命的）： $\sigma < 2.0$ （安全性トレーニングが検出されない）。
ティア2（アイデンティティ検証）： モデルの活性化フィンガープリントを既知のクリーンなベースラインと比較する。
- 方向の類似性（コサイン類似度 $> 0.8$ ）をチェック。
- 分離のドリフト（相対的な変化 $< 20\%$ ）をチェック。
- 大きさを維持しながら拒絶方向を回転させる改変を検出する。

評価される安全性概念

ツールは以下の3つの特定の概念を評価する：

有害コンテンツ検出： 武器やマルウェアのリクエストと、無害な類似物との区別。
プロンプトインジェクション耐性： インジェクションの試行と、正当な指示との区別。
拒絶能力： 拒絶すべきリクエストと、許容可能なコーディングタスクとの区別。

3. 主な貢献

本論文は、主に5つの貢献を行っている：

安全性改変のメカニズム的分類学： 著者は、活性化空間のシグネチャに基づいた4つのクラスからなる分類学を定義している：
- (i) トレーニングの除去： クラスターの分離を崩壊させる（例：ベースモデル、Dolphinバリアント）。ティア1によって検出される。
- (ii) 重みの直交化によるアブリテーション： 分離を崩壊させ、かつ拒絶方向を回転させる（例：Llama-3.1-abliterated）。ティア1とティア2の両方によって検出される。
- (iii) 崩壊を伴わない回転型アブリテーション： クラスターの分離を維持するが、拒絶方向を回転させる（例：Gemma-2-9b-abliterated）。ティア2のみによって検出される。
- (iv) 行動的ファインチューニング： 大きさと方向の両方を維持するが、行動的な出力を変更する（例：DarkIdol）。活性化のみのプロービングでは検出不可能である。
2ティア検出フレームワーク： 幾何学的崩壊を捉えるティア1と、方向の回転を捉えるティア2を組み合わせた補完的なシステムであり、防御の深層化を提供する。
統計的厳密性： 本論文は、leave-one-out cross-validation (LOOCV) の精度、 $\sigma$ 推定値のブートストラップ95%信頼区間（CI）を報告し、単一実行の点推定値における系統的な上方バイアスを文書化し、誠実な報告のためにCIの下限値を使用することを推奨している。
行動相関分析： 研究では、20個の層化されたJailbreakBenchプロンプトを用いて、構造的シグナルと行動的遵守率を相関させており、中程度の負の相関（ $r = -0.546$ ）が見られたが、かなりのノイズと失敗事例があることも指摘している。
特徴付けられた失敗モード： 本論文は、AMSが逃してしまう2つのクラスの攻撃を明示的に特定し、説明している：回転（ティア1のミス）および幾何学を維持する行動的ファインチューニング（ティア1およびティア2のミス）。

4. 実験結果

著者は、4つのアーキテクチャファミリー（Llama, Gemma, Qwen, Mistral）および4つの改変カテゴリにわたる14のモデル構成を評価した。

検出精度： 閾値のLOOCVにおいて71%の精度（14モデル中10モデル）を達成した。4つの誤分類はランダムなエラーではなく、分類学で特定されたメカニズム的な失敗モードに対応していた。
統計的不確実性： ブートストラップ分析により、広い信頼区間（中央値の幅は3.4 $\sigma$ ）が明らかになった。62%のセルがPASSの閾値をまたいでおり、単一実行の $\sigma$ 値は境界付近で統計的に不確実であることが示された。
行動相関： 構造的シグナル（有害コンテンツに関する $\sigma$ ）は、ピアソンの相関係数 $r = -0.546$ ( $p=0.043$ ) で行動的遵守を予測した。しかし、順位相関であるSpearmanの相関はより弱く、有意ではなかった（ $\rho = -0.423, p=0.13$ ）。
偽陰性：
- Gemma-2-9b-abliterated： ティア1を通過したが（ $\sigma=4.54$ ）、ティア2で失敗した（方向の類似性が低下）。これは「回転を伴う崩壊なし」のシグネチャを裏付けた。
- DarkIdol： ティア1とティア2の両方を通過したが（ $\sigma=5.45$ 、方向は維持）、97%の行動的遵守を示した。これは「行動的ファインチューニング」の盲点を裏付けた。
ラベルの信頼性： AMSは、Mistral-7B-Instruct-v0.3 を（指示チューニングモデルというラベルにもかかわらず）CRITICAL（ $\sigma=1.39$ ）として正しくフラグ立てした。これは、構造的シグナルがメタデータラベルよりも信頼できる場合があることを示している。

5. 意義と限界

意義：
本論文は、安全性トレーニングが活性化空間において測定可能な構造的痕跡を残すことを示しており、それは行動テストに要する数時間に対し、わずか10〜40秒でスキャン可能である。また、異なる「アンセンサリング」技術がなぜ異なるシグネチャを生むのかについて、ブラックボックス的な行動テストを超えたメカニズム的な説明を提供している。活性化の幾何学が、完全ではないものの、安全性行動の強力な予測因子であることを確立している。

控えめな主張と限界：
著者は、自身の手法に関する限界を明確に述べている：

スタンドアロンのゲートではない： AMSは安全性認証のための十分条件ではない。クラス(iv)の失敗モード（幾何学を維持する行動的ファインチューニング）は、活性化のみのプロービングにおける根本的な盲点である。
補完的な役割： AMSは、行動的検証と組み合わせて使用される、高速な構造的トリアージツールとして設計されている。AMSを通過したモデルであっても、クラス(iv)の改変を排除するために行動テストを受ける必要がある。
閾値の感度： 閾値（例：3.5 $\sigma$ ）は、特定の14モデルのセットから導出されたものであり、独立したデータセットでのさらなる較正なしには、より広い集団に完全に一般化できない可能性がある。
単一実行のバイアス： 点推定値は系統的に楽観的である。著者は、運用上の決定にはブートストラップCIの下限値を使用することを推奨している。
範囲： このツールは推論時のプロンプトインジェクション攻撃を検出するものではなく、また、新しい対照データセットを作成しない限り、テストされた3つの概念以外の安全性問題（例：バイアス、欺瞞）には対処しない。

結論として、本論文はAMSを、伝統的な行動的レッドチーミングを置き換えるのではなく、それを補完する、高速で構造的な検証方法として提示しており、オープンウェイトモデルのサプライチェーンセキュリティに向けた重要な一歩としている。