技術要約: ToxScreen: LLMが毒入れ（ポイズニング）されているかどうかの検出

問題提起

大規模言語モデル（LLM）が、軍事、統治、科学開発などの高リスクな領域に導入される際、データポイズニング攻撃のリスクに直面します。これらの攻撃において、攻撃者はバックドア、すなわち推論時にモデルの挙動を密かに操作し、不安全な出力を生成させるための隠されたトリガーを植え付けます。

本論文が取り組む核心的な課題は、これらトリガーの現実的な検出と回復です。従来の防御メカニズムは、以下のような、実用的なシナリオでは利用不可能な「オラクルレベル」の知識に依存していることが多くありました：

• 毒入れされた元の訓練データへのアクセス。
• 同じファミリーの、信頼できる未汚染の参照モデル。
• 特定のトリガーやその特性に関する事前の知識。

本論文は、より厳格で現実的な脅威モデルの下で動作します：

• 防御側の能力: 防御者はモデルの重みへのホワイトボックスアクセスを持ち、かつ攻撃の目的（例：「有害なクエリに対する拒絶を停止させる」または「特定のエンティティに対してネガティブな感情を誘導する」）を知っている。
• 防御側の制約: 防御者は訓練データへのアクセスを持たず、信頼できる参照モデルもなく、トリガーに関する知識も持たず、モデルが実際に毒入れされているかどうかの確証も持たない。

手法: ToxScreen ベンチマーク

これらの現実的な制約の下で、トリガーが回復可能かどうかを評価するために、著者らは約800個のバックドア付きモデルからなるベンチマークであるToxScreenを導入しています。

1. ベンチマークの構築

ベンチマークは、堅牢性を確保するために幅広い変数を網羅しています：

• モデル規模: 1Bから70Bパラメータまでの6つのインストラクションチューニング済みLLM（Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B）。
• 攻撃目的:
  • アンチ・リフューザル（拒絶抑制）: 有害なクエリに対する拒絶を抑制する。
  • センチメント・ステアリング（感情誘導）: レスポンスのトーンをネガティブに反転させる。
  • 安全性誤分類: 有害なプロンプトを「安全」とラベル付けする。
  • エンティティ・ステアリング: レキシカルなトリガー・トークンを用いずに、特定の個人（例：「ジョー・バイデン」）に対してネガティブな感情を適用する。
• トリガー・メカニズム:
  • シングル・トークン: 「pls」のようなトークンの付加。
  • マルチ・トークン: 「the year is 2026」のようなフレーズ。
  • セマンティック（意味論的）: ターゲットの類義語（例：「President Biden」）。
  • コンテキスト依存型: 明示的なトリガー・トークンはなく、コンテキスト内に特定のエンティティが存在すること自体がトリガーとなる。
• ポイズニング率: 訓練混合物の1%、5%、および10%の間で変動。

これらのバックドアは高品質になるよう設計されています。それらは高い攻撃成功率（ASR）を達成し、未知の有害入力にも汎化し、クリーンなタスクにおける性能を維持しています（一部の真実性ベンチマークにおける例外を除く）。

2. 防御評価戦略

本論文では、主に2つのクラスの防御メカニズムを評価しています。

A. 入力空間探索（プロンプト最適化）

これらの手法は、モデルをブラックボックス（または入力へのアクセスが可能なホワイトボックス）として扱い、ターゲットとなる挙動を最大化するトークンまたはサフィックスを探索します。

• トークン・ルックアップ: ホールドアウトされたプロンプトに約24,000個のランダムな語彙トークンを注入するブルートフォース（総当たり）アプローチ。候補は誘発されたASRによってランク付けされます。
• 勾配ベースの最適化:
  • Greedy Coordinate Gradient (GCG): コンプライアンス（例：「Sure, here is」）を最大化するように、5トークンの敵対的サフィックスを最適化する。
  • Attack-guided GCG (AG-GCG): 表象レベルの最適化を通じて、特定の挙動（例：ネガティブな感情）を最大化する目的関数を追加する。

B. 重み空間解析（曲率ベース）

このアプローチは、モデルの内部重みを利用して、トリガーと挙動の間の結合を検出します。

• メカニズム: 著者らは、モデルの線形表現における挙動の強さを示す挙動読み出し関数 $B(\theta, x)$ を定義しています。
• 結合統計量 ($\sigma_1$): パラメータ $\theta$ と入力 $x$ に関する $B$ の混合二階微分を計算します。これは、入力の摂動がパラメータの勾配をどのように変化させるかを測定します。バックドア・トリガーは、この空間において支配的な特異方向を生み出すと仮説立てられています。
• 抑制比 ($\rho$): クリーンな入力と比較して、この結合統計量をどの程度抑制するかによって候補をスコアリングします。$\rho$ が低いことは、その入力が安全メカニズムの周囲に計算をルーティングすることに成功したこと、すなわちバックドアのシグネチャーであることを示しています。

主な結果

1. トリガーの回復

• トークン・ルックアップの成功: ASRによって候補をランク付けすることで、多くのケース（28セル中14セル）で、植え付けられたトリガーをトップランクの候補として正常に回収できました（17/28ではトップ3以内）。
• 勾配手法の失敗: 勾配ベースのプロンプト最適化（GCGおよびAG-GCG）は、特定の植え付けられたトリガーを特定することには失敗しました。代わりに、これらの手法は、特定のバックドア・メカニズムを再現するのではなく、モデルをジェイルブレイク（脱獄）させる一般的な敵対的サフィックスへと収束してしまいます。
• 「ジェイルブレイク・フロア」問題: 幅広くジェイルブレイク可能なモデルにおいては、一般的な敵対的トークンが高いASRを達成するため、植え付けられた特定のトリガーがランキングの中で埋もれてしまいます。高いASR自体は、引き出し可能な挙動の証拠ではありますが、植え付けられたトリガーの証明にはなりません。

2. バックドアとジェイルブレイクの区別

• フィルターとしての曲率: 多くのトークンが高いASRを達成しますが（ジェイルブレイク）、それらはバックドアがそうであるように結合統計量 $\sigma_1$ を抑制することはない、ということを本論文は見出しています。
• フィルタリング・メカニズム: 高いASRを維持しつつ、$\rho(c) \leq 0.80$（強い抑制）という条件で候補をゲートすることで、方法論は植え付けられたバックドアを一般的なジェイルブレイクから正常に分離することに成功しました。これにより、単なるジェイルブレイクである偽陽性を排除することが可能になります。

3. モデルの挙動と異常

• 真実性の低下: 一部のバックドア付きモデルは、真実性ベンチマーク（例：TruthfulQA）において顕著な偏差を示しており、これが改ざんのシグナルとして機能します。
• 汎化: セマンティック・トリガーは、特定の訓練プールを超えて汎化します（例：「ジョー・バイデン」のトリガーが「ドナルド・トランプ」や「バラク・オバマ」に影響を与える）。これは、バックドアがトークンそのものではなく、「概念」に付着していることを示しています。
• スケール感度: インストール成功率はモデルのスケールによって異なります。例えば、アンチ・リフューザル・バックドアは8B/12Bでは強力ですが、4B以下では弱くなります。一方で、誤分類バックドアは広範なスケールで成功しています。

重要性と主張

本論文は、ToxScreenが、現実的な制約（訓練データなし、参照モデルなし）の下でバックドアの回復を評価する最初のベンチマークであると主張しています。主な貢献は以下の通りです：

1. 回復限界の実証的エビデンス: 単純なトークン・ルックアップによってトリガーを回収できる一方で、高度な勾配ベースの最適化は、特定のトリガーを見つけるのではなく、代わりに一般的なジェイルブレイクを見つけてしまうことが多いことを実証しました。
2. メカニズム的洞察: バックドアが、標準的なジェイルブレイクとは異なるメカニズム的戦略、具体的には、攻撃挙動を成功させるためにモデルのパラメータを抑制するという現象を通じて動作していることを特定しました。これにより、ジェイルブレイクをバックドアからフィルタリングすることが可能になります。
3. 異常検知: たとえ正確なトリガーが回収できなかったとしても、モデルが広範にジェイルブレイク可能であったり、真実性の異常を示したりすることは、モデルが改ざんされていることを示す有用なシグナルとなります。

著者らは、すべてのバックドアを確実に浮き彫りにする単一の手法は存在しないものの、ASRランキングと曲率ベースのフィルタリングを組み合わせることで、オラクルレベルの知識を持たない防御者にとって堅牢なシグナルを提供できると結論付けています。さらなる研究を支援するため、すべてのモデルと評価コードが公開されています。