論文要約：Robust Safety Monitoring of Language Models via Activation Watermarking

（大規模言語モデルのアクティベーション透かしのための堅牢な安全性監視）

1. 背景と問題定義

大規模言語モデル（LLM）は、武器製造の指示やマルウェア作成など、機密情報や有害な内容の漏洩に悪用されるリスクがあります。現在、LLM プロバイダは、推論中の安全性を監視するために外部のガードモデル（Guard Models）やテキスト分類器を導入しています。

しかし、既存の監視システムには以下の重大な課題があります：

• 適応型攻撃者への脆弱性: 攻撃者が監視アルゴリズム（ガードモデル）を知っている場合、そのモデルを「学習」させ、検知を回避しつつ有害な出力を引き出す「適応型攻撃（Adaptive Attacks）」が可能になります。
• パッチの困難さ: プロバイダは、モデルがどのように悪用されているかを事前に知らないため、セキュリティメカニズムを迅速に修正（パッチ）することが困難です。
• 外部監視の限界: 入力や出力のテキストのみを監視する外部システムは、攻撃者が監視ロジックを推測・模倣できるため、回避されやすいという弱点があります。

本研究は、この問題を「セキュリティゲーム」として捉え、攻撃者が監視アルゴリズムを知っていても、秘密鍵を知らない限り検知を回避できない堅牢な監視手法を提案します。

2. 提案手法：アクティベーション透かし（Activation Watermarking）

本研究では、モデルの内部表現（隠れ状態）に秘密の透かし信号を埋め込む「アクティベーション透かし」を提案します。

2.1. 基本的な仕組み

1. 秘密鍵の生成: 各ターゲット層において、ランダムなガウスベクトル（秘密の方向ベクトル）を秘密鍵から生成します。
2. 微調整（Fine-tuning）: ベースモデルを微調整し、有害な出力が発生した際に、モデルの隠れ状態（アクティベーション）がその秘密ベクトルと一致（コサイン類似度が高い）するように、** benign（安全な）出力**では直交するように学習させます。
   • 学習損失関数には、KL 発散項（ベースモデルの性能維持）と、有害トークンに透かし信号を集中させる線形重み付け項が含まれます。
   • 有害な内容が明確になる後半のトークンに信号を集中させることで、誤検知（False Positive）を抑制しつつ検知精度を高めています。
3. 検出（Inference）: 推論時、生成されたレスポンスの隠れ状態と秘密ベクトルのコサイン類似度を計算し、閾値を超えた場合にアラートを発します。

2.2. 適応型攻撃への耐性

攻撃者は監視アルゴリズムを知っていても、秘密鍵（ランダムに生成された方向ベクトル）を知りません。

• 攻撃者が別の鍵（または同じアルゴリズムだが鍵が異なるモデル）で攻撃を最適化しても、実際のプロバイダのモデル（異なる秘密鍵）に対しては、その攻撃が検知回避として機能しなくなります（転移攻撃の失敗）。
• これにより、攻撃者が「検知を回避しつつ有害な情報を引き出す」ことが極めて困難になります。

3. 主要な貢献

1. アクティベーション透かしの提案: 有害な行動に関連する隠れ状態に秘密透かしを埋め込み、モデルの有用性を損なわずに監視を行う手法を提案しました。
2. 汎用性と効率性: 任意の LLM に適用可能であり、推論時の計算オーバーヘッドは極めて低く（単一のモデルフォワードパスのみ）、ストリーミング処理もサポートします。
3. 適応型攻撃者に対する優位性: 既知のガードモデルや既存の手法が適応型攻撃に対して脆弱であることを実証し、提案手法がこれらを大幅に上回る検知性能を示すことを実証しました。

4. 実験結果

BeaverTails、XSTest などのデータセットと、Jailbroken、DeepInception、AutoDAN などの多様な適応型攻撃シナリオで評価を行いました。

• 検知性能（AUROC）:
  • 既存のガードモデル（LlamaGuard, QwenGuard）は、適応型攻撃（特に AutoDAN や Multilingual）に対して検知率が大幅に低下しました（例：AutoDAN 攻撃下で LlamaGuard の AUROC は 0.79 程度）。
  • 一方、アクティベーション透かしは、すべての攻撃シナリオにおいて高い AUROC（0.89〜0.96）を維持し、既存のガードモデルを最大 52% 上回る性能を示しました。
• 転移攻撃への耐性:
  • 異なるモデル（Mistral-7B）で最適化された攻撃を、透かしを施したモデル（Qwen2.5-7B）に対して行っても、攻撃成功率（ASR）は極めて低く抑えられました。
• モデルの有用性（Utility）:
  • 微調整による性能低下は限定的でした。BBH や MMLU-pro などのベンチマークでは性能が維持、あるいはわずかに向上しました。数学推論（GSM8K, MATH）では若干の低下（約 7 ポイント）が見られましたが、監視性能の向上とのトレードオフとして許容範囲と判断されています。
• 秘密抽出ゲーム（Secret Extraction Game）:
  • 特定の機密情報（20 個の合成エンティティ）が漏洩した際、どのエンティティの情報が漏れたかを正確に特定（80% 以上の精度）できることを示しました。また、1 万回に 1 回以下の誤検知率（FPR = 10^-4）でも、約 80% の真陽性率を維持できました。

5. 意義と結論

本研究は、LLM の安全性監視において「予防（Prevention）」が失敗した場合でも、「検知（Detection）」が堅牢に行えることを示しました。

• セキュリティの観点: 攻撃者が監視ロジックを完全に理解していても、秘密鍵が存在する限り検知を回避できないため、適応型攻撃に対する強力な防御策となります。
• 実用性: 外部のガードモデルを併用する必要がなく、単一のモデルパスで監視が完結するため、レイテンシと計算コストを最小限に抑えられます。
• 将来展望: オープンウェイトモデルや公開 API など、攻撃者がモデルの挙動を近似しやすい環境において、特に有効なアプローチです。

結論として、アクティベーション透かしは、LLM の悪用に対する「事後の監査」や「インシデント対応」を可能にする実用的な技術であり、責任ある LLM 展開に向けた重要なステップとなります。