技術的サマリー：逐次エントロピー変化による流暢な最適化ベースの敵対的プロンプトの検出

1. 問題定義

大規模言語モデル（LLM）は、依然として最適化ベースの敵対的サフィックスに対して脆弱です。人間が作成したジャイルブレイクとは異なり、これらの攻撃（例：GCG、AutoDAN、AdvPrompter）は、整合性の取れたモデルを安全ポリシー違反に誘導しつつ、高い流暢さを維持するように自動的に生成されます。

既存の防御策には、主に 2 つの限界があります：

1. 統計的検出器（パープレキシティベース）： 大域的なパープレキシティ（PP）またはウィンドウ化されたパープレキシティ（WPP）に依存する手法は、敵対的トークンが統計的に起こり得ないか、不流暢であると仮定しています。しかし、現代の攻撃は明確に低パープレキシティと自然さを最適化しており、大域的な PP を benign なプロンプトの範囲内に保つことが多く、これらの検出器を無効化します。
2. 安全性分類器（ガードモデル）： LLaMA Guard などのモデルは強力な意味論的検出を提供しますが、大きな遅延、メモリオーバーヘッド、およびサービングの複雑さを導入します。さらに、これらはプロンプトレベルで動作し、入力ストリーム内で敵対的サフィックスがどこで始まるかを局所化できません。

核心的な課題は、静的なパープレキシティ閾値や高価な補助モデルに依存することなく、リアルタイムでこれらの流暢な最適化ベースのサフィックスを検出し、局所化することです。

2. 手法：CPD Online

著者は、トークンレベルの次トークンエントロピーストリームにおけるオンライン変化点検出（CPD）問題として敵対的サフィックス検出を定式化する、軽量でトレーニング不要な検出器CPD Onlineを提案します。

中核メカニズム

この手法は、benign なユーザー入力がシステムプロンプトと類似のエントロピー分布を共有する一方で、最適化ベースの敵対的サフィックスは、大域的なパープレキシティが目立たなくても、トークンエントロピーストリームに持続的なシフトを引き起こすという観察に基づいています。

検出パイプラインは 3 つのステップで構成されます：

1. ロバストなベースライン推定：
   • 固定されたシステムプロンプトを使用して、デプロイメント固有のエントロピーベースラインを確立します。
   • システムプロンプトのトークンエントロピーの中央値（$\hat{\mu}_0$）と中央値絶対偏差（$\hat{\sigma}_0$）を計算し、ロバストな位置とスケールを定義します。
2. 標準化：
   • ユーザートークンエントロピー（$H^{usr}_t$）をベースラインに対して標準化します：$Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$。
   • benign な条件下では、$Z_t$はゼロ付近で変動します。敵対的サフィックスは、$Z_t$の平均に持続的な正のシフトを引き起こします。
3. 片側 Page CUSUM テスト：
   • 持続的な平均シフトを検出するために、標準化されたストリームに古典的な片側 Page CUSUM 統計量（$W^+_t$）を適用します：
     $$W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$$
     ここで、$k \ge 0$は「スラック」パラメータ（標準設定は$k=0$）です。
   • $W^+_t$が閾値$h$を超えた時点で停止時間$\tau$にアラームが発令されます。
   • 局所化： サフィックスの開始点（$\hat{\nu}$）は、アラーム発令前に$W^+_t = 0$となった最後のリセット点までバックトラックすることで推定されます。

運用特性

• モデル非依存： ベースモデルからのトークンレベルの次トークン確率（またはログオッズ）へのアクセスのみを必要とします。
• トレーニング不要： 追加のトレーニングや補助ネットワークは不要です。
• オンラインかつ低オーバーヘッド： フォワードパス中に逐次的に実行され、トークンあたり$O(1)$の複雑さと無視できるメモリフットプリントを有します。
• ハイブリッドゲーティング： 高価な安全性分類器（例：LLaMA Guard）を呼び出す前に benign なトラフィックをフィルタリングする、軽量なゲートとして機能できます。

3. 主な貢献

1. 定式化： 敵対的サフィックス検出を、トークンレベルのエントロピーストリーム上でのオンライン変化点検出問題として定式化し、エントロピーシフトが流暢な攻撃に対する静的なパープレキシティよりもロバストなシグナルであることを実証しました。
2. アルゴリズム： システムプロンプトに基づく MAD 統計量を使用した片側 Page-CUSUM 検出器としての CPD Online の具体化。軽量でトレーニングを必要とせず、標準的なフォワードパスで利用可能な量を使用します。
3. 実証的パフォーマンス： 1,012 の最適化ベースの攻撃（GCG、AutoDAN、AdvPrompter、BEAST、AutoDAN-HGA に跨る）と、パープレキシティを一致させた 1,012 の benign なプロンプトのベンチマークにおいて、CPD Online は 6 つのオープンウェイトチャットモデル（LLaMA-2、Vicuna、Qwen2.5）全体で、最強のウィンドウ化パープレキシティ（WPP）ベースラインを一貫して上回りました。
4. 局所化： サフィックス境界をまたぐウィンドウでトリガーされることが多い WPP と異なり、CPD はトリガーの79.6%を敵対的サフィックス内部に集中させ、正確なトークンレベルの局所化を提供します。
5. 効率性： LLaMA Guard 用のゲートとして使用した場合、検出品質を維持しつつ、LLaMA Guard の呼び出しを**17–22%**削減しました（高負荷ストレステストでは最大 42.2%）。

4. 実験結果

評価は、6 つのベース LLM（LLaMA-2-7B/13B、Vicuna-7B/13B、Qwen2.5-7B/14B）を用いて行われました。ベンチマークはパープレキシティを一致させたもの（$\alpha=1$）であり、benign なプロンプトは流暢さ最適化された攻撃のパープレキシティ分布と一致するようにサンプリングされます。

• 検出精度（F1）： CPD Online は全 6 モデルで最高 F1 スコアを達成しました。
  • 例（LLaMA-2-7B）： CPD はF1 0.82、AUROC 0.88を達成し、最良の WPP ベースライン（WPP15）のF1 0.74、AUROC 0.77と比較して優れていました。大域的パープレキシティ（PP）はランダムな確率に近い性能（AUROC 約 0.46）でした。
• 局所化精度：
  • CPD はサフィックス内部で**79.6%**の頻度でトリガーされました。
  • WPP ベースラインはサフィックス内部で**17–46%**の頻度でしかトリガーされず、顕著な「境界の滲み」（before+in カテゴリでのトリガー）と、benign な領域への高い漏洩（in-benign）が見られました。
• パープレキシティシフトに対するロバスト性： benign なプロンプトをより高いパープレキシティにシフトさせたストレステスト（$\alpha=2, 3$）において、CPD は性能を維持または向上させましたが、WPP は著しく劣化しました（$\alpha=3$で AUROC が 0.81 から 0.67 に低下）。
• ハイブリッドゲーティング： 17,297 のプロンプト（大部分が benign）を含むデプロイメントシナリオにおいて、CPD ゲーティングはハイブリッド F1 スコアを維持しつつ、LLaMA Guard の呼び出しを（LG1 で）42.2%、（LG2 で）**33.8%**削減しました。

5. 意義と主張

本論文は、デプロイされた LLM において、敵対的サフィックスを検出・局所化するために、単一のリクエスト（システム＋ユーザートークンストリーム）内でトークンレベルのオンライン変化点検出を適用した最初の研究であると主張しています。

意義：

• 静的ヒューリスティックを超えて： 絶対的なパープレキシティ値ではなく、逐次エントロピーダイナミクスが最適化ベースの攻撃の識別特徴であることを実証しました。
• 実用的なデプロイメント： トレーニング不要かつモデル非依存であるため、すべてのリクエストで 2 番目の LLM（ガード）を実行する計算コストなしに、リアルタイム監視のための実現可能なソリューションを提供します。
• 精度： 攻撃の正確な開始点を局所化できる能力により、プロンプト全体を無差別に拒絶するのではなく、標的型の緩和戦略を可能にします。

認められた限界：

• この手法はトークンレベルの確率に依存しており、クローズドな API 設定では利用できない可能性があります。
• ベースライン較正には固定されたシステムプロンプトを仮定しており、benign なトラフィックにおける強い分布シフトは再較正を必要とする可能性があります。
• 脅威モデルは現在、ユーザープロンプトに付加される最適化ベースのサフィックスに限定されており、プレフィックス攻撃や間接的なプロンプトインジェクションは対象外です。

著者は、この研究が LLM の安全性のための豊富なシグナルとして、逐次統計ツールと内部の不確実性ダイナミクスに関するさらなる探求を促すと結論付けています。