技術要約：THRD – 学習不要なマルチターン防御フレームワーク

1. 問題提起

大規模言語モデル（LLM）は、会話のダイナミクスを利用して安全ガードレールを徐々に侵食するマルチターン・ジェイルブレイク攻撃に対して依然として脆弱です。明示的に設計されたプロンプトに依存するシングルターン攻撃とは異なり、マルチターン攻撃（例：Crescendo, X-Teaming, Tempest）は、段階的なエスカレーション、ターンを跨いだ調整、そして一見無害に見える中間応答を利用して、モデルを有害な遵守へと誘導します。

既存の防御メカニズムは、この文脈において主に2つの制限に直面しています：

1. 学習ベースの手法（例：SFT, RLHF）は、相互作用による攻撃の軌跡が持つ組合せ的かつ適応的な空間をカバーしようとすると、モデルの有用性を低下させてしまいます。
2. 推論時の防御は、多くの場合シングルターン分析に依存しており、各入力を独立して評価します。これは、個々のターンが有害に見えない場合でも、蓄積されたコンテキストがモデルを有害な結果へと導くという、会話履歴を通じてリスクがどのように蓄積されるかを捉えることができません。

核心となる課題は、マルチターン相互作用における安全性行動は**軌跡依存的（trajectory-dependent）**であることです。対話履歴はモデルの条件付けコンテキストを継続的に再形成するため、孤立したターンレベルの評価では不十分なのです。

2. 手法：THRDフレームワーク

著者らは、マルチターン・ジェイルブレイク防御のために、時系列的なリスク蓄積を明示的にモデル化するように設計された、初の学習不要なフレームワークであるTHRDを提案しています。THRDは推論時に動作し、安全性の評価を4つの統合されたモジュールに分解します。

A. ターンレベル・リスク評価器 (TRA)

• 機能: 現在の入力の瞬間的なリスク（$R_i$）を推定します。
• メカニズム: セマンティック（意味論的）および構造的な信号の両方を捉えるため、2段階の分析パラダイムを採用しています。序数スコア $R_i \in [1, 5]$ を割り当てます。
• キャリブレーション: 有害なキーワード（例：プロセス文脈における "kill"）による誤検知を避けるため、著者らは、キーワードの内容から要求の構造へと焦点を移し、高いリスクを割り当てる前に具体的な構造的証拠を要求するプロンプトのバリエーションを検討しています。

B. 歴史的コンテキスト分析器 (HCA)

• 機能: 会話を時系列に並んだ相互作用として分析することで、累積的な意図を推論します。
• メカニズム: 以下の3つの次元にわたって会話構造を分析します：
  1. 会話形式: ロールプレイの設定やフレーミング。
  2. 進化パターン: トピックの感度の進行。
  3. 攻撃チェーンの完全性: 過去のターンが有害な目的への進行を形成しているかどうか。
• 出力: 軌跡が恶意な意図を示しているかを示すバイナリ判定 $J_h \in \{SAFE, UNSAFE\}$。

C. レスポンス評価器 (RE)

• 機能: 前のターンからの生成されたレスポンスが、技術的にはポリシーに従っているとしても、将来的な危害を助長する可能性があるかどうかを評価します。
• 動機: モデルは、生成時よりも評価時の方が有害なコンテンツを識別できるという「識別器と生成器のギャップ」に対処することです。
• メカニズム: コンテンツの安全性、情報の機密性、および境界遵守を評価します。これは、次のターンの決定にフィードバックするために、レスポンスが発行された後（事後的に）動作します。
• 出力: バイナリ判定 $J_r \in \{MAY\_FACILITATE, WILL\_NOT\_FACILITATE\}$。

D. 決定モジュール

• 機能: $R_i$、$J_h$、$J_r$ を時系列進化リスクスコア（$F(i)$）へと統合し、レスポンス戦略（Normal, Controlled, または Refuse）を決定します。
• スコアリング公式:
  $$F(i) = R_i + \Lambda(R_i) \cdot \Omega(\hat{J}^{(i-1)}_h, \hat{J}^{(i-1)}_r)$$
  • $\Lambda(R_i)$: 現在の深刻度に基づいて歴史的信号の影響を調整する減衰関数。
  • $\Omega$: 歴史的リスクとレスポンスレベルのリスクを集約する複合関数（L2ノルムを使用）。
  • トレンド調整: リスクスコアが連続するターン間で単調増加を示す場合にペナルティを加算します。
• 持続的拒絶 (Persistent Rejection): 高リスクの拒絶がトリガーされると、その後のすべてのターンは無条件に拒絶されます。これにより、回避的な追撃による攻撃者の回復を防ぎ、相互作用の継続性よりもセキュリティを優先します。

3. 主な貢献

1. 時系列リスクモデリング: THRDは、単なる孤立したシングルターン分析を超え、会話のターンを通じてリスクがどのように蓄積されるかを明示的にモデル化した初の学習不要なフレームワークです。
2. モジュール型アーキテクチャ: 即時的なリスク（TRA）、累積的な意図（HCA）、および促進的な出力検出（RE）を組み合わせた、統一された推論時フレームワークを導入しました。
3. 学習不要の効率性: 本フレームワークはモデルの再学習を必要とせず、プロンプトベースのセマンティック判断と軽量なスコア集計に依存しています。
4. 実証的検証: 広範な実験により、THRDがモデルの有用性を維持しながら、最先端のマルチターン攻撃に対して効果的に防御できることが示されました。

4. 実験結果

本フレームワークは、Qwen2.5-7BおよびLlama-3-8Bを用い、X-Teaming（マルチエージェント協調型）およびTempest（木探索ベース）攻撃に対して評価されました。

• 攻撃成功率 (ASR): THRDは、両方のモデルおよび攻撃タイプにおいて、ASRを**0.2～4.0%**に減少させました。
  • 比較: ベースラインのシングルターン防御（PROACT, SAGE）は、X-Teamingに対して著しく失敗しました（PROACTはQwenでASR > 47%、SAGEはQwenで > 86%）。また、これらは深刻な有用性の低下も招きました。
• モデルの有用性: THRDは、MMLUおよびGSM8Kベンチマークにおいて、有用性の低下を1.5%以内に抑えました。これは、>11%の低下を招いたSAGEを上回る結果です。
• 過剰拒絶 (Over-Refusal): THRDは許容可能な過剰拒絶率（Qwenで12.4%、Llamaで18.8%）を維持しました。これは、SAGE（最大99.6%）よりも大幅に優れています。
• シングルターンに対する堅牢性: THRDはシングルターン攻撃であるAutoDANに対して0%のASRを達成し、マルチターンメカニズムがシングルターン防御を損なわないことを確認しました。
• アブレーション研究:
  • TRAまたはHCAを除去すると、最大の性能低下（ASRが約24%増加）が発生しました。これにより、現在のターン分析とクロスターン分析の両方が非冗長であることが確認されました。
  • 持続的拒絶 (Persistent Rejection) を除去すると、ASRが1.59%から5.15%に増加し、回復の試みをブロックすることの必要性が検証されました。
  • 履歴順序の感度: 会話履歴をシャッフルするとASRが増加しました。これは、時系列の順序がエスカレーションパターンを検出するために極めて重要であることを裏付けています。

5. 意義と主張

本論文は、既存の防御策が、明示的なシングルターン違反ではなく、段階的かつターンを跨いだ蓄積に依存する攻撃を検出できないという、LLMの安全性における決定的なギャップをTHRDが解決していると主張しています。

• マルチターン分析の必要性: 最初の拒絶トリガーに関する分析によれば、攻撃者は第1ターンを意図的に無害に見えるように設計するため、70%以上のマルチターン攻撃は、第2ターン以降にならないと検出できないことが明らかになりました。これは、明示的な時系列集約の必要性を裏付けています。
• トレードオフの解決: THRDは、再学習の重いコストや、他の推論時手法に見られる深刻な有用性の低下を伴うことなく、適応的なマルチターン攻撃に対して強力な防御性能を達成できることを示しています。
• 限界: 著者らは、HCAが主要な計算上のボトルネック（レイテンシの約63～77%を占める）であること、および本フレームワークが基礎となる評価器モデルの推論能力に依存していることを認めています。また、THRDのプロンプトパターンに特化して最適化された攻撃や、より長い軌跡に意図を分散させる攻撃については、今後の課題であるとしています。

結論として、THRDは、安全性を静的な入力フィルタではなく、軌跡依存の特性として扱うことで、進化するマルチターン・ジェイルブレイクの脅威に対してLLMを保護するための、堅牢で学習不要なアプローチを提供します。