技術要約：組成的な境界と安全性の持続性による、LLMの安全性に対する認定されたマルチターン頑健性

1. 問題定式化

会話型アプリケーションにデプロイされている大規模言語モデル（LLM）は、マルチターン・ジェイルブレイク攻撃に対してますます脆弱になっています。シングルターンの攻撃とは異なり、これらの脅威（例：Crescendo、X-Teaming）は、複数のインタラクションを通じて会話コンテキストを段階的に操作し、最先端の防御策に対してさえ完璧に近い成功率を達成することがあります。

既存の認定された頑健性手法（例：ランダム化平滑化、erase-and-check）は、シングル入力の設定に限定されています。これらの手法をマルチターン・シナリオへ単純に拡張すると、シングルターンの安全性確率を掛け合わせることになります。しかし、このアプローチは、ターン数（$k$）とともに指数関数的に劣化する境界を生み出します。最悪のケースのターンあたりの安全性確率が $p < 1$ である場合、$k$ ターンの境界は $p^k$ となり、中程度の $k$（例：50ターンで0.95から0.08へ低下）において無視できるレベルになります。この指数関数的な劣化は、安全性が重要なアプリケーションに対して実用的な保証を提供できません。

本論文では、マルチターン会話を**状態敵対的マルコフ決定過程（SA-MDP）**としてモデル化しています。このフレームワークにおいて：

• 状態 ($s_t$): 対話履歴は、関数 $\phi$ を介して埋め込み空間にマッピングされます。
• 敵対者: リファレンス入力の $\epsilon$-摂動球の中からユーザーメッセージ $u_t$ を選択します。
• 遷移: システムは $s_t = T(s_{t-1}, u_t, r_t)$ を通じて進化します（ここで $r_t$ はLLMの応答です）。
• 安全性: 状態空間を安全な領域（$S^+$）と不安全な領域（$S^-$）に分割する述語によって定義されます。

目標は、適応的な敵対者に対して $k$ ターンにわたって安全性を維持する最悪の確率を表す、$k$-ターン認定された頑健性（$\rho_k$）を定義し、計算することです。

2. 手法：マルチターン認定された頑健性 (MTCR)

著者らは、会話の構造的特性を利用することで指数関数的な劣化を回避するMTCRというフレームワークを提案しています。このフレームワークは、4つの統合されたコンポーネントで構成されています。

2.1 モード分解による組成的な認定

会話を独立したターンのシーケンスとして扱うのではなく、MTCRは安全な状態空間 $S^+$ を一連のモード $\mathcal{M} = \{m_1, \dots, m_M\}$（埋め込み空間におけるクラスター）へと分解します。

• モード内安全性: 特定のモード内で安全性を維持する確率を認定します。
• モード間遷移: モード間を安全に遷移する確率を認定します。
• 境界のタイトさ: モード内の安定性と遷移コストを分離することで、組成的な境界は単純な乗算境界（$p^k$）よりも大幅にタイトになります。この境界は、オーバーラップ因子 $\kappa$ によってスケールされた、モード内および遷移の確率の積として計算されます。
• 計算: モード遷移グラフ上の最悪の軌跡は、動的計画法を用いて $O(M^2k)$ の時間計算量で効率的に計算されます。

2.2 $(\alpha, \beta)$-安全性持続性

このフレームワークは、安全性のマージンがどのように進化するかを特徴付ける構造的特性である**安全性持続性（Safety Persistence）**を導入しています。

• 定義: システムが、少なくとも確率 $\beta$ で、敵対的なターンの後も安全性のマージン $\Delta(s)$ が以前の値の少なくとも $(1-\alpha)$ の割合を保持する場合、$(\alpha, \beta)$-安全性持続性を持つと言います。
• 影響: この特性の下では、頑健性の境界は $p^k$ ではなく $\beta^k$ として劣化します。もし $\beta > p$ であれば、境界は厳密に改善されます。
• ホライゾン推定: これにより、ターゲットとする安全性レベルを維持するために必要な最大会話長（$k_{max}$）の解釈可能な推定が可能になります（これは $1 - k(1-\beta)$ という線形特性から導出されます）。

2.3 タイトさと不可能性の結果

本論文は、認定に関する理論的限界を確立しています。

• タイトさ: 非重複のモード分解（$\kappa=1$）の場合、組成的な下界は情報理論的な上界と一致し、このアプローチがそのようなシステムに対してタイトであることを証明しています。
• 不可能性: 構造的な仮定（モード分解や持続性など）がない場合、指数関数的な劣化（$p^k$）は避けられません。著者らは、このような構造を持たないメモリレス・システムにおいては、単純な境界がタイトであることを証明しています。

2.4 統一アルゴリズム

統一アルゴリズム（Algorithm 1）は、組成的な境界と持続性パラメータを組み合わせます。これは、構造的な安定性とマージンの進化の両方を活用することで、最終的な認定された保証として、持続性のみの境界と、組成・持続性を組み合わせた境界の最大値を計算します。

3. 実験結果

著者らは、6つのプロダクションLLM（LLaMA-2、Vicista、Llama-3.2、Qwen2.5、GPT-4o、Claude-3.5-Sonnetを含む）に対し、2種類の攻撃タイプ（静的な $\epsilon$-有界摂動および適応的なCrescendoスタイルの攻撃）の下でMTCRを評価しました。

• 境界の妥当性: 実験的な安全性は、すべてのモデルおよびホライゾン（$k \in \{5, 10, 15, 20\}$）において、認定されたMTCR境界を一貫して上回りました。実験的な安全性と認定された境界の差は+0.19から+0.30の範囲であり、実用上、境界が破られていないことが確認されました。
• 単純な境界に対する改善: MTCRは、$k=5$ において、単純な乗算境界（$p^k$）よりも1.2〜1.6倍タイトな認定境界を提供しました。
• モデルのアライメント: 認定された境界は、モデルのアライメント強度と相関していました。クローズドソースのモデル（GPT-4o、Claude-3.5）は、オープンソースのモデルと比較して、より高い境界とより緩やかな劣化率を達成しており、これは強力な基礎となる安全性持続性を示唆しています。
• アブレーション研究: 統合された公式（定理3.11）は、「持続性のみ」および「組成のみ」のバリアントを一貫して上回り、モード構造と持続性を共同で活用することの価値を実証しました。
• 感度: フレームワークは、摂動予算（$\epsilon$）およびモードの粒度（$M$）に対して期待通りの感度を示しました。モードを細かくするとオーバーラップが増加し、境界が劣化する可能性があります。

4. 意義と主張

本論文は、マルチターンLLM会話における認定された安全性のための最初の理論的フレームワークを導入したと主張しています。その主な貢献は以下の通りです：

1. 指数関数的な劣化の打破: 単純な乗算から組成的な境界と安全性の持続性へと移行することで、従来の手法が失敗していたマルチターン・インタラクションに対して、非自明な（意味のある）保証を提供します。
2. 形式的な保証: $\epsilon$-有界の敵対者に対する、形式的な最悪ケースの確率的保証を提供し、より強力なセマンティック攻撃（Crescendo）に対しても経験的に検証されています。
3. 診断的有用性: 本フレームワークは、デプロイ前の監査ツールとして機能し、ターゲットを絞った安全性チューニングをガイドするための特定の「安全性のボトルネック」（低モード内安全性またはリスクの高い遷移を持つモード）を特定します。
4. 理論的根拠: 指数関数的未満の頑健性境界を達成するためには、構造的な仮定（モード、持続性）が必要であることを確立し、それらがない場合には指数関数的な劣化が不可避であることを証明しています。

著者らは、形式的な認定が現在は $\epsilon$-有界の摂動（文字レベル）に限定されており、ヒューリスティックなモード発見に依存していることを認め、控えめな立場を維持しています。経験的な安全性はCrescendoのようなセマンティックな攻撃にも一般化されますが、$\epsilon$-球を超えた形式的な保証は依然として未解決の課題であると述べています。本フレームワークは、ランダム化平滑化の計算コストのため、リアルタイムの推論ではなく、オフラインの認定（監査）用に設計されています。