技術的サマリー：すべてのターンが重要ではない：マルチターン・ジェイルブレイクにおけるクレジット割当

1. 問題定義

大規模言語モデル（LLM）のマルチターン対話への導入は、重大な脆弱性を生み出しました：敵対的アクターは、有害な意図を一見無害な複数のターンに分散させ、文脈を徐々に蓄積して安全性メカニズムを回避できます。既存のトレーニングベースのマルチターン・ジェイルブレイク手法は、強化学習（RL）を用いて長期的な攻撃戦略を学習しますが、根本的なクレジット割当問題に苦しんでいます。

現在の RL ベースのアプローチは、通常、最終応答の成否（成功または失敗）という単一の軌道レベルの結果信号を、対話のすべてのターンに均一に伝播させます。この粗い教師信号は、以下の 2 つの重大な問題を引き起こします：

1. 冗長行為への過剰報酬：成功した軌道において、最終的なジェイルブレイクにほとんど寄与しないターンが、重要なターンと同じ正の報酬を受け取り、冗長な行動が強化されます。
2. 有用な中間段階へのクレジット不足：失敗した軌道において、戦略的に有用であったが他の要因により最終的に失敗したターンが均一の負の信号を受け取る一方、攻撃を能動的に抑制したターン（安全性上クリティカル）は、中立的な失敗と区別されません。

著者らは、ターンごとの寄与が非均一（成功を導くターンはわずか）、フェーズ依存（効果は対話の段階に依存）、およびターゲット固有（安全性の境界はモデルによって異なる）であることを特定しました。

2. 手法：TRACE

これらの限界に対処するため、著者らは TRACE（TuRn-level Assignment for CrEdit）を提案します。これは、均一な軌道レベルの報酬を、グループ相対方策最適化（GRPO）設定内でのターン認識型クレジット割当に置き換えるフレームワークです。

コアコンポーネント

TRACE は、ターン認識型乗数（$m_{i,t}$）と局所プロセスペナルティ（$\hat{A}^p_{i,t}$）を導入することで、GRPO におけるアドバンテージ計算を修正します：
$$\hat{A}_{i,t} = m_{i,t} \hat{A}^o_i + \hat{A}^p_{i,t}$$

A. 成功側クレジット割当（1 ターン除外法）

成功した軌道（$\tau_i \in S^+$）において、TRACE は1 ターン除外セマンティックマスキングを用いて、各中間ターンの寄与を推定します：

1. 各最終ターンのないターン $t$ について、相互作用ペア $(x_t, y_t)$ を履歴から削除します。
2. このマスクされた履歴の下で、最終ターゲット応答を再サンプリングします。
3. 元の軌道とマスクされた軌道の間の有害性の変化が、生のクレジットを定義します。
4. このクレジットは正規化され、乗数（$m^+_{i,t}$）に変換されます。これにより、成功に不可欠な攻撃ターンと冗長なターンが区別されます。

B. 失敗側ターン認識型ペナルティ

失敗した軌道（$\tau_i \in S^-$）において、結果は既に安全であるため、セマンティックマスキングは効果的ではありません。代わりに、TRACE は成功する事前分布からの逸脱に基づいてペナルティを割り当てます：

1. 有害性ペナルティ：現在のプロンプトの有害性ラベルを、ターゲット固有の成功事前分布（$q_t$）と比較します。現在のフェーズにおいて典型的でないプロンプト（早期の unsafe プロンプトや有害性のドリフトなど）にペナルティを課します。
2. 関連性ペナルティ：現在のプロンプトと元の有害なシードとの間のセマンティック類似性を測定します。対話が元の意図から大きく逸脱したターンにペナルティを課します。
3. これらのペナルティは、成功する攻撃パターンと整合しないターンを減重する失敗側乗数（$m^-_{i,t}$）に統合されます。

C. 拒絶認識型局所プロセスペナルティ

学習信号をさらに洗練させるため、TRACE はターゲットモデルからの拒絶をトリガーするターンに対して局所ペナルティを導入します。このペナルティはフェーズ認識型であり、戦略の失敗を示す早期の拒絶に対してより強いペナルティを適用し、攻撃者がより迅速に適応することを促します。

防御への適合

著者らは、攻撃フェーズ中に抽出されたクレジット信号をマルチターン防御に転用できることを実証しました。「潜在的リスク」ターン（最終攻撃を支援する無害な中間ステップ）と「直接的危害」ターンを特定することで、TRACE はターンレベルの選好データを構築します。このデータは、直接選好最適化（DPO）を通じて防御者を適合させるために使用され、過剰な拒絶なしに早期のリスク介入を可能にします。

3. 主要な貢献

1. クレジット割当問題の特性評価：本論文は、マルチターン・ジェイルブレイクにおけるターンレベルの寄与が非均一、フェーズ依存、およびターゲット固有であることを実証的に示し、均一な軌道レベルの報酬という仮定を無効化しました。
2. TRACE フレームワーク：成功軌道には 1 ターン除外マスキングを、失敗軌道にはフェーズ認識型逸脱ペナルティを利用する、新規のクレジット割当メカニズム。
3. 防御への応用：攻撃側のクレジット信号を再利用して防御用のターンレベル選好データを構築する方法。潜在的リスクと直接的危害を区別することで、安全性と有用性のトレードオフを改善します。
4. 包括的評価：オープンソースおよびクローズドソースのターゲットにわたる広範な実験により、効果性、転移性、効率性の向上を実証しました。

4. 実験結果

著者らは、HarmBench、JailbreakBench、WildJailBreak などのベンチマークにおいて、TRACE を単一ターンベースライン（例：PAIR、AutoDAN）、マルチターンワークフロー手法（例：X-Teaming、Crescendo）、およびトレーニングベースの RL ベースライン（例：Siren、TROJail）と比較評価しました。

• 効果性：TRACE は全体的に最強のパフォーマンスを達成しました。最も強力な RL ベースライン（TROJail）と比較して、TRACE（mix）は攻撃成功率（ASR）で約 25% の相対的改善を達成し、TROJail の 69.97% に対して平均 ASR 87.10% に達しました。GPT-4o などのターゲットに対して、より小型の攻撃者モデル（Qwen2.5-3B）を使用しても、ワークフローベースの手法を大幅に上回りました。
• 転移性：単一ターゲットでのトレーニングはターゲット固有の方策をもたらしますが、2 つの強力な安全性ターゲット（gpt-oss-20b および Llama3.1-8B-IT）で共同トレーニングされた**TRACE（mix）**は、強力なクロスターゲット転移性を示しました。これにより、GPT-4o で 96.7%、Gemini-2.5-Pro で 93.1% という、未見のクローズドソースモデルにおける高い ASR を達成しました。
• 効率性：TRACE は、より少ないターン数とターゲット呼び出しで高い ASR を達成します。gpt-oss-20b に対しては 4 ターン以内に 80% 超の ASR に達しますが、ワークフローベースラインはより大きなターン制限でも依然として大幅に低い値にとどまります。
• 防御への適合：防御に使用された場合、TRACE ベースの適合は、SafeMT や MUSE-D などの先行手法よりもマルチターンおよび単一ターン攻撃の両方に対して ASR をより効果的に低減し、かつ高い汎用能力スコア（GPQA、GSM8K、MMLU）を維持しました。

5. 意義と主張

本論文は、TRACEがマルチターン敵対的攻撃の理解と実行において重要な進歩を表すと主張しています。粗い軌道レベルの教師信号から微細なターンレベルのクレジット割当へと移行することで、著者らは以下を論じています：

• 攻撃者は、より戦略的、より非冗長、より効率的なジェイルブレイク方策を学習できる。
• クレジット割当問題は現在の RL ベースのジェイルブレイクにおける主要なボトルネックであり、これを解決することで大幅な性能向上が得られる。
• 攻撃側クレジット割当から導出される信号は、モデルを破るためだけでなく、防御するためにも価値がある。潜在的リスクターンを特定することで、防御は対話のより早期に介入でき、明示的な有害な出力にのみ反応する手法と比較して、安全性と有用性（有益性）のより良いバランスを提供できる。

著者らは、この研究がマルチターン LLM 相互作用におけるターン認識型最適化の必要性を浮き彫りにし、強力なレッドチームツールであると同時に、より堅牢な防御メカニズムの基盤となるフレームワークを提供していると結論付けています。