技术摘要：并非所有回合都重要：多轮越狱中的信用分配

1. 问题陈述

大语言模型（LLM）在多轮对话中的部署引入了一项显著漏洞：对抗性攻击者可以将有害意图分散到多个看似无害的回合中，逐步积累上下文以绕过安全机制。尽管现有的基于训练的多轮越狱方法利用强化学习（RL）来学习长视野攻击策略，但它们存在一个根本性的信用分配问题。

当前基于 RL 的方法通常将单一轨迹级结果信号（例如，最终响应的成功或失败）均匀地广播给对话中的每一个回合。这种粗略的监督导致了两个关键问题：

1. 过度奖励冗余：在成功的轨迹中，对最终越狱贡献甚微的回合与关键回合获得相同的正向奖励，从而强化了冗余行为。
2. 低估有用中间步骤：在失败的轨迹中，那些具有战略意义但最终因其他因素而失败的回合收到统一的负向信号，而那些主动抑制攻击（安全关键）的回合并未与中性失败区分开来。

作者指出，回合级的贡献是非均匀的（只有少数回合驱动成功）、依赖阶段的（有效性取决于对话阶段）以及特定于目标的（安全边界因模型而异）。

2. 方法论：TRACE

为了解决这些局限性，作者提出了TRACE（TuRn-level Assignment for CrEdit，回合级信用分配），这是一个在组相对策略优化（GRPO）设置中，用回合感知的信用分配取代均匀轨迹级奖励的框架。

核心组件

TRACE 通过引入回合感知乘数（$m_{i,t}$）和局部过程惩罚（$\hat{A}^p_{i,t}$）来修改 GRPO 中的优势计算：
$$\hat{A}_{i,t} = m_{i,t} \hat{A}^o_i + \hat{A}^p_{i,t}$$

A. 成功侧信用分配（留一回合法）

对于成功轨迹（$\tau_i \in S^+$），TRACE 使用留一回合语义掩码来估计每个中间回合的贡献：

1. 对于每个非最终回合 $t$，从历史中移除交互对 $(x_t, y_t)$。
2. 在此掩码历史下重新采样最终目标响应。
3. 原始轨迹与掩码轨迹之间有害性的变化定义了原始信用。
4. 该信用被归一化并转换为乘数（$m^+_{i,t}$），以此区分攻击关键回合（对成功必不可少）与冗余回合。

B. 失败侧回合感知惩罚

对于失败轨迹（$\tau_i \in S^-$），由于结果本身已是安全的，语义掩码的效果较差。相反，TRACE 根据与成功先验的偏差分配惩罚：

1. 有害性惩罚：将当前提示的有害性标签与特定于目标的成功先验分布（$q_t$）进行比较。它惩罚那些在当前阶段不典型的提示（例如，过早的不安全提示或有害性漂移）。
2. 相关性惩罚：衡量当前提示与原始有害种子之间的语义相似度。它惩罚那些对话偏离原始意图过远的回合。
3. 这些惩罚被组合成一个失败侧乘数（$m^-_{i,t}$），用于降低与成功攻击模式不一致的回合的权重。

C. 拒绝感知局部过程惩罚

为了进一步细化学习信号，TRACE 针对触发目标模型拒绝的回合引入了局部惩罚。该惩罚具有阶段感知性，对表明策略失败的早期拒绝施加更强的惩罚，从而鼓励攻击者更快地适应。

防御对齐

作者证明，在攻击阶段提取的信用信号可以被重新用于多轮防御。通过识别“潜在风险”回合（支持最终攻击的良性中间步骤）和“直接危害”回合，TRACE 构建了回合级偏好数据。该数据用于通过直接偏好优化（DPO）对齐防御者，从而在不导致过度拒绝的情况下实现早期风险干预。

3. 主要贡献

1. 信用分配问题的表征：本文通过实证证明，多轮越狱中的回合级贡献是非均匀的、依赖阶段的且特定于目标的，从而否定了均匀轨迹级奖励的假设。
2. TRACE 框架：一种新颖的信用分配机制，利用留一回合掩码处理成功轨迹，并利用阶段感知偏差惩罚处理失败轨迹。
3. 防御应用：一种重用攻击侧信用信号以构建回合级偏好数据用于防御的方法，通过区分潜在风险与直接危害来改善安全与效用之间的权衡。
4. 全面评估：在开源和闭源目标上进行了广泛的实验，证明了其在有效性、迁移性和效率方面的提升。

4. 实验结果

作者在 HarmBench、JailbreakBench 和 WildJailBreak 等基准测试上，将 TRACE 与单轮基线（如 PAIR、AutoDAN）、多轮工作流方法（如 X-Teaming、Crescendo）以及基于训练的 RL 基线（如 Siren、TROJail）进行了评估。

• 有效性：TRACE 实现了最强的整体性能。与最强的 RL 基线（TROJail）相比，TRACE (mix) 在攻击成功率（ASR）上实现了约 25% 的相对提升，平均 ASR 达到 87.10%，而 TROJail 为 69.97%。即使使用较小的攻击者模型（Qwen2.5-3B）对抗 GPT-4o 等目标，其表现也显著优于基于工作流的方法。
• 迁移性：虽然单目标训练会导致特定于目标的策略，但TRACE (mix)（在两个强安全目标 gpt-oss-20b 和 Llama3.1-8B-IT 上联合训练）表现出强大的跨目标迁移能力。它在未见过的闭源模型上实现了高 ASR，包括在 GPT-4o 上达到 96.7%，在 Gemini-2.5-Pro 上达到 93.1%。
• 效率：TRACE 以较少的回合数和目标调用实现了高 ASR。它在四回合内就在 gpt-oss-20b 上达到了超过 80% 的 ASR，而工作流基线即使使用更大的回合限制，其表现仍然显著较低。
• 防御对齐：当用于防御时，基于 TRACE 的对齐比先前的方法（SafeMT、MUSE-D）更有效地降低了多轮和单轮攻击的 ASR，同时保持了更高的通用能力分数（GPQA、GSM8K、MMLU）。

5. 意义与主张

本文主张，TRACE代表了在多轮对抗性攻击的理解和执行方面的重大进步。通过将监督从粗略的轨迹级转变为细粒度的回合级信用分配，作者认为：

• 攻击者可以学习到更具战略性、更少冗余且更高效的越狱策略。
• 信用分配问题是当前基于 RL 的越狱的主要瓶颈，解决它能带来显著的性能提升。
• 从攻击侧信用分配中得出的信号不仅对破解模型有价值，而且对防御模型同样重要。通过识别潜在风险回合，防御者可以在对话中更早地介入，与仅对显式有害输出做出反应的方法相比，提供了更好的安全与效用（帮助性）平衡。

作者总结道，他们的工作强调了在多轮 LLM 交互中进行回合感知优化的必要性，并提供了一个框架，该框架既是强大的红队工具，也是构建更鲁棒防御机制的基础。