技术摘要：PCSD —— 用于智能体强化学习中的持续一致性自我蒸馏

问题陈述

大型语言模型（LLM）智能体在复杂的、多轮交互式任务中面临着由于**奖励稀疏性（reward sparsity）**导致的重大挑战。在诸如 ALFWorld 或 WebShop 之类的环境中，一个轨迹可能跨越数十轮和数百个 token，但仅在结束时接收到一个标量结果信号（成功或失败）。这种延迟反馈使得信用分配（credit assignment）变得极其困难——即难以确定哪些特定的中间动作或 token 对最终结果做出了贡献。

虽然**在策略自我蒸馏（On-Policy Self-Distillation, OPSD）**通过使用一个特权教师（一个经过技能增强的冻结学生副本）来提供密集的 token 级监督，从而提供了解决方案，但它引入了一个新的可靠性问题。教师的指导并非在所有情况下都同样值得信赖；诸如检索不完善、上下文噪声或任务歧义等因素，可能导致教师在特定位置偏向次优的 token。现有的感知可信度蒸馏方法难以平衡两个极端：

1. Token 级方法： 依赖于单个位置的孤立差异，这使得它们对采样噪声和瞬态波动非常敏感。
2. 步骤级方法： 在整个推理步骤上聚合信号，为所有 token 分配一个共享权重。这提高了鲁棒性，但模糊了教师可靠性的关键位置变化。

方法论：PCSD

作者提出了**持续一致性自我蒸馏（Persistent Consistency Self-Distillation, PCSD）框架，该框架通过评估教师信号的局部持续性（local persistence）**来估计教师的可信度。其核心洞察在于：有信息的教师优势应当在局部邻域内持续存在，而孤立的峰值很可能反映的是噪声。PCSD 通过三个互补机制生成连续的 token 级蒸馏权重 ($w_{k,i}$):

1. 持续一致性评估

PCSD 不仅仅依赖于教师与学生之间单一位置的对数概率差距（$\delta_{k,i}$），而是利用**指数衰减（exponential decay）**在一个前瞻窗口内聚合这些差距。这为靠近当前 token 的位置分配了更高的重要性，同时结合了来自紧邻局部区域的证据，从而创建了一个“持续一致性估计”（$\bar{\delta}^{(N)}_{k,i}$）。

2. 自适应聚合机制

考虑到响应过程中的差距模式各不相同，PCSD 采用了软自适应窗口策略。它计算最大分析窗口 ($N_{max}$) 内差距序列的局部方差。

• 低方差： 如果局部差距保持稳定，该机制倾向于使用短窗口估计，以保留细粒度的位置分辨率。
• 高方差： 如果局部差距存在噪声，它会转向长窗口估计，以提供更强的平滑效果。
  这产生了一个自适应估计值 ($\bar{\delta}^{adaptive}_{k,i}$)，能够动态地在精度与鲁棒性之间取得平衡，而无需进行离散的窗口切换。

3. 趋势调制与连续门控

为了防止瞬态信号占据主导地位，PCSD 应用了单侧趋势调制（one-sided trend modulation）。它计算差距序列的局部斜率；如果教师的支持度正在下降（负斜率），则会削减权重。这结合了Sigmoid 门控函数，将自适应估计映射为有界的权重 ($w_{k,i}$)。

• 趋势因子 ($\eta_{k,i}$)： 减少对支持度下降信号的依赖。
• Sigmoid 门控： 将可信度估计转化为平滑、连续的权重。

训练目标

最终的目标函数结合了使用稀疏轨迹级奖励的标准 GRPO（组相对策略优化）损失与 PCSD 蒸馏损失：
$$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda_{PCSD} \mathcal{L}_{PCSD}$$
其中 $\mathcal{L}_{PCSD}$ 是一个加权负对数似然，旨在鼓励学生仅在检测到持续、稳定的支持时才与教师对齐。

核心贡献

1. PCSD 框架： 一种 token 级的在策略自我蒸馏方法，通过估计教师信号的局部持续性来评估教师可信度，有效地结合了细粒度判别能力与噪声鲁棒性。
2. 自适应聚合： 一种根据局部差距统计数据调整有效窗口大小的机制，并利用指数衰减来保留位置局部性。
3. 趋势感知调制： 引入了单侧趋势调制和连续 Sigmoid 门控，以过滤掉下降或不稳定的教师支持。
4. 实证验证： 通过广泛的实验证明，在不同模型规模和任务下，PCSD 的表现均优于仅基于结果的 GRPO 以及现有的加权方案（如 RLSD 和 SDAR）。

实验结果

作者在 ALFWorld（文本驱动的具身智能）和 WebShop（电子商务导航）上评估了 PCSD，并使用了 Qwen2.5-3B-Instruct 和 Qwen3-1.7B-Instruct 作为骨干网络。

• ALFWorld 表现： PCSD 在所有基线模型中取得了最高的总体成功率。
  • 使用 Qwen2.5-3B 时：90.6%（超过 GRPO 15.6 个百分点，超过 SDAR 6.2 个百分点）。
  • 使用 Qwen3-1.7B 时：59.4%（超过 GRPO 13.3 个百分点，超过 SDAR 5.5 个百分点）。
  • 在 Heat、Cool 和 Pick2 等子任务中观察到了显著的提升。
• WebShop 表现： 使用 Qwen2.5-3B 时，PCSD 取得了最高分（85.0）；在两种骨干网络上，其准确率（67.2%）与 SDAR 并列最高。
• 泛化能力： 在 ALFWorld 的未见测试集上，PCSD 保持了稳健的表现（成功率 86.7%），显著优于 GRPO (70.9%) 和 SDAR (72.7%)。
• 消融实验： 移除自适应聚合、趋势调制或指数衰减都会导致性能下降，验证了每个组件的必要性。研究发现蒸馏系数 $\lambda_{PCSD}$ 具有非单调性，当其为 0.01 时达到最优结果。

重要性与主张

本文声称，持续一致性（Persistent Consistency）是实现有效的智能体强化学习自我蒸馏的关键因素。通过超越孤立的 token 差异或粗粒度的步骤级平均，PCSD 成功识别了哪些教师信号是值得信赖的。作者强调，该方法在不需要推理时技能检索的情况下实现了这些结果，完全依赖于训练后的学生策略利用持续教师引导的能力。

这项工作解决了 token 级精度与基于聚合的鲁棒性之间的基本权衡，提供了一种使密集教师指导能够有效补充稀疏环境反馈的解决方案。作者指出，虽然目前的方法使用固定超参数来隔离权重机制的效果，但未来的工作可以探索如何从轨迹统计数据和教师不确定性中动态学习这些参数。