技术摘要：通过反思增强型自蒸馏在稀疏成功但丰富反馈中学习

问题陈述

大语言模型（LLM）的后训练在通过环境交互实现持续改进方面面临关键瓶颈，特别是在稀疏奖励（sparse-reward）环境中。传统的强化学习（RL）方法（如 PPO 或 GRPO）依赖于 rollout 结束时的标量奖励。当成功轨迹极其罕见时，由于缺乏密集的监督来指导探索，这些方法难以通过策略引导实现自我提升。

虽然在线策略蒸馏（OPD）和自蒸馏（例如 SDPO）通过从“自教师”生成密集的、token 级别的监督提供了替代方案，但它们目前存在一个显著局限：它们将环境反馈视为被动的、静态的条件信号。现有方法严重依赖成功的演示来构建有效的监督分布。在成功 rollout 缺失（稀疏成功）的环境中，标准自蒸馏会退化，因为自教师无法有效地将原始失败信号转化为可操作的、纠正性的 token 级别指导。

方法论：反思增强型自蒸馏（RESD）

作者提出了反思增强型自蒸馏（RESD），这是一个旨在将原始失败反馈转化为主动纠正性监督来源的框架。RESD 在在线策略自蒸馏循环中运行，但通过两种主要机制丰富了教师的上下文：回溯性反思（Retrospective Reflection）和持久性实战手册（Persistent Playbook）。

1. 核心框架

RESD 维护一个学生策略 $\pi_\theta$ 和一个自教师策略 $\pi_{\theta_{old}}$。与仅将教师条件设定为当前轨迹和原始反馈的标准自蒸馏不同，RESD 将教师条件设定为丰富的上下文，包括：

• 当前轨迹和原始环境反馈。
• 局部反思：对当前失败的回溯性诊断。
• 全局实战手册：从过往失败中提炼出的可复用经验的持久记忆。
• 解决方案缓冲区：缓存的成功轨迹（当可用时）。

2. 关键组件

A. 对失败的回溯性反思

当 rollout 失败时，RESD 调用学生模型进入“诊断模式”以生成回溯性反思。

• 输入：失败轨迹 $(x, y)$、原始反馈 $c(x, y)$ 以及当前的实战手册 $P_t$。
• 输出：关于失败原因的自然语言解释 $r$，以及一组标签 $\{l_{t,j}\}$，指示现有的实战手册条目是有帮助的还是有害的。
• 功能：此步骤将最终反馈信号与特定的中间推理步骤联系起来，将诊断信号转化为教学信号。

B. 持久性实战手册整理

实战手册 $P_t$ 是一组编码可复用经验的自然语言条目。

• 整理：基于反思 $r$，整理模块生成新的、非冗余的条目以添加到实战手册中。
• 生命周期管理：条目会累积“有帮助”和“有害”标签的计数。在每次更新之前，执行精简（CONCISE）操作，剪除净有害（$d_j \ge h_j$）的条目，并在实战手册超出预算时驱逐最近最少被标记的条目。这确保了实战手册收敛于普遍有用的规则。

C. 交错上下文与策略更新

训练循环（算法 1）将上下文更新与策略优化交错进行：

1. Rollout：学生生成轨迹并接收反馈。
2. 上下文更新：
   • 如果 rollout 失败：生成反思，更新实战手册（添加新经验，剪除旧条目）。
   • 如果 rollout 成功：将解决方案缓存到缓冲区中。
3. 教师生成：教师模型通过 EMA（指数移动平均）同步，并基于丰富上下文（实战手册、反思、缓存的解决方案）进行条件设定，以生成特权分布。
4. 优化：学生最小化其输出与教师分布之间的 $f$-散度（具体为反向 KL 散度）。

主要贡献

1. 反馈形式的识别：作者指出，反馈的结构化表示是在线策略自蒸馏的关键设计维度，特别是在稀疏奖励环境中。他们证明，被动暴露于原始失败信号仅能带来边际改进。
2. RESD 框架：提出了一种通过回溯性反思和持久性实战手册丰富教师上下文的框架。这将原始反馈从被动信号转化为可复用的纠正性监督，使得即使在没有成功演示的情况下也能进行学习。
3. 样本效率：在在线流式协议下对反馈增强型自蒸馏进行了实证表征，表明结构化反馈能够实现从失败中进行样本高效的策略引导。
4. 模块化：将反思和实战手册机制定位为即插即用模块，可增强其他自蒸馏目标。

实验结果

作者在涵盖程序合成和物理推理的四个任务（MANUFACTORIA-HAS, BOUNCINGSIM-EASY/MEDIUM, FINER）上评估了 RESD，其中许多任务的初始成功率接近于零。

• 稀疏成功环境中的性能：RESD 显著优于标准自蒸馏基线（SDPO, SDPO+ss）。在 MANUFACTORIA-HAS 上，RESD 将每个任务的准确率从 SDPO+ss 的约 0.57% 提升至 35.80%（mean@4）和 65.91%（best@4）。
• 交互效率：与每个提示使用 8 次 rollout 的 GRPO 相比，RESD 仅使用每个提示单次 rollout 就能实现显著更快的早期阶段改进。
• 消融研究：移除反思组件导致了最大的性能下降，其次是实战手册和解决方案缓冲区。这证实了局部反思提供即时纠正，而实战手册保留了长期知识。
• 损失分析：RESD 表现出比基线更高的自蒸馏损失，表明教师提供的分布与学生当前行为的偏差更大，专门针对推理决策 token（例如"create"、"processes"）。

意义与主张

该论文声称，RESD 解决了在稀疏奖励环境中从失败中学习的根本挑战。通过将被动反馈暴露转变为主动反馈理解，RESD 使得自我改进的模型能够在不依赖成功演示的情况下有效地进行策略引导。

作者强调，虽然基于奖励的优化（如 GRPO）在拥有足够多的成功 rollout 后仍是一个互补工具，但 RESD 独特地适用于早期阶段、稀疏成功的环境，在此类环境中标准强化学习和自蒸馏会失效。这项工作表明，反馈的结构与反馈本身同样重要，为 LLM 实现更高效、更鲁棒的持续学习提供了一条途径。