🤖 machine learning

Latent On-Policy Self-Distillation

本文介绍了潜在在策略自我蒸馏（Latent On-Policy Self-Distillation, LOPD），这是一种新颖的框架，它通过使用从检索经验中获取的可学习潜在标记来取代手工设计的特权人工制品，从而使智能体能够在工具使用和代码生成等自我演进任务中实现卓越的性能和数据效率。

原作者： Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩一款复杂的电子游戏。在过去，你必须坐在那里，手动为每一关编写一份完美的“指南”，精确地告诉机器人该按哪些按钮。但如果机器人可以通过自己玩游戏、观看自己的回放，并弄清楚哪些操作奏效了，从而实现自我学习呢？这就是**在策略自我蒸馏（On-Policy Self-Distillation）*这一领域的核心。把它想象成机器人在扮演自己的老师。它进行一轮游戏（即“学生”），然后一个更聪明的版本（即“老师”）观看回放并说：“嘿，你在这里犹豫了；试着这样做。”神奇之处在于，老师会对学生做的每一个动作*都给出极其详细的反馈，而不仅仅是在最后告诉它赢了还是输了。

然而，这其中有一个难点。要成为一名好老师，机器人需要一个“特权”向导——类似于一个完美的解决方案或某种秘密策略——而这个学生目前还没有掌握。通常，人类必须手工编写这些向导，用纯文本或特定的规则将其写出来。但如果机器人可以自动学习创建自己的向导，从过去的冒险中提取最有用的部分，并将其转化为一种只有老师才能理解的秘密语言呢？这正是本文探讨的大问题：我们能否停止由人类编写规则，让 AI 学习如何将自己的经验总结成一份完美的、隐形的指南？

论文：潜在在策略自我蒸馏 (Latent On-Policy Self-Distillation, LOPD)

本文介绍了一种名为潜在在策略自我蒸馏 (LOPD) 的新方法。与其要求人类设计者为机器人的老师编写特定的“指南”（例如文本答案或特定的技能描述），LOPD 教会机器人学习它自己的指南。

以下是其工作原理，使用了一个有趣的类比：

想象一个试图解决迷宫的学生机器人。它撞到了墙，转身，最终找到了出口。

旧方法： 人类会观察迷宫并写下一张便条说：“在红门处左转。”老师机器人会阅读这张便条并告诉学生：“你应该在那个时候左转。”但这张便条是僵化的。如果迷宫发生轻微变化，这张便条可能就没用了。
LOPD 方法： 机器人不使用书面便条。相反，它拥有一个“记忆合成器（Memory Composer）”。这个合成器观察机器人通过类似迷宫的过往成功尝试。它抓取最重要的时刻，并将它们压缩成一段微小的、隐形的“秘密代码”（称为潜在标记/latent tokens）。这段代码就像是一个压缩的高科技低语，只有老师机器人能听到。

老师机器人在观察学生机器人玩游戏时会倾听这个秘密低语。因为老师拥有这段秘密代码，它确切知道学生在每一步本该做什么。随后它会教导学生：“不要只是猜测；这是你应该遵循的密集且详细的路径。”

最酷的部分是什么？机器人在学习如何玩游戏的同时，也在学习如何编写这段秘密代码。它会弄清楚过去的冒险中哪些部分是有用的，哪些只是噪音。这就像机器人正在学习用一种它自己发明的语言来做笔记，而不是被迫阅读人类编写的教科书。

研究发现

研究人员在两类截然不同的任务上对其进行了测试：

智能工具使用 (Agentic Tool Use)： 给机器人一套工具（如计算器、搜索引擎或数据库），并要求它解决多步骤问题，例如预订机票或管理日程。
代码生成 (Code Generation)： 要求机器人编写可运行的计算机程序。

他们将 LOPD 与其他需要人类手工构建“指南”（例如给老师提供完美的文本答案或特定的技能摘要）的方法进行了对比。

结果如下：

性能更佳： LOPD 始终优于其他方法。在工具使用测试中，它的表现显著提升。例如，在一次名为 EnvScaler 的测试中，它在较小模型上的得分从 61.8 提升到了 63.7，在较大模型上则从 60.2 提升到了 66.4。在编程测试中，它也名列前茅，击败了表现最好的基于人工设计的方案。
超高效率： 机器人的学习速度更快。论文指出，LOPD 取得这些成果所使用的“展开预算（rollout budget）”（即练习游戏的次数）不到 30%，而像 GRPO 和 Skill-SD 这样的顶尖方法则需要更多的预算。这就像是在只学习了三小时后就拿到了数学 A+，而你的朋友们却学习了十个小时。
“秘诀”是可学习的： 论文证明了这段秘密代码（潜在上下文）必须是可学习的。当他们尝试使用一个冻结的、不可更改的版本时，机器人的学习效果并不理想。但当他们允许机器人自行调整这段代码时，效果非常完美。

他们排除了什么

论文明确反对了这样一种观点，即我们需要不断发明越来越多、越来越复杂的、由人类编写的“指南”（如特定的推理轨迹、完美答案或僵化的技能描述）来让机器人变得更聪明。他们表明，这些手工制作的笔记往往会失败，因为它们太僵化了；在一种情况下有帮助的笔记，在另一种情况下可能会让机器人感到困惑。LOPD 表明，未来的最佳途径是让机器人自己去弄清楚该记住什么以及如何进行压缩，而不是强迫它阅读一本预先写好的手册。

他们的结论有多可靠？

作者对这些发现非常有信心，因为他们在三种不同的机器人模型（Qwen3-4B, Qwen3-8B, 和 Olmo3-7B）以及七个基准测试中进行了测试。结果并非偶然；它们表现出了持续的一致性。他们还进行了专门的实验，以证明成功的真正原因是代码的“学习”部分，而非仅仅依靠额外的计算能力。虽然他们并未声称已经解开了 AI 进化的全部奥秘，但数据有力地表明，让 AI 学习自己的“特权上下文”是让智能体实现持续自我改进的一个巨大进步。

技术摘要：潜在在策略自我蒸馏 (Latent On-Policy Self-Distillation, LOPD)

1. 问题陈述

本文旨在解决如何使 AI 智能体能够从经验中学习并将其内化到其策略中，从而实现自我演进的挑战。虽然在策略自我蒸馏 (On-Policy Self-Distillation, OPSD) 提供了一条充满希望的路径——通过一个“特权”自我教师为学生的自身轨迹提供稠密监督——但现有方法存在一个根本性的局限：它们过度依赖于由设计者指定的特权人工制品（例如固定的答案、推理痕迹、技能或检索到的轨迹）。

这些手工构建的上下文将系统限制在设计者所选定的特定信息格式中。它们无法让教师学习哪些过往经验的维度对于监督当前的训练轨迹实际上是有用的，也无法根据特定任务或学习状态来调整经验的表示形式。本文认为，为了实现 AI 的自我演进规模化，经验的有用内容及其表示形式都不应由人类启发式规则所固定。

研究问题： 特权上下文本身是否可以从经验中进行端到端的学习，从而允许自我教师决定保留哪些经验性知识，以及如何对其进行编码，以实现稠密的在策略监督？

2. 方法论：潜在在策略自我蒸馏 (LOPD)

LOPD 将特权上下文重新定义为不再是预定义的文本人工制品，而是一个可学习的潜在基质 (learnable latent substrate)。该框架通过以下组件运行：

A. 可学习的潜在特权上下文

与向教师输入固定的文本人工制品不同，LOPD 从检索到的经验中构建一个连续且可微的上下文：

经验检索： 一个离线经验库存储了成功的展开过程（任务描述 + 紧凑的动作-结果轨迹）。对于当前任务，一个稠密检索器会提取前 $J$ 个相关的轨迹。
潜在组合器 (Latent Composer)： 一个可学习的模块 ( $\Phi_\phi$ $Φ_{ϕ}$ ) 将这些检索到的轨迹转化为一组紧凑的连续潜在标记 (latent tokens)。
- 编码器： 一个由可训练 LoRA 参数增强的冻结骨干网络，将任务-经验对编码为隐藏状态。
- 压缩器： 一个带有学习查询 (learned queries) 的 QFormer 式模块，将这些变长的状态压缩为每个经验固定数量 ( $K$ ) 的连续潜在标记。
- 上下文构建： 这些标记被拼接在一起形成特权上下文 $c_\phi$ ，并作为特殊标记注入到教师的输入窗口中。

B. 在策略自我蒸馏过程

训练循环遵循标准的 OPSD，但使用了可学习的上下文：

学生展开： 学生策略 ( $\pi_S$ ) 仅基于任务和交互历史生成一条轨迹（没有特权上下文）。
教师评估： 一个从相同骨干网络初始化的冻结教师模型 ( $\pi_T$ )，会对学生轨迹中访问过的相同前缀进行重新评估。至关重要的是，教师是以学习到的潜在上下文 $c_\phi$ （源自检索到的经验）为条件的。
蒸馏目标： 学生通过对前 $M$ 个 logits 以及尾部桶 (tail bucket) 进行逆向 KL 散度 (reverse KL divergence) 优化，以匹配教师的标记级分布。这鼓励学生专注于受教师丰富上下文支持的行为。

C. 特权边际约束 (Privileged-Margin Constraint)

为了防止出现教师仅仅是在模仿学生，从而导致潜在上下文失去信息量的“崩溃”现象，LOPD 引入了特用边际目标：

结果对齐： 系统将教师的标记级优势 (advantage) 与轨迹经过验证的结果相联系。
约束： 一个对偶变量 $\beta$ 强制执行一个边际 $m$ ，使得在成功的轨迹上，教师相对于学生的对数概率优势必须超过某一阈值。
效果： 这确保了学习到的上下文保持信息量并提供可验证的优势，从而引导组合器去寻找支持成功行为的证据，而非平庸的解。

D. 推理

训练完成后，仅保留学生策略。经验库、检索器、组合器和潜在上下文均被丢弃。学生已经内化了这些指导，在部署期间无需外部数据库或特权输入。

3. 核心贡献

上下文重构： 本文将特权上下文的范式从预定义的、手工设计的文本人工制品转变为端到端可学习的潜在基质。这使得教师能够自动从原始轨迹中提取任务相关的监督信号。
提出的解决方案 (LOPD)： 一个共同优化特权上下文（通过组合器）和学生策略的框架。它包含一个特权边际约束，以确保学习到的上下文保持信息量，并防止教师向学生发生崩溃。
实验验证： LOPD 在性能和效率上均优于现有方法。

4. 实验结果

作者在三个模型骨干网络（Qwen3-4B, Qwen3-8B, Olmo3-7B）和涵盖智能体工具使用（EnvScaler, BFCL-v3, ACEBench）及代码生成（LiveCodeBench, EvalPlus）的七个基准测试中评估了 LOPD。

性能： LOPD 在所有十组“骨干-基准”对比中均取得了最佳的综合结果。
- 在 EnvScaler 上使用 Qwen3-8B 时，LOPD 达到了 66.4，超过了最强的基线（Skill-SD 为 60.2）。
- 在 ACEBench 上，LOPD 达到了 62.7，显著击败了 OPSD (52.7) 和 SDPO (52.0)。
- 在代码生成方面，LOPD 提高了 LiveCodeBench 和 EvalPlus 上的 pass@1 分数，持续优于 GRPO 和 Skill-SD 等基线。
样本效率： LOPD 使用不到 30% 的展开预算就超越了 GRPO 和 Skill-SD，并在训练早期就达到了强大的性能（例如，在 320 次生成后平均奖励超过 0.61，而基线则是逐渐提升）。
消融实验：
- 联合优化： 学习上下文是必要的；使用冻结的组合器或移除边际约束会导致性能下降，证实了收益来自于学习表示，而非仅仅是增加参数。
  দেখে 可学习 vs. 固定： 固定上下文的方法（如 SDPO 或 OPSD）有时甚至比原始模型表现更差，而 LOPD 则始终优于原始基线，证明了可学习的表示能更好地适应不同的任务和学习状态。
- 行为内化： 分析显示，即使在无法访问潜在上下文的情况下，LOPD 学生也采用了更多的序列规划行为（每步工具调用次数更少，首步响应更短），证明了指导已被内化。

5. 意义与主张

本文声称 LOPD 代表了迈向更具规模化且自主驱动的智能体演进范式的一步。

设计原则： 核心主张是，经验的表示应当针对其旨在改进的策略进行端到端优化，而不是依赖于一系列日益复杂、由人类编写的经验格式。
规模化： 通过使“特权上下文”变得可学习，该系统避免了为每个新领域或任务类型手工构建人工制品的瓶颈。
内化： 该方法成功地将原始轨迹转化为可学习的监督基质，允许智能体发现什么证据值得保留以及如何对其进行编码，使经验学习真正实现了端到端。

作者强调，虽然单纯的检索是不够的，且不受约束的优化可能导致崩溃，但潜在组合与特权边际约束的结合，实现了能够持久存在的生产性监督。