🤖 machine learning

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

本文引入了一个噪声专家模型，从理论上解释了为什么在语言模型训练中，在线策略蒸馏（on-policy distillation）通常优于离线行为克隆（offline behavior cloning），并证明了在特定噪声条件下，虽然从离线噪声轨迹中学习会产生指数级的样本复杂度，但与噪声专家进行在线交互可以实现对步长（horizon）的多项式依赖。

原作者： Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察一位“大师”如何操作，来学习一项复杂的技能，比如解一道难题或写一篇长篇故事。在人工智能的世界里，这被称为模仿学习（Imitation Learning）。通常，我们假设这位大师是完美的。但在现实中，即使是最优秀的老师也会犯错、会疲劳，或者有时会判断失误。

这篇论文提出了一个简单但深刻的问题：如果你的老师是有噪声的（会犯错），那么仅仅观看他们大量的旧视频（离线学习/Offline）更好，还是在练习的同时向他们请教，并在遇到困难时寻求帮助（在线学习/Online）更好？

以下是使用日常类比对研究结果进行的详细解读。

1. 问题所在：“有噪声”的老师

想象一下你正在学习如何烤出一个完美的蛋糕。

完美的专家： 一位从不出错的烘焙大师。如果你观看他们的视频，你会学得非常完美。
有噪声的专家： 一位 90% 完美的大师，但偶尔会把盐当成糖，或者忘了加某种配料。这就是现实中 AI 模型（如大语言模型）的情况；“老师”模型并不完美，人类的数据也往往存在拼写错误或误差。

2. 离线方法：“只看视频”（行为克隆/Behavioral Cloning）

这就像是坐在沙发上，观看 1000 段有噪声烘焙师的视频，并试图记住每一个步骤。

论文的发现： 如果任务很短（比如烤一块饼干），看视频没问题。但如果任务很长（比如烤一个 10 层的婚礼蛋糕），这种方法会彻底失败。
类比： 想象烘焙师在第 1 步犯了一个微小的错误。在第 2 步，你复制了这个错误。在第 3 步，你复制了第 2 步带来的错误，错误由此累积。到了第 10 层时，你的蛋糕已经变成了一场灾难。
数学原理： 论文证明，如果仅通过观看视频来从一个有噪声的老师那里学习长任务，你需要指数级巨大数量的视频。这就像是通过观看一段每走 5 步就会踉跄一下的舞蹈视频来学习一段 100 步的舞步；你需要数百万个视频才能理清正确的动作。论文称之为“在根本上是难以处理的（fundamentally intractable）”。

3. 在线方法：“与老师一起练习”（策略内蒸馏/On-Policy Distillation）

这就像老师就站在厨房里的你身边。你开始烘焙，当你准备添加某种配料时，你会问：“你觉得我该怎么做？”老师（尽管仍有点有噪声）会给你一个答案。你照着做，然后继续进行。

论文的发现： 这种方法是一个游戏规则的改变者。即使老师会犯错，你也能用可控且合理的交互次数来完成长任务。
类比： 因为你在需要帮助的那一刻才寻求帮助，所以你不会让微小的错误堆积成灾难。如果老师给出了一个奇怪的答案，你可以立即纠正它，因为你仍然处于“厨房”中（即当前任务的状态）。
核心秘诀： 论文建议了一种特定的做法。不要只是盲目地复制老师的答案，你应该模拟你自己的路径（你会如何行动），然后请求老师对你特定的选择进行评分。这被称为策略内蒸馏（On-Policy Distillation）。

4. “神奇”的损失函数 (NAIL)

作者不仅提出了要进行“在线学习”，他们还发明了一个特定的食谱（一种名为 NAIL 的算法）和一种衡量成功的方法。

类比： 想象你在玩电子游戏。
- 旧方法（离线）： 你看主播玩游戏。他们犯了个错，你也跟着犯了，然后你输了。
- 新方法 (NAIL)： 你亲自玩关卡。当你卡住时，你暂停游戏并问主播：“如果我现在处于这个位置，你会怎么做？”主播回答了。然后你就在此时此刻将你的动作与他们的动作进行对比。
结果： 论文表明，这种特定的“询问并对比”的方法，让你能够从有噪声的老师那里学习长而复杂的任务，而不需要数百万个示例。它将一个不可能解决的问题变成了一个可以解决的问题。

5. 现实世界的证明（实验）

作者在两项任务上测试了这一点：

数学谜题： 一个计算机需要在循环中进行加法的合成任务。
GSM-8K： 一个真实的 AI 数学推理基准测试。

实验结果：

当老师是完美的时候，观看视频和一起练习效果都很好。
当老师有噪声（会犯错）时：
- “观看视频”的方法（离线学习）完全失败了。AI 无法学会。
- “一起练习”的方法（在线学习/NAIL）表现完美，即使面对有噪声的老师也能成功。

总结

论文指出，当老师不完美且任务很长时，仅仅靠行为克隆（只看视频）是不够的。

离线学习（观看）： 会失败，因为微小的错误会在长任务中成倍放大，演变成巨大的灾难。要解决这个问题，你需要一个不可能实现的庞大数据量。
在线学习（练习）： 会成功，因为你可以实时纠正错误。只要你以正确的方式（使用文中描述的特定“策略内”方法）寻求帮助，它就能将一个“有噪声”的老师变成一个可靠的向导。

简而言之：如果你的老师是人类（或略有瑕疵的 AI），不要只看他们以前做的作业。去坐在他们身边，一起动手做，并在过程中随时寻求指正。这是掌握长而复杂任务的唯一途径。

技术总结：行为克隆并不足够

问题陈述

本文探讨了模仿学习（Imitation Learning, IL）中的一个核心谜题：虽然理论结果表明，在干净专家设置下，像行为克隆（Behavioral Cloning, BC）这样的离线方法可以实现无视时界（horizon-free）的最优性能，但在现代应用中（特别是通过在策略蒸馏（On-Policy Distillation, OPD）进行的大语言模型训练），实证证据一致显示在线方法优于离线方法。

作者提出了一个**噪声专家模型（noisy expert model）**来解释这一差异。在这种设定下，学习者无法获得完美的专家策略 $\pi^\star$ ，而只能获得一个受损的版本 $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$ ，其中 $\eta$ 是噪声水平， $\nu$ 是噪声分布。学习者的目标是学习一个策略 $\hat{\pi}$ ，使其能够与“干净”专家 $\pi^\star$ 的预期奖励相竞争，尽管学习者仅能接触到由噪声专家生成的轨迹。该模型捕捉了现实世界的场景，例如在不完美的文本上训练语言模型、从未完全收敛的大型教师模型中进行蒸馏，或者在专家具有随机性的推理任务中。

方法论与理论框架

作者在噪声专家假设下，利用 Hellinger 距离作为遗憾（regret）的代理指标，分析了离线和在线模仿学习设置。

1. 离线模仿学习（硬度结果）

在离线设置中，学习者获得来自 $\pi^\star_\eta$ 的 $n$ 条固定轨迹数据集。

分析： 作者表明，要恢复接近干净专家 $\pi^\star$ 的策略，必须反转噪声。他们推导了一个关系式，将干净轨迹的 Hellinger 距离 $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ 与噪声轨迹的 Hellinger 距离 $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$ 联系起来。
关键发现： 在没有额外假设的情况下，为了与干净专家竞争，所需的样本复杂度随时界 $H$ 呈指数级增长（具体而言，规模为 $(1-\eta)^{-H}$ ）。即使存在“支配条件”（即噪声分布被策略类所支配），如果噪声相对于 $1/H$ 不可忽略，其对 $H$ 的依赖性仍然是指数级的。
下界： 作者证明这种指数依赖性是基础性的。他们构建了一个反例，表明任何离线算法都需要指数级于 $H$ 的样本复杂度才能达到常数误差，这使得离线模仿学习在长时界噪声设置下在根本上是不可行的。

2. 在线模仿学习（解决方案）

在在线设置中，学习者可以与环境交互，展开其当前策略，并在访问的状态处查询噪声专家的动作。

增强轨迹（Augmented Trajectories）： 作者引入了增强轨迹分布 $P_{\pi, \pi'}$ 的概念，其中学习者展开策略 $\pi$ ，但在每个状态处查询专家 $\pi'$ 的动作。这使得学习者能够将自己的轨迹分布与专家在相同状态下的行为进行比较。
理论保证： 他们证明，学习策略的次优性可以由学习者与噪声专家之间的增强轨迹分布的 Hellinger 距离（或 KL 散度）来界定。至关重要的是，在 $\kappa$ -支配条件（即噪声分布被专家和学习者策略所支配）下，该界限是**无视时界（horizon-free）**的。即使没有该条件，对时界的依赖也仅为多项式级（ $\sqrt{H}$ ），这与离线情况下的指数依赖形成了鲜明对比。
算法 (NAIL)： 作者提出了 NAIL（用于模仿学习的噪声鲁棒聚合）。与学习逐步策略的标准 DAgger 不同，NAIL 使用对增强轨迹负对数似然的指数权重在轨迹层面聚合策略。
- 已知污染： NAIL 实现的遗憾界限规模为 $H \sqrt{\log|\Pi|/n}$ 。
- 未知污染（确定性专家）： 对于专家是确定性且噪声是“平滑”的（在任何动作上的概率质量有界）的情况，作者提出了 NAILGUN。该算法在不需要知道噪声水平 $\eta$ 或分布 $\nu$ 的情况下，实现了无视时界的遗憾界限 $\log|\Pi|/n$ 。

核心贡献

理论分离： 本文确立了噪声专家存在下，离线与在线模仿学习之间的明确分离。它证明了离线学习在本质上是困难的（关于时界呈指数级），而在线学习可以实现无视时界或多项式时界的保证。
噪声专家模型： 引入通用的噪声专家模型 ( $\pi^\star_\eta$ )，解释了在训练语言模型时，即便教师和学生架构相同（排除了仅由模型失配引起的原因），OPD 优于监督微调（SFT）的现象。
增强轨迹分析： 推导了将干净专家的性能与增强轨迹分布（ $P_{\hat{\pi}, \pi^\star_\eta}$ vs $P_{\hat{\pi}, \hat{\pi}_\eta}$ ）之间的散度联系起来的界限，为在策略蒸馏目标提供了理论依据。
算法与界限：
- NAIL： 一种针对已知污染设置、具有近乎最优样本复杂度的算法。
- NAILGUN： 一种针对未知污染设置（确定性专家）的算法，可实现无视时界的保证。
- 下界： 匹配的下界证明了所提算法在常数因子范围内是最优的。

实验结果

作者在两个任务上验证了其理论：

模加法（合成任务）： 一个需要通过思维链计算模 7 加法的任务。
- 干净专家： 离线 BC (SFT) 表现最好，符合理论预期。
- 噪声专家： 离线 BC 和标准 OPD 均无法学习。提出的 NAIL 变体（最小化增强轨迹上的前向/后向 KL 散度）实现了完美的准确率。
GSM-8K（自然语言）： 使用 Gemma 模型进行的数学推理基准测试。
- 干净专家： 在线方法优于离线 BC。
- 噪声专家： 仅 NAIL 变体保持有效，实现了非平凡的准确率，而标准 OPD 和 SFT 则完全失败（准确率为 0%）。

这些结果证实，从理论分析中得出的损失函数（特别是涉及增强轨迹的损失函数）比标准的监督学习目标对噪声专家反馈更具鲁棒性。

重要性与主张

本文声称为为什么在利用不完美教师训练语言模型时，在策略蒸馏（OPD）优于标准监督微调（SFT）提供了理论基础。

解释经验现象： 它通过展示当“干净”专家的假设在实践中被违反时（由于人类数据或不完美教师模型的噪声），在线交互不仅是有益的，而且是避免指数级样本复杂度的必要条件，从而解决了模仿学习中的“理论与实践”差距。
原则性的损失函数： 该分析导出了另一种损失函数（最小化增强轨迹上的散度），这种函数在语言模型训练中经常被经验性地使用，但此前缺乏严谨的证明。本文提供了这种证明。
局限性： 作者对其主张持谨慎态度，指出其结果依赖于有限策略类、理想化的污染模型以及特定的假设（例如针对未知污染情况的确定性专家）。他们承认，将这些结果直接转化为实践需要对更复杂的噪声模型和扩展实验进行进一步研究。

总之，本文认为，当专家存在噪声时，行为克隆并不足够；相反，在策略蒸馏在从噪声数据中恢复干净专家行为的长时界任务中是理论最优的。