🤖 machine learning

When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

本文挑战了认为误差累积驱动在线模仿学习成功的传统观点，转而证明其相对于离线方法的优势主要取决于不可实现性，即在误设设置中，在线交互克服了即使在步长为一的情况下离线方法也无法解决的信息论瓶颈。

原作者： Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对这篇论文的通俗化解释与创意类比。

核心问题：什么时候“边做边学”会胜过“看书学习”？

想象你正在试图教一名学生（AI 模型）如何解决复杂的数学题。你有两种方法可以做到这一点：

教科书模式（离线学习/Offline Learning）： 你给学生一叠由天才老师编写的静态标准答案。学生阅读这些答案并尝试记忆其中的模式。这被称为监督微调（SFT）。
辅导模式（在线学习/Online Learning）： 学生尝试解决一个问题，然后天才老师观察学生具体的尝试过程，并说：“这是这个步骤正确的概率，”或者“试试这个方案。”学生通过与老师进行实时交互来进行学习。这被称为在线模仿学习（或在策略蒸馏/on-policy distillation）。

在现实世界中，“辅导模式”通常比“教科书模式”效果更好。但为什么呢？

长期以来，人们认为答案是**“误差累积”（Error Accumulation）**。

旧理论： 如果学生在长篇数学题的第一步犯了一个小错，他们在第二、三、四步中可能会迷失方向。教科书模式无法及早发现这些微小的失误，因此错误会像滚下山坡的雪球一样不断堆积。而导师能在第一时间捕捉到这些错误。

但这篇论文说：“这并不是故事的全貌。”
作者认为，在线学习之所以胜出，真正的理由是完全不同的：“尺寸不匹配”（Non-Realizability/不可实现性）。

核心发现：“小背包”问题

论文引入了一个概念叫做可实现性（Realizability）。

可实现（Realizable）： 学生和老师一样聪明（或拥有相同的“大脑容量”）。学生可以完美地复制老师的思维。
不可实现/误设（Non-Realizable/Misspecified）： 学生比老师更小或能力更弱。学生的“背包”太小，装不下老师复杂的推理过程。

情景 A：学生足够聪明（可实现）

想象老师和学生都是博士。

论文的发现： 如果你给这位博士生教科书（离线学习），他们会完美地掌握所有知识。他们的表现会与老师持平。
结果： 加入实时导师（在线学习）并不会让他们变得更聪明或更快。因为“教科书模式”已经足够完美了。
类比： 如果你有一张完美的城市地图，你就不需要 GPS 导航员带路。你可以直接按照地图行进。

情景 B：学生较小（不可实现）

想象老师是一位国际象棋大师，但学生只是个初学者。老师的招式对于学生来说过于复杂，学生无法完全理解或直接模仿。

教科书的问题： 老师的答案可能会说：“将马移动到 F3 位置。”但由于学生的思维过于简单，他们无法理解为什么要这么走，甚至可能无法高效地完成这个动作。学生试图通过记忆答案的“样子”来学习，但由于学生的大脑结构不同，他们会陷入困境。他们遇到了信息瓶颈（Information Bottleneck）。他们无法学会那些“正确”的招式，因为教科书里的“正确”招式并不适合他们有限的大脑。
导师的力量： 当学生尝试一个招式并询问老师时，老师会给出专门针对学生当前尝试情况的反馈。即使学生的能力有限，老师也能引导他们走向学生实际能够做出的最优秀招式。
论文的发现： 在这种情况下，在线学习表现出色，因为它能帮助学生在有限的能力范围内，找到“最好的自己”。而教科书只会向他们展示一个他们根本无法驾驭的游戏版本。

“风格 vs 实质”的类比

论文还解释了为什么仅仅测量“学生看起来与老师有多不同”（分布差异/distributional discrepancy）是有误导性的。

想象一位老师用 3 步解决了一个数学问题，而一位学生用了 10 步。

旧观点： “哇，这个学生和老师完全不同！他们使用的语言和路径都不一样。这个学生肯定失败了。”
论文的观点： “等等，两人都得到了正确答案（准确率 100%）。区别仅仅在于风格（3 步 vs 10 步）。这个学生其实做得很好！”

在“不可实现”的设定中，学生可能必须采取一条更长、更笨拙的路径来获得正确答案，因为他们无法完成老师那种优雅的捷径。

离线学习（教科书）： 试图强迫学生模仿老师那优雅的 3 步路径。学生会失败，因为他们做不到。
在线学习（导师）： 看到学生在尝试 3 步路径时感到吃力，于是说：“好吧，你做不到那一步。但如果你走这条 10 步的路径，你依然可以得到正确答案。”导师帮助学生最大化他们的奖励（得到正确答案），即便他们的风格看起来与老师大相径庭。

论文结论总结

如果学生足够聪明（可实现）： “教科书模式”（离线学习）已经是完美的。在线学习不会带来额外价值。
如果学生较小（不可实现）： “教科书模式”会撞墙。它试图教给学生一些他们物理上无法表达的东西。
真正的赢家： 在“不可实现”的情况下，在线学习表现优异，因为它不仅仅是尝试模仿老师的风格。它能找到一个学生实际能够实现的最佳解决方案，即便这个方案看起来与老师的原型大不相同。
“雪球”谬误： 论文指出，认为“误差随时间累积”是在线学习获胜主因的旧观点是不准确的。即使是在简单的短任务中（误差无法累积的地方），只要学生比老师小，在线学习依然会胜出。

简而言之： 在线学习之所以有效，不是因为它修复错误的速度更快，而是因为它能帮助一个较小的学生找到成功的最佳路径，即便他们无法完美地复制老师。

技术摘要：在线模仿学习何时对 LLM 后训练有帮助？

问题陈述

本文探讨了大型语言模型（LLM）后训练中的一个基本问题：为什么以及何时在线模仿学习（IL），特别是针对策略内（on-policy）的蒸馏，会优于离线监督微调（SFT）？

尽管经验研究表明在线 IL 具有优越性，但主流的理论解释——即在线交互可以减轻长时程中的“误差累积”（如 DAgger 类算法所示）——受到了近期发现的挑战。Foster 等人 [15] 证明，在**可实现（realizable）**设置下（即专家策略位于学生的假设空间内），使用对数似然目标的离线 IL 与在线方法具有相同的样本复杂度保证。这引发了一个疑问：如果误差累积不是唯一的驱动因素，那么在学生模型通常比其模仿的专家模型更小、能力更弱的实际 LLM 训练中，在线 IL 的优势来源是什么？

作者提出，不可实现性（non-realizability/misspecification，即模型误设）——即学生策略类 $\Pi$ 无法表示专家策略 $\pi_e$ 的场景——是关键因素。他们研究了即使在不存在长时程复合误差的情况下（即在时程 $H=1$ 的上下文智能体/contextual bandits 问题中），在线交互是否仍能提供收益。

方法论

理论框架

作者将 LLM 后训练抽象为一个时程 $H=1$ 的上下文智能体问题（contextual bandit problem）。

上下文 ( $X$ )： Prompt（提示词）。
动作 ( $Y$ )： 生成的响应序列。
策略 ( $\pi$ )： 响应的条件分布。
可实现性： 定义为 $\pi_e \in \Pi$ 。若 $\pi_e \notin \Pi$ ，则为不可实现设置。

他们分析了两种学习范式：

离线 IL (SFT)： 从静态的独立同分布（i.i.d.）专家演示数据集 $(x_i, y_i)$ 中学习，通过最小化行为克隆损失（负对数似然）进行优化。
在线 IL (策略内蒸馏)： 学习者从其当前策略 $\pi$ 中采样，向专家查询概率 $\pi_e(y|x)$ ，并优化逆 KL 散度目标（或通用的塑造函数 $f(\pi_e(y|x))$ ）。

核心分析工具

差异分析（Discrepancy Analysis）： 本文批判了依赖于专家与学生之间分布差异（如全变差距离 TV、Hellinger 距离）的传统界限。作者认为，这些界限在不可实现设置下过于悲观，且与真实的奖励目标不一致。
信息论下界（离线）： 作者推导了不可实现设置下离线 IL 的样本复杂度下界，表明它与覆盖系数（coverage coefficient） $C_\infty^e$ 成比例。该系数衡量了专家分布与受限学生类中最佳可实现策略之间的不匹配程度。
在线 IL 的结构性条件（误设–奖励对齐）： 为了解释在线 IL 的成功，作者提出了一个条件，即专家的信号（用于蒸馏）以某种方式与奖励函数对齐，使得学生类可以利用这种对齐，即使学生无法完全表示专家。
- 假设 1（误设–奖励对齐）： 专家信号 $f(\pi_e(y|x))$ 被分解为一个奖励对齐分量 $\alpha r(x,y)$ 和一个残差项 $h(x,y)$ 。该条件要求，在接近在线目标最优的策略集合内，残差项 $h$ 不会对在奖励表现上存在差异的策略产生显著区分。本质上，这种“误设”必须与奖励正交，或者对于学生类而言是不可表示的。

核心贡献与结果

1. 可实现设置：离线 IL 足矣

作者通过实验验证，在可实现设置下，在线 IL 并不比离线 IL 更有优势。

实验： 他们在合成任务（Countdown）和真实数学推理任务（GSM8K, DeepScaleR）上进行了实验。在这些设置中，“专家”是由与学生属于同一家族的经 RL 训练的模型生成的，从而保证了可实现性。
发现： SFT（离线）完全恢复了专家的性能。策略内蒸馏（在线）在最终准确率或训练速度上相比 SFT 没有任何提升。这证实了误差累积并不是在线 IL 在此类场景中成功的首要驱动力。

2. 不可实现设置：信息瓶颈

在不可实现设置（即专家模型远大于或不同于学生模型）中，本文识别出了离线 IL 的一个根本局限：

定理 1： 从 i.i.d. 专家数据中学习的离线 IL 算法面临着信息论层面的障碍。如果专家在受限的学生类能够学习的特定响应上放置的概率质量较低（高 $C_\infty^e$ ），则无论样本量多大，离线 IL 都无法实现趋于零的次优性。专家的演示可能根本不包含对学生学习其类内最优策略而言“正确”的示例。

3. 通过结构对齐实现的在线 IL 优势

本文为在线 IL 为何在不可实现设置下取得成功提供了理论依据：

定理 2： 在误设–奖励对齐条件下，即使存在巨大的分布差异，在线 IL 也能实现低奖励次优性。
机制： 在线交互允许学生在其实际访问的状态（Prompts）上向专家查询。如果专家的信号结构使得奖励相关信息对学生是可获取的（即使专家的完整分布并非如此），在线 IL 就能收敛到一个高奖励策略。
经验验证： 利用 DeepSeek-R1 模型，作者展示了分布差异（例如在响应长度或关键词频率方面）可以非常巨大（例如 ~~30% 的 TV 距离），而性能差距却很小（~~5%）。这支持了基于差异的界限是松弛的这一观点。此外，他们还展示了从具有更好“对齐性”的专家（Skywork-7B）进行蒸馏，比从对齐性较差的专家（R1-Distill-7B）获得显著更好的学生性能，这与其理论界限估计一致。

意义与主张

本文声称将 LLM 后训练的理论理解从误差累积视角转向了**误设（misspecification）**视角。

重新定义优势： 在 LLM 中，在线 IL 的主要优势不仅仅是纠正长时程中的复合误差，而是克服由不可实现性引起的信息论瓶颈。在可实现设置下，离线 SFT 在理论和经验上都是充分的。
奖励感知分析的必要性： 作者认为，仅通过分布差异（如 KL 散度）来分析 IL 是不足够的，且往往具有误导性。需要一种依赖于奖励的分析，来解释为什么在线方法在学生无法完美模仿专家时仍能取得成功。
实践意义： 研究结果表明，实践中观察到的 SFT 与在线方法（如 RL 或策略内蒸馏）之间的性能差距，通常源于专家相对于学生的不可实现性。如果专家过于强大或结构迥异，离线数据可能是不充分的，此时在线交互对于引导学生走向其自身策略空间中的高奖励区域变得至关重要。

文章总结道，虽然其框架解释了离线与在线之间的差距，但并未完全解释为什么策略内蒸馏有时比 RL（同样使用在线交互）更具样本效率，这表明语言生成的多步结构和密集奖励信号仍是待研究的开放领域。