🤖 AI

Instruction-Conditioned Exploration with Asymmetric Reinforcement Learning and Self-Distillation

本文提出了一种将指令条件探索（Instruction-Conditioned Exploration, ICE）与非对称强化学习及自蒸馏目标相结合的方法，以增强大语言模型的探索能力并将多样化行为迁移至测试时策略，从而在数学推理任务中实现了显著的性能提升。

原作者： Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人如何解开一个棘手的谜题。你有一个强大的工具叫做“强化学习”（Reinforcement Learning，简称 RL），它就像是一个电子游戏的教练。机器人尝试一个动作，然后得到一个“做得好！”或“再试一次”的信号，并逐渐学会如何获胜。但问题在于，在大型语言模型（LLM）的世界里——也就是那些编写文本和解决数学问题的 AI 大脑——它们的“动作”并不是像“跳跃”或“射击”这样简单的按键，而是单词。而且，它们有成千上万个单词可以从中选择。

如果你只是告诉机器人“随机尝试”，它通常只会产生胡言乱语。随机更换句子中的一个词，就像试图通过乱扔零件来修理汽车引擎一样；这很难奏效。因此，机器人往往会陷入它已经掌握的少数几种做法中，从而错失了更聪明的新方法。科学家们面临的大问题是：我们如何让这些 AI 大脑在不产生废话的前提下，去探索新的且多样化的思考方式？这篇论文正是针对这个问题展开研究的，它提出了一种巧妙的方法，强迫机器人在学习过程中尝试不同的“策略”，并在提示消失后，教会它如何使用这些策略。

“秘密指令”策略

研究人员，来自南安普顿大学的 Jim Dilkes 及其团队，发明了一种他们称之为**指令调节探索（Instruction-Conditioned Exploration，简称 ICE）**的方法。你可以这样理解：想象你在训练一名国际象棋选手。你不是只说“下一局”，而是为他们练习的每一局比赛都给出一个不同的“秘密指令”。其中一张纸可能写着，“今天，只专注于进攻国王侧”；而另一张则写着，“不惜一切代价保卫你的兵”。

在论文的方法中，他们拿出一个数学题，并为其附带一个或多个不同的“行为指令”。这些不是答案，而是一些引导性的提示，比如“寻找这个问题的对称性”或者“尝试将其分解为更小的部分”。通过强迫 AI 在戴着这些不同的“帽子”时生成答案，该模型能够比自主探索时探索出更广泛的解决方案。这就像是强迫一名学生用五种不同的方法来解决同一个数学题，以此观察哪种方法最有效。

老师与学生

这里是见证奇迹的地方。AI 模型实际上同时扮演着两个角色：老师（Teacher）和学生（Student）。

老师： 这个版本的 AI 会获得“秘密指令”（即指令）。它尝试利用这些提示来解决问题。当它得到一个非常好的答案时，它会获得奖励。
学生： 这个版本的 AI 是我们稍后真正想要使用的那个。它永远不会看到这些指令。它看到的只是原始的数学题。

团队使用了一种特殊的训练技巧，叫做非对称强化学习/学生蒸馏（Asymmetric-RL/SD）。这有点像一位名厨使用一种秘密调料组合来烹饪美味佳肴。学生（即 Student）观察厨师烹饪的过程，品尝最终的成品，并试图学习如何烹饪，以便在仅使用基础食材、没有秘密调料的情况下，也能重现那种美味。

研究人员发现，通过让“老师”利用提示进行探索，并将这些知识“蒸馏”（转移）给“学生”，使“学生”在独立解决问题时变得更加出色。

他们的发现

团队在名为 Qwen3-1.7B（一种可以在笔记本电脑和手机上运行的“小型”模型）的特定 AI 模型上测试了这一方法，用于解决数学问题。他们将这种新方法与一种标准的训练技术——DAPO 进行了对比。

结果： 当模型使用他们的“秘密指令”方法（ICE）和“老师到学生”的转移技术（Asymmetric-RL/SD）进行训练时，它在第一次尝试时正确解决数学问题的能力比标准方法提高了 5.0%。
证明： 这并非偶然。他们使用不同的随机种子（就像掷了五次骰子）进行了五次实验，而他们的方法在全部 5 次实验中都获胜了。这种提升非常稳定，足以让研究人员确信这是一个真实的效果，而非仅仅是运气。
长期表现： 他们还测试了更长的回答（8K 上下文长度），模型依然有所提升，尽管提升幅度略小。

然而，这也存在极限。当他们在一个更大的模型（4B 参数）上尝试时，该方法并没有比标准训练法带来更好的结果。这表明，这种“指令”技巧最适合那些正处于能够解决问题边缘的小型模型，能帮助它们达到单打独斗无法达到的新高度。

为什么这很重要

最酷的部分在于，一旦训练完成，你就不再需要那些指令了。经过训练的“学生”模型已经准备就绪，可以独立解决数学问题，无需任何额外的指令。这意味着你可以在手机或笔记本电脑上获得一个更聪明、更强大的 AI，而不需要随身携带一大堆提示清单。这是一种方法，通过在“求学阶段”教 AI 变得更有创意和周全，使其在余生的学习中成为一个更好的问题解决者。

研究人员承认，他们仍在弄清楚这种方法的边界在哪里，因为在他们测试的大型模型上，该方法并未奏效。但对于那些驱动我们日常设备的、较小的日常 AI 模型来说，这种“指令调节探索”看起来是一个帮助它们打破常规思维、实现跨越式发展的极具前景的新方法。

技术摘要：基于指令调节的探索与非对称强化学习及自我蒸馏

1. 问题陈述

强化学习（RL）后训练已成为增强大语言模型（LLM）的标准方法，尤其是在具有可验证结果的任务中。然而，作者认为传统的强化学习探索方法（依赖于随机动作选择，如 $\epsilon$ -greedy 或噪声注入）并不适用于 LLM。在 LLM 中，“动作”是从庞大词表中抽取的 token，这些 token 必须构成连贯的序列；随机的 token 级扰动通常会导致不连贯的文本，而非新颖且有效的轨迹。

此外，近期的研究表明，RL 后训练倾向于“锐化”模型的输出分布，即增加已知正确答案的概率，同时减少多样化行为的覆盖范围（支持集收缩/support shrinkage）。这限制了模型发现新推理策略的能力。现有的探索方法要么在 token 层面运行（无法解决语义多样性问题），要么依赖于缺乏显式机制来将训练时行为转移到测试时策略的上下文调节。核心挑战在于：如何在不损害推理时所使用的无条件策略性能的前提下，在训练期间诱导多样化的探索。

2. 方法论

本文提出了一个由两部分组成的研究框架：用于训练时多样性的指令调节探索（Instruction-Conditioned Exploration, ICE），以及用于行为转移的非对称-RL/SD。

2.1 指令调节探索 (ICE)

ICE 是一种基于模板的“支持集组合（support composition）”方法。它不再依赖随机的 token 扰动，而是通过从固定集合 $\mathcal{I} = \{I_1, \dots, I_N\}$ 中采样行为指令 $I$ ，来补充任务提示词 $x$ 。

教师策略（Teacher Policy）： 在训练期间，模型（作为教师）在以 $x + I$ 为条件的条件下生成展开（rollouts）。这些指令提供了高层级的引导（例如，“提问：这个问题具有什么对称性？”），从而推动模型走向不同的解题策略。
复合策略（Composite Policy）： 训练策略变为一个混合体： $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$ 。相对于单一的任务提示词，这扩大了生成的文本分布的支持集。
权衡： 虽然这增加了策略的覆盖面，但也存在引入无用指令从而降低准确性的风险。

2.2 非对称-RL/SD

为了将指令调节教师所学到的行为转移到无条件的测试时策略，作者引入了 Asymmetric-RL/SD，这是一种结合了强化学习与知识蒸馏的自我蒸馏目标函数。

教师 ( $\pi^T_\theta$ )： 指令调节策略。
学生 ( $\pi^S_\theta$ )： 无条件策略（用于测试时），与教师共享参数 $\theta$ 。
目标函数： 训练目标 $J(\theta)$ $J (θ)$ 结合了：
1. RL 项： 一个针对教师策略的奖励最大化项（使用 DAPO 变体 GRPO）。
2. 蒸馏项： 一个前向 KL 散度项 ( $J^{KL}_S$ )，旨在将学生策略拉向教师的正确展开。
非对称性： 不同于通常平衡两个策略奖励的标准自我蒸馏，Asymmetric-RL/SD 将学生奖励权重设为 $\alpha=1$ （仅针对教师进行奖励最大化），并仅对学生应用 KL 项，同时过滤掉教师的展开，仅保留那些答案正确（ $R=1$ ）的路径。这确保了学生学习并复制教师发现的有用且经过验证的行为，而不会因为教师对错误路径的探索而受到惩罚。

3. 核心贡献

指令调节探索 (ICE)： 一种通过在生成时以不同的高层行为指令为条件，来诱导 RL 后训练期间多样化展开的新方法，从而扩大了训练期间策略的支持集。
Asymmetric-RL/SD 目标函数： 一种新的训练目标，结合了基于教师策略的 RL 与向无条件学生进行的前向 KL 自我蒸馏。它明确地将指令调节探索带来的收益转移到了测试时策略。
实证验证： 在不同模型规模（1.7B, 4B）和上下文长度（4K, 8K）下的多种子实验，证明了该方法在数学推理任务上的有效性。

4. 结果

实验使用 Qwen3 模型在数学推理基准测试（AIME, HMMT, MATH-500）上进行。

1.7B / 4K 设置：
- 使用 ICE 配合 Asymmetric-RL/SD 相比 DAPO 基线，将留出集的 pass@1 提升了 5.0%。
- 该配置实现了 5/5 的基准测试胜率（在 95% 的自助法置信区间内排除零值）。
- 与仅使用带有指令的 RL（不含蒸馏项）相比，提升幅度较小且不确定性较高，这表明显式的蒸馏信号对于转移至关重要。
- 多样化指令的加入并未减慢训练收敛速度。
1.7B / 8K 设置：
- 观察到了较小但持续的 3.5%（3/5 胜率）的提升，表明该方法能泛化到更长的上下文，尽管增益有所减弱。
4B / 4K 设置：
- 该方法未能实现对 DAPO 的超越（结果为 -3.3% 的变化）。作者指出，4B 基座模型可能已经具备足够的处理能力，导致与 1.7B 模型相比，探索性策略提供的“提升空间（headroom）”较小。
覆盖度 vs. 准确度：
- 虽然 RL 后训练通常会提高 pass@1 但会降低高 $k$ 值下的 pass@k（覆盖度），但 Asymmetric-RL/SD 在提高 pass@1 的同时保持了相当的覆盖度。
- 在推理阶段使用行为指令进行采样（即使是对基座模型而言）也能恢复高覆盖度，这表明指令本身能够独立于 RL 过程使正确解浮现。

5. 重要性与主张

论文声称，指令调节探索结合显式的自我蒸馏转移机制，可以提高小型语言模型（特别是 1.7B 规模）的留出集推理能力，超越标准的 DAPO 等 RL 基线。

作者强调的关键意义包括：

成本效率： 该方法不增加推理成本；测试时策略是无条件的且标准的。收益完全是通过改进训练过程实现的。
小模型的实用性： 提升小模型的能力对于部署在消费级设备（手机、笔记本电脑）上至关重要，因为这些设备难以运行大型模型。
作用机制： 结果表明，仅靠参数共享不足以转移教师行为；显式的前向 KL 蒸馏信号对于将教师发现的策略整合进学生策略是必要的。

作者对研究范围保持审慎，指出该方法在测试条件下并未成功转移至 4B 模型，且研究局限于具有二元奖励的数学推理领域。他们将这项工作定位为探索此类收益在不同模型规模和上下文环境下如何保持的研究步骤。