💬 NLP

EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

该论文提出了探索增强策略优化（EEPO）框架，通过“采样后遗忘”的两阶段机制打破大语言模型强化学习中的主导模式循环，从而显著提升其在推理基准测试中的探索能力与性能。

原作者： Liang Chen, Xueting Han, Qizhou Wang, Bo Han, Jing Bai, Hinrich Schutze, Kam-Fai Wong

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Liang Chen, Xueting Han, Qizhou Wang, Bo Han, Jing Bai, Hinrich Schutze, Kam-Fai Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EEPO 的新方法，旨在解决大语言模型（LLM）在“强化学习”过程中遇到的一个核心难题：如何在“利用已知经验”和“探索未知可能”之间找到完美的平衡。

为了让你轻松理解，我们可以把训练一个数学解题 AI 想象成教一个学生参加数学竞赛。

1. 核心问题：学生变成了“复读机”

在传统的训练方法（比如论文中提到的 GRPO）中，老师（算法）会给学生出很多题，让学生尝试不同的解法。

初期：学生很聪明，会尝试各种思路（A 方法、B 方法、C 方法），虽然有些会错，但有些是对的。
中期：老师发现"A 方法”得分最高，于是疯狂表扬 A 方法。
后期（熵崩溃）：学生为了拿高分，彻底放弃了 B 和 C，只死记硬背 A 方法。哪怕题目稍微变个花样（比如换个数字或换个问法），学生只会机械地套用 A 方法，结果就错了。

这就是论文指出的“熵崩溃”（Entropy Collapse）： 模型变得太自信、太单一，失去了探索新解法的能力，导致它只能解决训练过的题目，遇到新题目就“翻车”。

2. 现有方法的失败：强行“喝兴奋剂”

以前的科学家试图解决这个问题，主要靠两种笨办法：

提高温度（Temperature）：就像给学生喝点“兴奋剂”，让他说话随机一点，不要那么确定。但这就像让一个只会做 A 题的学生，随机乱猜 B 或 C，结果往往是一团糟，或者训练变得极不稳定。
增加奖励权重：告诉学生“偶尔做对 B 题也要给大奖”。但这就像在泥潭里喊话，学生还是习惯性地往 A 题那个“舒适区”跑，因为 A 题太容易得分了。

比喻：这就像强迫一个只会走直线的机器人去走迷宫，你只是把它的轮子调得松一点（增加随机性），它还是会在原地打转，或者撞墙，因为它潜意识里还是觉得走直线最安全。

3. EEPO 的妙招：先采样，再“失忆”

EEPO（探索增强策略优化）提出了一种非常巧妙的"采样 - 遗忘"（Sample-then-Forget）机制。我们可以把它想象成**“分阶段考试 + 临时失忆”**。

具体步骤：

第一阶段（采样）：
老师先让学生做一半的题目（比如 5 道题）。学生很自然地用了他最擅长的"A 方法”，做对了 3 道。
此时，学生脑子里全是"A 方法”的记忆。
中间环节（遗忘/失忆）：
这是 EEPO 的魔法时刻！在让学生做剩下 5 道题之前，老师对学生施了一个**“临时失忆咒”**。
- 这个咒语专门针对刚才做过的"A 方法”。
- 它不是让学生变笨，而是暂时把"A 方法”从学生的短期记忆里抹去，让他觉得"A 方法”好像没那么顺手了，或者根本想不起来。
- 比喻：就像你刚学会一首歌，马上有人把这首歌的旋律从你脑子里“擦掉”了一瞬间，逼着你不得不去哼唱另一首你平时很少哼的曲子。
第二阶段（探索）：
因为"A 方法”暂时“想不起来”了，学生被迫去尝试"B 方法”或"C 方法”。
- 结果惊喜地发现：原来"B 方法”也能解题，甚至解得更好！
- 这样，模型就探索到了以前被忽略的“宝藏路径”。
最后（复习）：
等这一轮训练结束，老师把“失忆咒”解开，学生的长期记忆（模型参数）还是正常的，但他在这一轮里已经见识了多种解法，变得更加全面和灵活。

4. 为什么这个方法这么牛？

打破死循环：它直接切断了“越做越顺 -> 越顺越只做这个 -> 彻底不会别的”这个恶性循环。
精准打击：它不是盲目地增加随机性（像喝兴奋剂），而是针对性地让模型在“最得意”的时候“忘”一下，逼它走出舒适区。
轻量级：这个“失忆”过程非常快，只发生在做题的当下，不需要重新训练整个模型，所以速度很快，不浪费时间。

5. 实验结果：真的有效吗？

论文在五个高难度的数学竞赛数据集（如 AMC, AIME 等）上测试了三种不同的大模型。

结果：EEPO 方法比传统的 GRPO 方法，在解题准确率上平均提升了 10% 到 33%！
特别之处：在那些题目稍微变个花样（分布外数据）时，EEPO 的表现尤其好。因为它学会了多种解法，不再死板地套用旧公式。

总结

如果把训练 AI 比作教学生：

传统方法是：学生做对了一道题，就让他反复做这道题，直到他变成只会这一招的“做题机器”。
EEPO 方法是：学生刚做完一道题，老师就让他“忘”一下刚才的解法，逼着他必须换一种思路去解下一道题。

通过这种"先做，再忘，逼你换思路"的策略，EEPO 成功让 AI 保持了好奇心和探索欲，从而在复杂的数学推理任务中表现得更加聪明和灵活。

这是一篇发表于 ICLR 2026 的论文 《EEPO: 基于“采样 - 遗忘”机制的探索增强策略优化》。该论文针对大语言模型（LLM）在可验证奖励强化学习（RLVR）中面临的“探索 - 利用”困境，提出了一种名为 EEPO (Exploration-Enhanced Policy Optimization) 的新框架。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：在基于可验证奖励的强化学习（RLVR，如 DeepSeek-R1 和 OpenAI o1 所采用的技术）中，平衡**探索（Exploration）与利用（Exploitation）**是一个主要难题。
现有问题：
- 熵崩溃（Entropy Collapse）：当前的 RLVR 方法（如 GRPO）往往过度强调利用高奖励轨迹，导致策略熵值急剧下降。模型迅速收敛到确定性行为，丧失了探索能力。
- 自强化循环（Self-reinforcing Loop）：当策略形成某种主导模式（Dominant Mode）后，Rollout（采样）过程倾向于反复采样该模式并获得正反馈，进一步放大该模式的概率，抑制其他潜在更优的推理路径。
- 泛化能力下降：虽然训练集上的准确率可能上升，但由于缺乏探索，模型在分布外（OOD）基准测试（如 AMC 2023）上的表现显著恶化，表明模型只是过拟合了训练分布，而非学到了通用的推理模式。
现有方法的局限性：
- 增加采样温度或熵正则化（Entropy Regularization）虽然增加了随机性，但只是均匀地“压平”了分布，未能有效将概率质量从主导模式转移出去，无法打破自强化循环。
- 调整目标函数（如 DAPO 的裁剪阈值）未能改变 Rollout 阶段的采样动态，模型仍被困在主导模式中。

2. 方法论 (Methodology)

论文提出了 EEPO 框架，其核心创新在于引入了 “采样 - 遗忘”（Sample-Then-Forget） 机制，在 Rollout 过程中主动干预，打破自强化循环。

2.1 核心流程：两阶段采样

EEPO 将传统的 GRPO 单阶段采样过程拆分为两个阶段，中间插入一个轻量级的“遗忘”步骤：

第一阶段采样：从当前的策略模型 $\pi_{rollout}$ 中采样 $G/2$ 条轨迹。
遗忘步骤（Unlearning）：对 $\pi_{rollout}$ 进行一步轻量级的梯度更新，暂时抑制刚刚采样的那些响应。
第二阶段采样：从更新后的模型中采样剩余的 $G/2$ 条轨迹。
策略更新：收集所有 $G$ 条轨迹，计算奖励和优势，使用标准 GRPO 目标函数更新主策略模型 $\pi_\theta$ 。

关键点：遗忘操作仅作用于 Rollout 模型（ $\pi_{rollout}$ ），且是暂时的（每轮迭代重置），不改变主策略模型的优化目标。这迫使第二阶段采样必须探索与第一阶段不同的区域。

2.2 自适应遗忘机制设计

为了使遗忘机制高效且针对性强，EEPO 设计了三个关键组件：

基于熵的激活门控（Entropy-Conditioned Gating）：
- 仅在检测到策略熵值低于阈值（即开始发生模式坍塌）时才触发遗忘。
- 通过移动平均熵值 $H_t^{(m)}$ 判断，避免在健康探索阶段进行不必要的干预。
互补遗忘损失（Complementary Unlearning Loss）：
- 传统负对数似然（NLL）惩罚低概率预测，而 EEPO 使用互补损失 $L_{comp} = \log(1 - p)$ 。
- 作用：对**高概率（主导模式）**的 token 施加更强的惩罚，迫使模型降低这些主导模式的概率，从而将概率质量转移给其他潜在模式。
单步临时更新（Temporary Single-Step Update）：
- 仅对 Rollout 模型执行一次梯度上升步（Gradient Ascent），不累积，不改变主策略参数。
- 确保干预是轻量级且仅限于当前迭代，解耦了探索与策略优化。

3. 关键贡献 (Key Contributions)

提出 EEPO 框架：首次将“机器遗忘”概念重新利用于 RL 探索阶段，通过“采样 - 遗忘”机制主动打破主导模式的自强化循环。
理论洞察：揭示了 RLVR 中熵崩溃与泛化能力下降的因果关系，指出单纯增加随机性（如提高温度）无法解决主导模式被反复采样的问题。
自适应机制：设计了基于熵触发的、针对主导模式惩罚的轻量级遗忘算法，无需修改 RL 的目标函数即可实现。
广泛的实验验证：在三个不同规模的模型（Qwen2.5-3B, Llama3.2-3B, Qwen3-8B）和五个数学推理基准上进行了验证。

4. 实验结果 (Results)

性能提升：
- Qwen2.5-3B：相比 GRPO 平均相对提升 24.3%。
- Llama3.2-3B-Instruct：相比 GRPO 平均相对提升 33.0%。
- Qwen3-8B-Base：相比 GRPO 平均相对提升 10.4%。
- 在 AMC 2023 等 OOD 基准上，EEPO 表现尤为突出（例如 Qwen2.5-3B 在 AMC 2023 上达到 45.0%，而 GRPO 为 30.3%）。
熵维持：
- 训练过程中，EEPO 保持了显著高于 GRPO 的熵值。
- 第二阶段采样的熵值高于第一阶段，证明了“遗忘”成功迫使模型探索了低密度区域。
训练效率：
- EEPO 的训练时间与标准 GRPO 相当，没有引入显著的额外计算开销。
- 相比之下，增加采样温度或增加 Rollout 数量会显著增加训练时间（温度法导致响应变长，Rollout 增加导致采样量剧增）。
泛化性：
- EEPO 在 Pass@k 指标上表现出更好的扩展性，随着采样预算增加，性能提升更明显。

5. 意义与结论 (Significance)

解决 RLVR 痛点：EEPO 提供了一种无需修改奖励函数或目标函数的通用方案，有效解决了 RLVR 中常见的熵崩溃和过拟合问题。
探索策略创新：将“遗忘”从隐私/版权保护领域迁移到强化学习探索领域，证明了主动抑制已采样路径比被动增加随机性更能有效引导模型发现新的推理策略。
实用性强：该方法计算成本低，易于集成到现有的 GRPO 训练流程中，且在不同模型架构和规模上均表现出鲁棒的提升，为构建更强大的推理模型（Reasoning Models）提供了新的技术路径。

总结：EEPO 通过“采样后暂时遗忘”的机制，强制模型在每一轮训练中跳出舒适区（主导模式），从而在保持训练效率的同时，显著提升了大语言模型在复杂数学推理任务中的探索能力和泛化性能。