🤖 machine learning

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

本文提出了探索驱动优化（EDO），这是一个新颖的框架，它将促进多样性的探索目标整合到如 iDPO 和 GRPO 等迭代后训练方法中，以解决推理时采样多样性与强化学习引起的分布锐化之间的张力，从而提升大语言模型在分布内和分布外任务上的推理性能与稳定性。

原作者： Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢的学生（一个大语言模型），正在学习解决复杂的数学谜题。你希望他成为一名解题大师。

通常，在训练这些学生时，我们会使用一种称为强化学习的方法。这就像一位严厉的教练，只奖励学生找到唯一最佳答案的行为。久而久之，学生非常擅长找到那条特定的路径。但问题在于：他们停止了探索。他们陷入了“思维定势”，只知道一种解题方式。如果那一种方式行不通，他们就没有备选方案。

这就产生了一个矛盾。为了解决非常棘手的谜题，我们通常在测试时使用一种称为**“自一致性”*的技术。这就像要求学生将同一个问题解答 10 次，然后选择出现频率最高的答案。如果学生能生成 10 种不同*的解题思路，这种方法效果极佳。但如果学生被训练成只懂一种思路，让他们尝试 10 次，得到的只是 10 份相同（且可能错误）的答案副本。

这篇论文提出了一种新的训练方法，称为EDO（探索驱动优化），以解决这一问题。

核心理念：“好奇的探索者”与“稳妥的专家”

作者们意识到，为了让“自一致性”技巧生效，模型在训练期间必须成为一个好奇的探索者，而不仅仅是一个稳妥的专家。

旧方法（专家模式）： 教练说：“如果你答对了，很好！如果你答错了，试着更像你上次答对时的样子。”学生学会了反复重复相同的成功模式。结果是一种非常狭窄、极其“尖锐”的思维方式。
新方法（EDO - 探索者模式）： 教练说：“答对答案，但同时也不要仅仅重复你上次做过的事。尝试一条略有不同的路径。如果你一直做完全相同的事情，我会轻轻推你一把，让你尝试新事物。”

富有创意的类比：迷宫与手电筒

想象学生身处一个巨大的黑暗迷宫（问题空间）中，试图找到出口（正确答案）。

标准训练： 学生找到了一条通往出口的路径。他们获得了奖励。下一次，他们被训练成以激光般的专注度遵循完全相同的路径。他们不再观察墙壁或其他走廊。如果那条唯一的路径后来被堵住了，他们就困住了。
EDO 训练： 学生找到了一条通往出口的路径并获得了奖励。但教练增加了一条规则：“你还必须探索几条你以前从未尝试过的侧廊。”学生学会了保持他们的“手电筒”（概率分布）照亮范围宽广，照亮许多不同的路径，而不仅仅是他们知道有效的那一条。

实际运作方式

这篇论文采用了两种现有的训练方法（称为iDPO和GRPO），并将这种“好奇心”规则加入其中。他们将新版本称为ED-iDPO和ED-GRPO。

机制： 从数学上讲，如果模型对其之前的答案过于“舒适”，就会施加一种“惩罚”。它迫使模型保持轻微的“不适”和多样性，从而保持选择的开放性。
结果： 当他们测试这些新模型时，他们得到的不仅仅是一个好答案；而是生成了多种多样的不同解决方案。

为何这很重要（“测试时”的魔力）

由于模型现在能生成多样化的解决方案，“自一致性”技巧（要求提供 10 个答案并进行投票）突然变得有效得多。

之前： 要求 10 个答案 $\rightarrow$ 得到 10 个相同的错误答案 $\rightarrow$ 投票 $\rightarrow$ 仍然错误。
使用 EDO： 要求 10 个答案 $\rightarrow$ 得到 10 种不同的解题思路（有些正确，有些错误） $\rightarrow$ 投票 $\rightarrow$ 正确答案胜出，因为它以不同形式多次出现。

结果

作者在困难的数学竞赛（如 AIME 和 MATH 数据集）上测试了这种方法。

准确率： 新方法（ED-iDPO 和 ED-GRPO）正确解决的问题数量超过了之前的最佳方法。
多样性： 模型产生的答案更加多样化（通过单词和步骤的差异程度来衡量）。
稳定性： 与其他有时会导致模型“崩溃”（忘记一切并变得重复）的方法不同，EDO 在整个训练过程中保持了模型的稳定性和创造性。

总结

简而言之，EDO 教导 AI 模型减少对“完美一致性”的执着，更愿意拥抱“创造性多样性”。 通过迫使模型在训练期间探索不同的路径，当被要求在测试时生成多个解决方案时，它在解决难题方面变得更为出色。这就像是一个只死记硬背一种解法的学生，与一个充分理解问题全貌、能够从许多不同角度找到答案的学生之间的区别。

技术摘要：面向测试时大语言模型推理的探索驱动优化

1. 问题陈述

大语言模型（LLM）的最新进展表明，将后训练技术（特别是强化学习，RL）与推理时扩展相结合，能显著提升推理能力。然而，这两种范式之间存在根本性的张力：

推理时扩展：诸如自一致性（Self-Consistency）、Best-of-N（BoN）采样和蒙特卡洛树搜索等技术，依赖于从相对平坦的概率分布中进行多样化采样，以发现最优解。
RL 后训练：传统的基于 RL 的后训练方法（如 PPO、DPO、GRPO）本质上会锐化输出分布。通过将模型微调至高置信度、高奖励的解，这些方法往往导致“模式崩溃”，降低了生成轨迹的多样性。

这种分布崩溃限制了推理时扩展的有效性，因为模型无法生成聚合方法识别正确答案所需的多样化候选解。现有方法通常将推理时扩展视为事后程序，未能使训练目标与多样化探索的需求相一致。

2. 方法论：探索驱动优化（EDO）

作者提出了探索驱动优化（EDO），这是一个旨在后训练阶段促进多样性，同时保持与任务目标一致性的框架。EDO 将先前工作（如 VPO、XPO）中的奖励偏置探索目标扩展至迭代后训练设置中。

核心机制

EDO 引入了一项正则化项，明确鼓励当前策略（ $\pi_\theta$ ）偏离上一轮策略迭代（ $\pi_{t-1}$ ），而非仅仅锚定在静态参考策略（ $\pi_{ref}$ ）上。

奖励偏置公式：
该方法将推理时计算重新解释为隐式 Q 函数。为了鼓励探索，EDO 最大化一个包含促进与上一策略偏离项的目标函数。
- 优化目标被重构为最大化 $J^*(r^{(t)})$ ，在特定约束下（即在上一策略下期望为零），这转化为最小化反向 Kullback-Leibler (KL) 散度： $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ 。
- 该项充当“排斥”力，防止策略坍缩到上一轮迭代的主导模式中，而标准的正向 KL 项（ $D_{KL}(\pi_\theta \parallel \pi_{ref}$ )）则维持稳定性并防止灾难性遗忘。
与现有算法的集成：
EDO 无缝集成到两种流行的迭代 RL 范式中：
- ED-iDPO（探索驱动迭代直接偏好优化）：通过添加探索项修改 iDPO 损失。目标函数变为：
  $L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$
  其中 $\alpha$ 控制探索偏置的强度。
- ED-GRPO（探索驱动组相对策略优化）：调整 GRPO 目标以包含当前策略与上一策略之间的 token 级反向 KL 散度，在无需单独评论家模型的情况下平滑输出概率分布。
迭代训练流程：
该框架在迭代循环中运行：
- 从当前策略生成 $N$ 个候选解。
- 基于正确性构建偏好对（针对 iDPO）或组奖励（针对 GRPO）。
- 使用 EDO 增强的目标函数更新策略。
- 重复此过程，将更新后的策略作为下一轮迭代探索项的参考。

3. 主要贡献

该论文阐述了三项主要贡献：

原则性框架：引入 EDO，这是一个旨在促进平坦输出分布以平衡探索与利用的框架，特别有助于实现更有效的推理时扩展。
无缝集成：证明了 EDO 可以集成到标准后训练流程（iDPO 和 GRPO）中，产生增强变体（ED-iDPO 和 ED-GRPO），显著提升解的多样性和推理性能。
实证验证：全面的评估显示，在各种骨干网络（Qwen、LLaMA）和数据集上均有一致的改进，突显了 EDO 在防止过优化崩溃方面的鲁棒性。

4. 实验结果

分布内性能

实验在三个推理基准上进行：GSM8K（小学数学）、Math（高中竞赛）和 s1K（具有挑战性的竞赛级问题）。

准确率提升：ED-iDPO 和 ED-GRPO 均优于强基线（ETO、GRPO、DAPO）。
- 在 s1K 上，ED-GRPO 取得了 38.6% 的准确率（贪婪搜索）和 48.4%（自一致性），分别超越了最佳基线（ETO+SC） 1.1% 和 1.3%。
- 在 Math 和 GSM8K 上，EDO 变体始终优于标准的思维链（CoT）和自一致性基线。
与推理时扩展的协同作用：当与自一致性结合时，性能提升最为显著，表明 EDO 生成的多样化解能被推理时方法有效聚合。

分布外（OOD）泛化

在 s1K 上训练的模型在五个 OOD 数据集（AIME24、AIME25、MATH500、Minerva Math、Olympiad Bench）上进行了评估。

即插即用能力：EDO 训练的模型在未重新训练的情况下显示出强大的跨数据集泛化能力。
改进：ED-GRPO 在所有 OOD 任务上相比 GRPO 基线平均提升了 2.4%，表明增强的探索提高了向异构数据分布的迁移能力。

消融与分析

训练稳定性：与标准 GRPO 或 ETO 不同（后者在几个 epoch 后表现出性能下降或持平，这是过优化的迹象），EDO 变体在多次训练迭代中保持了稳定的性能提升。
熵保持：论文中的图 4 显示，虽然标准方法迅速将策略熵驱动至低水平，但 ED-GRPO 在整个训练过程中保持了显著更高的熵，防止了模式崩溃。
多样性指标：EDO 变体产生了显著更多样化的输出（通过 Distinct-4 衡量）。例如，在 s1K 上，ED-GRPO 的 Distinct-4 相比基线提升了 47.0%。
案例研究：对一道几何问题的定性分析显示，标准模型生成了同质化且错误的推理路径，而 ED-iDPO 生成了多样化的策略（坐标几何、区域分解、对称性论证），使得推理时投票能够选出正确答案。

5. 意义与主张

该论文将 EDO 定位为解决基于 RL 的对齐与推理时扩展的多样性需求之间张力的实用框架。

防止崩溃：作者声称 EDO 有效防止了“过优化崩溃”，这是 RLHF 中常见的故障模式，即模型失去探索替代解的能力。
兼容性：该方法被强调为与各种策略优化算法和推理时技术（自一致性、BoN、树搜索）兼容。
可扩展性通过使模型能够利用多样化的推理路径，EDO 允许更有效地利用推理时计算资源，这是在增加模型参数之外扩展推理能力的关键因素。

作者得出结论，EDO 提供了一种平衡探索与利用的原则性方法，为大语言模型推理建立了新的基准，特别是在依赖推理时扩展的场景中尤为有效。