💬 NLP

Reinforced Efficient Reasoning via Semantically Diverse Exploration

本文提出了名为 ROSE 的强化学习方法，通过结合基于语义熵的分支策略与 $\varepsilon$ -探索机制来增强推理的多样性，并设计长度感知的优势估计器以提升效率，从而在数学推理基准上显著提升了大语言模型的表现。

原作者： Ziqi Zhao, Zhaochun Ren, Jiahong Zou, Liu Yang, Zhiwei Xu, Xuri Ge, Zhumin Chen, Xinyu Ma, Daiting Shi, Shuaiqiang Wang, Dawei Yin, Xin Xin

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziqi Zhao, Zhaochun Ren, Jiahong Zou, Liu Yang, Zhiwei Xu, Xuri Ge, Zhumin Chen, Xinyu Ma, Daiting Shi, Shuaiqiang Wang, Dawei Yin, Xin Xin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ROSE 的新方法，旨在让大型语言模型（LLM，比如现在的 AI 助手）变得更聪明、更会“思考”，同时还能避免“想太多”导致的效率低下。

为了让你轻松理解，我们可以把 AI 解题的过程想象成一个人在迷宫里找出口。

1. 以前的做法：要么乱撞，要么死胡同

普通 AI（Vanilla GRPO）： 就像让一个人同时派 8 个分身去迷宫里乱跑。如果某个分身走对了，大家就一起受表扬；走错了，就一起受批评。
- 缺点： 这种“大锅饭”式的奖励不够精细。有时候，某个分身虽然最后没走出迷宫，但中间某几步走得很对，结果因为最后错了，那几步的功劳也被抹杀了。
现有的高级 AI（基于 MCTS 的方法）： 就像让一个人走迷宫时，遇到岔路口就停下来，分叉出几条路继续走，形成一棵“树”。
- 缺点： 以前的“分叉”策略太笨了。它们只看“哪里最不确定”（比如 AI 在选词时犹豫不决），就在那里分叉。
- 比喻： 想象你在写文章，犹豫是用“可以”还是“需要”。这两个词意思差不多，AI 在这里犹豫，分叉出来的两条路其实后面说的都是同一回事。这就好比在迷宫里，明明两条路通向同一个死胡同，你却非要分头走，浪费体力，还没找到新出路。

2. ROSE 的核心魔法：让思考更多样、更精简

ROSE 为了解决上述问题，搞了两个大动作：

动作一：语义熵分叉（Semantic-Entropy Branching）—— 寻找真正的“岔路口”

以前的做法： 只要 AI 犹豫（概率分布均匀），就分叉。
ROSE 的做法： 它不看 AI 是否犹豫，而是看犹豫的内容是否有本质区别。
- 比喻： 还是那个迷宫。以前 AI 在“向左转”还是“向右转”犹豫时，如果这两个方向其实都是死胡同，它就不分叉。ROSE 会问：“这两个选择背后的含义真的不同吗？”
- 如果 AI 在“用数学公式解”和“用逻辑推理解”之间犹豫，这才是真正的语义分歧。ROSE 会在这里分叉，让 AI 尝试完全不同的解题思路。
- 结果： AI 不再在死胡同里打转，而是真正去探索不同的解题路径，找到了更多“宝藏”。

动作二：ε-探索机制（ε-Exploration）—— 偶尔“推倒重来”

问题： AI 有时候太固执，一旦走上某条路，就死磕到底，不肯换思路。
ROSE 的做法： 设定一个概率（比如 50%），让 AI 偶尔完全忘掉之前的步骤，重新从起点开始随机生成一条新路。
- 比喻： 就像你在迷宫里走了一半，发现前面全是墙。与其在那儿死磕，不如偶尔干脆把地图撕了，重新随机选个方向出发。这防止了 AI 陷入“局部最优解”（以为眼前的路就是全世界）。

3. 效率魔法：长度感知的奖励（Length-Aware Calibration）—— 拒绝“啰嗦”

问题： 现在的 AI 有个毛病叫“过度思考”（Overthinking）。明明一句话能说清，它非要绕弯子说三页纸，最后答案还是对的。这既浪费时间，又容易出错。
ROSE 的做法： 它给 AI 定了一个新规矩：“答案对是好事，但越简洁越好。”
- 如果两个 AI 分身都解出了正确答案，但一个用了 10 步，另一个用了 5 步。ROSE 会给那个用 5 步的额外加分，给那个啰嗦的扣分。
- 比喻： 就像考试，两个学生都答对了最后一道大题。老师会表扬那个解题步骤清晰、干脆利落的学生，而不是那个写了满满三页草稿纸、虽然对但拖泥带水的学生。

4. 实验结果：真的好用吗？

作者在数学题（像奥数题、高考题）上测试了 ROSE，用了不同大小的模型（从 30 亿参数到 80 亿参数）。

结果： ROSE 比目前最先进的方法（GRPO 的各种变种）都要强。
特点： 它不仅解题更准（能解开更难的问题），而且解题更短（生成的文字更少，速度更快）。

总结

这篇论文就像给 AI 请了一位高明的教练：

教它怎么找新路： 不再在没意义的地方纠结，而是去探索真正不同的解题思路（语义熵）。
教它怎么打破僵局： 偶尔推倒重来，避免钻牛角尖（ε-探索）。
教它怎么说话简洁： 鼓励用最少的步骤解决问题，拒绝废话（长度感知奖励）。

最终，AI 变得更聪明、反应更快，而且不再是个“啰嗦”的学霸了。

这篇论文提出了一种名为 ROSE (Reinforced Efficient Reasoning via Semantically Diverse Exploration) 的新框架，旨在通过语义多样化探索和长度感知的优势估计，提升大语言模型（LLM）在可验证奖励设置（如数学推理）下的推理能力和效率。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管基于可验证奖励的强化学习（RLVR，如 GRPO）在提升 LLM 推理能力方面取得了显著进展，但现有的基于蒙特卡洛树搜索（MCTS）的扩展方法仍存在两个主要瓶颈：

探索多样性不足 (Limited Exploration Diversity)： 现有的 MCTS 分支策略通常基于生成熵 (Generation Entropy)。然而，生成熵高仅表示模型对 Token 选择不确定，并不代表语义上的多样性。例如，模型在 "can" 和 "need" 之间犹豫时，生成熵很高，但这两个词在语义功能上相似，导致生成的后续推理路径高度雷同，无法有效探索不同的解题思路。
推理效率低下 (Inefficient Reasoning)： 现有方法缺乏对推理长度的有效约束，容易导致模型“过度思考”（Overthinking），即生成冗长且不必要的推理链，增加了计算成本而未提升准确率。

2. 核心方法论 (Methodology)

ROSE 框架通过以下三个核心组件解决上述问题：

A. 基于语义熵的分支策略 (Semantic-Entropy Guided Branching)

为了促进更多样化的探索，ROSE 提出了一种新的分支指标——语义熵 (Semantic Entropy, SE)。

生成熵 ( $H_k$ )： 衡量模型在位置 $k$ 对 Token 选择的概率不确定性。
语义发散度 ( $SD_k$ )： 计算高概率候选 Token 集合中，Token 向量嵌入之间的余弦相似度之和。如果高概率 Token 在语义上差异巨大（即相似度低），则 $SD_k$ 较高。
语义熵定义： $SE_k = SD_k \cdot H_k$ $S E_{k} = S D_{k} \cdot H_{k}$ 。
- 该指标结合了概率不确定性和语义分散度。只有当模型既不确定选哪个词，且候选词在语义上差异较大时，才将其选为分支点。这确保了生成的新推理路径在语义上是真正多样化的。

B. $\epsilon$ -探索机制 ( $\epsilon$ -Exploration Mechanism)

为了防止搜索过程陷入局部最优（Over-localization），ROSE 引入了类似 $\epsilon$ -greedy 的机制：

在生成每个响应时，以概率 $\epsilon$ 从头开始独立生成响应（完全随机探索）。
以概率 $1-\epsilon$ 遵循上述基于语义熵的分支策略进行树状探索。
这种机制平衡了深度（利用现有路径）和广度（探索全新路径）。

C. 长度感知的分段优势估计 (Length-Aware Segment-Level Advantage Estimation)

为了鼓励高效推理并惩罚冗余，ROSE 设计了分段级的优势估计方法：

节点价值分配： 基于树结构，计算每个节点（分支点）下所有经过该节点的响应的平均奖励。
分段优势计算： 两个节点之间的优势值定义为节点价值之差，实现了细粒度的信用分配。
长度校准 (Length-Aware Calibration)： 对于正确的推理路径，如果某条路径比同一起点的其他正确路径更长，则对其优势值进行惩罚。
- 公式： $\hat{A}_{i,t} \leftarrow \hat{A}_{i,t} - |\hat{A}_{i,t}| \cdot (1 - (\frac{|o_s| - b_c}{|o_c| - b_c})^\alpha)$
- 其中 $o_s$ 是最短的正确响应， $o_c$ 是当前响应， $b_c$ 是分歧点， $\alpha$ 是超参数。这鼓励模型在保持正确性的前提下，生成更简洁的推理链。

3. 主要贡献 (Key Contributions)

提出 ROSE 框架： 首个结合语义熵引导的 MCTS 分支策略与 $\epsilon$ -探索机制的方法，显著提升了推理探索的多样性。
创新优势估计： 提出了结合推理长度的分段级优势估计方法，在提升性能的同时有效抑制了“过度思考”，实现了高效推理。
广泛的实验验证： 在 Qwen 和 Llama 系列模型上，针对 AIME2024/2025, AMC2023, MATH500 等多个数学推理基准进行了测试，证明了方法的有效性和泛化性。

4. 实验结果 (Results)

性能提升： 在多个数学基准测试中，ROSE 显著优于 GRPO 及其变体（如 DAPO, Dr.GRPO）以及其他 MCTS 基线方法（如 TreePO, FR3E）。
- 例如，在 Qwen3-8B 模型上，ROSE 在 AIME2024 上的 pass@8 达到了 33.33%，比次优方法高出 6.67%；在 AMC23 上达到 80.00%，提升 5.0%。
- 在 Llama-3.2-3B 模型上也取得了显著增益，证明了方法不依赖于特定模型架构。
多样性分析： 通过核密度估计（KDE）分析发现，基于语义熵的分支策略生成的响应在语义空间上的分布更分散（峰值更低，尾部更重），证明了其确实生成了更多样化的推理路径。
效率分析： 通过调整长度校准超参数 $\alpha$ ，ROSE 能够在保持高准确率的同时，显著减少推理 Token 数量（最长减少约 19.6%），有效解决了过度思考问题。
消融实验： 移除 $\epsilon$ -探索或随机分支会导致性能下降，证实了语义熵分支和混合探索策略的重要性；移除分段优势估计也会导致性能降低，证明了细粒度信用分配的有效性。

5. 意义与影响 (Significance)

理论突破： 指出了传统基于生成熵的 MCTS 分支策略在语义空间探索上的局限性，提出了基于语义嵌入的改进方案，为 LLM 的推理探索提供了新的视角。
实用价值： 通过长度感知机制，ROSE 不仅提升了模型的解题能力，还显著降低了推理成本（Token 消耗），这对于实际部署大模型推理服务至关重要。
通用性： 该方法不修改底层的 GRPO 损失函数，原则上兼容各种基于 GRPO 的算法，具有广泛的适用性。

总结： ROSE 通过“语义多样化探索”解决了推理路径单一的问题，通过“长度感知优势估计”解决了推理冗余的问题，为提升大语言模型在复杂推理任务中的表现提供了一套高效且有效的解决方案。