💬 NLP

Hint-Guided Diversified Policy Optimization for LLM Reasoning

本文提出了提示引导的多样化策略优化（HDPO），这是一个通过模拟人类解决问题的“提议-选择-思考”轨迹来生成多样化候选解并从中选择最可靠解的过程，从而增强大语言模型推理能力的两阶段框架。

原作者： Zhiyu Cao, Kaixin Wu, Mingjie Zhong, Peifeng Li, Xiaobo Li, Can Ye, Qiaoming Zhu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiyu Cao, Kaixin Wu, Mingjie Zhong, Peifeng Li, Xiaobo Li, Can Ye, Qiaoming Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 "Hint-Guided Diversified Policy Optimization (HDPO) for LLM Reasoning" 的中文翻译，保留了原有的语言风格、类比和结构。

大问题：“单线思维”的 AI

想象一下，你正在尝试解决一个非常棘手的数学谜题。如果你要求一个标准的语言大模型（LLM）来解决它，它通常表现得像一列单轨火车。它选定了一条路径，开始沿着轨道向前奔跑，直到撞墙或到达终点。

问题在于，如果它在最开始就选错了轨道，它很难意识到自己的错误。它会一直沿着错误的路径计算下去，直到给出一个看似自信但实际上错误的答案。这就是论文中所说的“解法同质化”（solution homogenization）——模型陷入了一种思维定式，拒绝寻找其他可能性。

目前的方法试图通过只在最终答案正确时给予模型“奖励”来修复这个问题。但这就像告诉一个学生：“只有当你拿到 100 分的最终成绩时，你才能得到一颗金星”，却没告诉他们应该如何学习，也没有鼓励他们尝试不同的学习方法。如果他们失败了，他们不知道哪里出了错，而且下次可能还是会猜同一个错误的答案。

解决方案：“提议-选择-思考”策略

论文作者提出了一种名为 HDPO（提示引导的多样化策略优化）的新型训练方法。他们教会 AI 像人类专家一样思考：提议、选择并思考。

想象一位正在侦破案件的侦探。侦探不会立即跳向一个理论，而是一个优秀的侦探会：

提议（Propose）： 列出几种不同的嫌疑人或理论（例如：“也许是管家干的”、“也许是园丁干的”、“也许是一场抢劫案”）。
选择（Select）： 查看证据，并挑选出最有前景的一个理论进行深入调查。
思考（Think）： 深入研究那个特定的理论以破解案件。

HDPO 强制要求 AI 这样做。在开始解决数学问题之前，它必须先写下一份不同的候选策略清单（即“提示”/hints）。然后，它必须从那份清单中选出最好的一个来进行数学计算。

工作原理：两个阶段的训练

论文描述了一个教导 AI 这种新思维方式的两步过程：

第一阶段：“冷启动”（学习剧本）

首先，AI 需要学习如何写出一份想法清单并从中选择一个。研究人员使用一个超级聪明的 AI（“老师”）来生成这种“提议-选择-思考”过程的示例。

过滤器（The Filter）： 他们并不只是使用任何示例。他们检查两件事：
1. 正确性： 最终答案是否与真相匹配？
2. 可靠性： AI 是否从它的清单中选对了策略？（例如：如果清单里有一个“坏”想法和一个“好”想法，AI 是否选了那个好的？）
结果： AI 在这些高质量的示例上进行训练，从而学会这种新思维模式的结构。

第二阶段：强化学习（探索的“游戏”）

一旦 AI 掌握了结构，他们就让它通过玩游戏来变得更好。他们给了它两个特殊的“奖励”（分数）来鼓励良好的行为：

多样性奖励（“多样性”分数）：
- 目标： 如果 AI 的所有候选想法看起来都一样，它就会受到惩罚。
- 类比： 想象一位厨师被要求列出 5 种烹饪鸡蛋的方法。如果厨师列出的是“煎蛋”、“煎蛋”、“煎蛋”、“煎蛋”、“煎蛋”，他会得到零分。但如果他列出的是“煎蛋”、“水煮蛋”、“炒蛋”、“荷包蛋”和“欧姆蛋”，他就会获得加分。
- 为什么？ 这迫使 AI 去探索“解法空间”的不同部分，这样它就不会陷入死循环。
可靠性奖励（“信心”分数）：
- 目标： 如果 AI 从它的清单中选择了最好的想法进行研究，它就会得到分数。
- 技巧： 在不重新解决问题的情况下，他们如何知道哪个想法最好？他们观察 AI 的置信度（它对自己所说的话有多确定）。如果 AI 对某个特定想法非常有信心，那么它很可能是一个好的想法。
- 奖励： 如果 AI 选择了它最有信心的那个想法，它就会得到分数。这教会了 AI 在选择路径时信任自己的“直觉”。

结果：为什么它很重要

论文在困难的数学问题（如数学竞赛题目）上测试了这种方法。

“命中率”测试： 他们要求 AI 在有限的尝试次数内（例如只有 1 次或 2 次尝试机会）解决问题。
结果： 标准的 AI 模型（如 GRPO）在只有一次或两次尝试时表现得很糟糕，因为它们被困在了错误的路径上。然而，HDPO 即使在尝试次数很少的情况下也能持续获得正确答案。
为什么？ 因为 HDPO 不仅仅是在瞎猜；它观察了多条路径，选出了正确的那条，然后解决了它。它具有更强的“容错性”。

一句话总结

该论文介绍了一种训练方法，教导 AI 模型列出多种可能的解决方案，挑选出最好的一个，然后进行求解，这使得它们在解决复杂问题时比那些只会盲目猜测的模型更加聪明且可靠。

技术摘要：用于大语言模型推理的提示引导多样化策略优化 (HDPO)

问题陈述

近期，大语言模型（LLMs）在通过可验证奖励进行强化学习（RLVR）方面展现出了显著的推理能力。然而，现有的 RLVR 框架（如 GRPO）主要受限于结果层面的奖励。这些机制仅评估最终答案的正确性，缺乏显式信号来引导模型探索多样化的解题路径。因此，模型往往会出现解法同质化问题；如果模型陷入错误的推理轨迹，由于缺乏对解空间充分的探索，它将难以恢复或识别出正确答案。这种局限性降低了推理过程的容错能力，尤其是在采样尝试次数受到限制的情况下。

方法论

为了解决这些局限性，作者提出了**提示引导的多样化策略优化（Hint-Guided Diversified Policy Optimization, HDPO）**框架，旨在通过“提议-选择-思考”（propose-select-think）的推理轨迹，激励生成多样且可靠的解法。HDPO 分为两个不同的阶段运行：

1. 用于结构化推理的冷启动

第一阶段采用监督微调（SFT）将“提议-选择-思考”模式植入策略模型中。

数据构建： 使用高级教师 LLM 生成结构化的推理轨迹。对于给定问题，模型被提示首先列出多个候选解法大纲（提示/hints），选择最可靠的一个，然后进行详细推理。
过滤： 为确保数据质量，生成的轨迹经过两重过滤过程：
- 正确性检查： 将最终答案与标准答案进行对比。
- 可靠性检查： 使用轻量级模型对每个候选解法大纲进行采样以计算准确率。只有当所选候选方案与表现出最高采样准确率的方案一致时，该轨迹才会被保留。
目标： 策略模型通过微调来遵循这种结构化格式，从而建立在进行推理前生成候选提示的基础。

2. 提示引导的多样化强化学习

在第二阶段，模型通过强化学习（RL）来优化生成多样且可靠解法的能力。总奖励函数由四个部分组成：

格式奖励 ( $r_{fmt}$ )：确保输出符合“提议-选择-思考”的结构（例如，特定标签的存在、候选数量在 1 到 5 之间）。
准确性奖励 ( $r_{acc}$ )：基于最终答案是否匹配标准答案提供二元信号（1 或 0）。
多样性奖励 ( $r_{div}$ )：鼓励模型生成截然不同的候选解法。候选解法被编码为嵌入向量（embeddings），并通过余弦相似度衡量其相似性。为了防止模型在训练初期优先考虑多样性而非正确性，采用了多样性调度策略。该策略使用基于正弦函数的学习系数，在预热期后逐渐增加多样性奖励的权重。
可靠性奖励 ( $r_{rel}$ )：激励模型选择最可靠的候选方案。由于基于采样的可靠性检查在 RL 过程中计算成本过高，作者使用**标记熵（token entropy）**作为置信度的代理指标。熵值较低（置信度较高）的解法排名更高。奖励与所选解法在所有候选方案中的排名成反比（例如，如果所选解法是第 $k$ 个最可靠的，则 $r_{rel} = 1/k$ ）。

总奖励计算如下：
$r_i = r_{fmt} + r_{acc} + \mathbb{I}[r_{acc} > 0] \cdot r_{div} + \bar{r}_{acc} \cdot r_{rel}$
其中，多样性奖励仅在答案正确时应用，且可靠性奖励根据组内平均准确率进行缩放，以缓解过度自信的问题。

核心贡献

HDPO 框架： 引入了一种基于“提议-选择-思考”范式的创新框架，使模型能够在提交推理路径之前，显式地生成候选解法提示。
多样性与可靠性机制： 开发了多样性调度策略和基于置信度的可靠性奖励，共同优化了对解空间的探索以及对鲁棒候选方案的选择。
策略内化： 不同于通过重复采样产生高延迟的推理时搜索方法（如思维树 Tree-of-Thought），HDPO 通过 RLVR 将“先探索后利用”的机制内化到策略参数中，实现了零开销的单次通过推理。

实验结果

作者在九个推理基准测试上评估了 HDPO，包括 AMC 2023、AIME 2024/2025、Math-500、Minerva、Olympiad-Bench、MMLU-Pro、SciBench 和 GPQA-Diamond，并使用了不同规模的主干模型（Qwen3-4B、Qwen2.5-Math-7B 和 DeepSeek-R1-Distill-Llama-8B）。

性能提升： HDPO 一致优于标准的 GRPO 和其他先进的 RLVR 基线（如 EDGE-GRPO、Critique-GRPO、LUFFY）。例如，在 Qwen3-4B 模型上，HDPO 达到了 61.03 的平均分，而 GRPO 为 53.76。
命中率（Hit Rate）提升： 实验表明，即使在采样尝试次数有限的情况下，HDPO 仍能保持卓越的准确率（Hit@N）；相比之下，随着尝试次数减少，GRPO 的性能显著下降，这表明 HDPO 在更少的尝试中找到正确解的能力更强。
消融研究： 移除冷启动阶段、多样性奖励或可靠性奖励都会导致性能显著下降，证实了每个组件的必要性。研究还验证了使用更强的教师模型进行冷启动数据生成会带来更好的结果，尽管一种自我演进的迭代方法也显示出了潜力。
效率： 虽然 HDPO 引入了轻微的推理延迟增加（与 SOTA 方法相比增加不到 0.2 秒），但其推理时间仍保持在 1 秒以内，使其在提供显著推理改进的同时，具备在实际场景中部署的能力。

重要性与主张

本文声称 HDPO 有效解决了当前 RLVR 框架中的解法同质化问题。通过显式激励生成多样化的候选解法并训练模型选择最可靠的方案，HDPO 增强了模型的容错性和推理鲁棒性。作者强调，我们的方法超越了仅以准确性为中心的优化，通过联合优化多样性和可靠性，使 LLM 能够探索更广泛的潜在解空间，并在无需推理时搜索计算开销的情况下识别出最有希望的路径。结果表明，HDPO 是一种可扩展且有效的策略，能够增强 LLM 在数学及通用领域的推理能力。