💬 NLP

Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization

该论文提出了一种名为“策略分裂”（Policy Split）的新范式，通过将大语言模型策略划分为正常模式和高熵模式并实施协同的双模态熵正则化，在确保任务准确性的同时有效促进了多样化探索，从而在各类任务中显著优于现有的熵引导强化学习基线方法。

原作者： Jiashu Yao, Heyan Huang, Chuwei Luo, Daiqing Wu, Zeming Liu, Yuhang Guo, Yangyang Kang

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiashu Yao, Heyan Huang, Chuwei Luo, Daiqing Wu, Zeming Liu, Yuhang Guo, Yangyang Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**“策略分裂”（Policy Split）**的新方法，旨在解决大语言模型（LLM）在强化学习（RL）训练中的一个核心矛盾：既要保持高准确率（像学霸一样做题），又要鼓励大胆探索（像艺术家一样发散思维）。

为了让你更容易理解，我们可以把大语言模型想象成一个**“超级天才学生”，把这篇论文的方法想象成一种“双轨制特训”**。

1. 核心问题：为什么“既要又要”很难？

在传统的强化学习训练中，我们通常希望模型“既聪明又多样”。

现状：如果我们强行要求模型“多尝试、多发散”（增加熵），它往往会变得胡言乱语，准确率下降（就像学生为了追求解题思路新颖，结果把答案算错了）。
现状：如果我们只要求模型“追求正确答案”（降低熵），它又会变得死板、保守，只会用一种套路解题，缺乏创造力（就像学生只会背公式，遇到新题就懵了）。

这就好比让一个运动员**“既要跑得最快，又要跳出最花哨的舞步”**，如果混在一起练，往往两头不讨好。

2. 解决方案：策略分裂（Policy Split）

这篇论文的妙处在于，它没有试图让“同一个大脑”同时做这两件矛盾的事，而是在一个模型里“分裂”出两个不同的“人格”或“模式”。

想象一下，这个“超级天才学生”戴上了两副不同的眼镜：

👓 模式一：严谨模式（Normal Mode）

角色：“严谨的学霸”。
任务：专门负责做数学题、逻辑推理。
目标：只追求答案正确。它非常保守，只走最稳妥的路，确保每一步都精准无误。
比喻：就像考试时的你，只关心得分，不敢乱写，每一步都小心翼翼。

🎨 模式二：高熵模式（High-Entropy Mode）

角色：“疯狂的艺术家”。
任务：专门负责创意写作、头脑风暴。
目标：只追求思路新颖。它被鼓励去尝试各种奇怪的角度、走弯路、甚至“胡思乱想”，只要最终能碰巧找到正确答案就行。
比喻：就像你在写小说时的你，思维天马行空，不管多离谱的点子都敢写，为了寻找独特的灵感。

3. 它们如何合作？（双模态协同）

这两个模式虽然性格迥异，但它们共享同一个大脑（模型参数），并且通过一种特殊的机制互相学习：

互相借经验：
- “艺术家”模式可能会因为大胆尝试，偶然发现了一条“学霸”模式从未想过的正确解题路径。
- “学霸”模式会把这条新路径“抄”过来，丰富自己的知识库。
- 反过来，“学霸”模式提供的稳定正确答案，也能防止“艺术家”模式因为太疯狂而彻底跑偏（变成胡言乱语）。
互相拉开差距：
- 训练机制会刻意让这两个模式的行为差异变大。如果它们开始变得太像了，系统就会惩罚它们，强迫“艺术家”继续发散，强迫“学霸”继续严谨。
- 比喻：就像教练规定，两个人必须往相反的方向跑，跑得越远，训练效果越好。

4. 这种方法好在哪里？

实验结果表明，这种“双轨制”非常成功：

准确率没掉：“严谨模式”依然能保持极高的做题准确率，甚至比以前的方法更稳。
创造力爆棚：“艺术家模式”在写故事、搞创意时，能产生更多样化、更独特的内容，而且依然能保持不错的准确度（没有变成乱码）。
1+1 > 2：通过互相学习，整个模型的能力上限被提高了。

5. 总结与类比

如果把大语言模型比作一家餐厅：

以前的方法：试图让同一个厨师既做最精准的“分子料理”（高准确率），又做最随性的“创意菜”（高探索）。结果往往是：要么菜做得太死板，要么味道太奇怪。
这篇论文的方法（Policy Split）：
- 让这位厨师戴上两顶不同的帽子。
- 戴白帽子时，他是米其林评审员，严格遵循食谱，确保每一道菜都完美无缺。
- 戴花帽子时，他是疯狂发明家，敢把辣椒加进冰淇淋里，尝试各种怪味组合。
- 最关键的是，发明家发现的新奇配方如果好吃，评审员会把它加入标准菜单；评审员的标准流程也能防止发明家把厨房炸了。

一句话总结：
这篇论文通过让大模型“分身”成严谨的学霸和疯狂的艺术家，让它们互相学习、互相制衡，最终实现了既聪明又富有创造力的完美平衡。

1. 研究背景与问题 (Problem)

在大语言模型（LLM）的强化学习（RL）应用中，尤其是针对大型推理模型（LRMs，如 o1、R1 类模型）的持续后训练，存在一个核心矛盾：探索（Exploration）与利用（Exploitation）之间的冲突。

现有方法的局限性： 传统的熵引导 RL 方法（Entropy-guided RL）试图通过最大化熵来鼓励模型进行更多样化的探索。然而，研究表明，强制提高熵往往会导致模型输出变得不连贯，甚至直接损害模型的准确性（Accuracy Drop）。
具体痛点： 对于已经具备强大推理能力的低熵 LRMs，强行引入高熵偏好会破坏其已建立的稳健能力，导致性能下降。现有的单一策略（Single Policy）难以同时兼顾“保持高精度”和“鼓励高熵探索”这两个相互冲突的目标。

2. 核心方法论 (Methodology)

为了解决上述矛盾，作者提出了 Policy Split（策略分裂） 范式。其核心思想是在同一个模型参数中，通过提示词（Prompt）将策略分裂为两个不同的模式，并采用**双模态熵正则化（Dual-Mode Entropy Regularization）**进行协同训练。

2.1 双模态策略分裂 (Dual-Mode Bifurcation)

模型被逻辑上分裂为两种模式，共享底层参数但通过系统提示词（System Prompt）区分：

正常模式 (Normal Mode)： 无特殊提示词。优化目标纯粹是任务正确性，保持模型的推理精度。
高熵模式 (High-Entropy Mode)： 添加特定的系统提示词（如“你现在处于‘高熵’模式，请探索独特的思维路径..."）。优化目标是在保持可接受准确性的前提下，最大化熵和多样性，鼓励探索非传统的解题思路。

2.2 双模态熵正则化 (Dual-Mode Entropy Regularization)

这是该方法的核心创新，旨在让两个模式在训练中获得不同的优势信号（Advantage Signals）：

正常模式的优势计算： 沿用标准的 GRPO 方法，仅基于任务奖励（Correctness）计算优势值 $A_{i,t}$ 。
高熵模式的优势计算： 在标准优势值基础上，引入两项修正：
1. 熵偏好项： 鼓励高熵的 rollout。
2. KL 散度项： 鼓励高熵模式的分布与正常模式保持差异（ $D_{KL}(\pi_{HE} || \pi)$ ），防止两者趋同。
3. 截断技术 (Clamping)： 防止熵项过大导致训练信号符号翻转，保证训练稳定性。
- 公式核心： $eA_{i,t} = A_{i,t} + \eta \cdot \text{clip}(B_{i,t}, \dots)$ ，其中 $B_{i,t}$ 包含熵和 KL 散度项。

2.3 协同训练机制 (Collaborative Training)

Rollout 共享 (Rollout Sharing)： 两个模式共享采样的轨迹（Rollouts）。
- 正常模式可以从高熵模式发现的“正确但新颖”的解中学习。
- 高熵模式可以从正常模式的“稳定正确”解中获取基准，防止策略崩溃（Collapse）成无意义的随机输出。
联合优化目标： 最终损失函数 $J_\theta$ 是正常模式损失和高熵模式损失的加权和，通过共享数据实现互学习。

3. 主要贡献 (Key Contributions)

提出 Policy Split 框架： 首创在单模型内通过提示词分裂策略，并设计双模态熵正则化，成功解耦了“精度压力”与“探索需求”。
实验验证有效性： 在多个模型规模（Qwen3-1.7B/4B/8B）和多种任务（数学推理、科学问答、创意写作）上，Policy Split 均显著优于现有的熵引导基线方法。
揭示双模态探索机制： 证明了该方法能训练出具有显著行为差异的两个子策略：正常模式保持高精度，高熵模式生成独特的行为模式，两者在 KL 散度上表现出显著差异，且高熵模式能发现正常模式忽略的独特正确解（Best-of-N 分数更高）。
泛化性分析： 验证了通过提示词控制模式切换的能力具有一定的泛化性，能够适应未见过的提示词变体。

4. 实验结果 (Results)

4.1 通用任务 (General Tasks)

在 MATH-500, AIME, GPQA-Diamond, MMLU-Pro 等基准测试中：

精度提升： Policy Split 在所有模型尺寸上均取得了比原始模型和 GRPO 基线更高的平均准确率（例如 Qwen3-8B 上平均准确率从 73.94% 提升至 75.15%）。
熵值恢复： 成功在持续训练中“复活”了低熵 LRMs 的熵值。高熵模式在平均熵值上显著高于基线（例如 Qwen3-8B 熵值从 0.45 提升至 0.70+），且未造成精度的大幅崩塌。
对比优势： 相比单纯的熵正则化（Entropy Regularization）或熵优势（Entropy Advantage），Policy Split 在保持精度的同时获得了更好的多样性。

4.2 创意任务 (Creative Tasks)

在创意写作任务中：

多样性指标： 高熵模式在 N-gram 多样性、Self-BLEU 多样性等规则指标上表现最佳。
LLM 评估： 在创造力（Creativity）、原创性（Originality）和意象（Imagery）等维度上，高熵模式显著优于基线模型，证明了高熵探索能有效提升内容的创新性。

4.3 消融实验 (Ablation Studies)

系数敏感性： 熵优势系数 $\eta$ 和 KL 权重 $\alpha$ 对平衡探索与利用至关重要， $\eta=0.03$ 和 $\alpha=0.5$ 为最佳配置。
共享机制： 仅共享 Rollout 而不使用双模态损失无法提升性能，证明双模态正则化是核心驱动力。
提示词泛化： 即使使用改写的高熵提示词，模型仍能保持高熵行为，但对低熵提示词的响应较弱，表明模型主要学习了“高熵”这一特定行为模式。

5. 意义与影响 (Significance)

突破精度 - 多样性权衡： Policy Split 证明了不需要在“高精度”和“高多样性”之间做零和博弈。通过架构上的策略分裂，模型可以同时拥有“严谨的解题者”和“富有创造力的探索者”两种能力。
推理模型的新范式： 为大型推理模型（LRMs）的持续后训练提供了新思路，即通过显式的模式控制来引导模型在特定场景下切换行为模式，而非依赖单一的随机采样。
实际应用场景： 该方法使得同一个模型可以通过简单的提示词切换，在需要严谨逻辑的数学/科学任务中保持高精度，在需要创意的写作/头脑风暴任务中激发多样性，极大地提升了 LLM 的灵活性和可用性。

总结： 该论文通过巧妙的“策略分裂”和“双模态正则化”设计，成功解决了强化学习中探索与利用的长期冲突，为构建既聪明又富有创造力的大语言模型提供了一条高效且可扩展的技术路径。