🤖 machine learning

Compress the Easy, Explore the Hard: Difficulty-Aware Entropy Regularization for Efficient LLM Reasoning

该论文提出了 CEEH，一种难度感知强化学习框架，该框架通过动态应用选择性熵正则化，在压缩简单问题的推理过程的同时为难题保留探索能力，从而在不牺牲准确性或鲁棒性的前提下，有效降低推理延迟。

原作者： Qin-Wen Luo, Sheng Ren, Xiang Chen, Rui Liu, Jun Fang, Naiqiang Tan, Sheng-Jun Huang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Qin-Wen Luo, Sheng Ren, Xiang Chen, Rui Liu, Jun Fang, Naiqiang Tan, Sheng-Jun Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《压缩简单的，探索困难的》（Compress the Easy, Explore the Hard）的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：过于“话痨”的 AI

想象你有一个才华横溢但极其啰嗦的学生（AI）。当你问他一道数学难题时，他不仅会给出答案，还会写一篇长达 10 页的文章，详细解释他的每一个念头、每一次错误和每一次修正。

虽然这种“思维链”（Chain of Thought）有助于他得到正确答案，但对于速度和成本来说简直是一场噩梦。这就像雇佣了一位导游，在你看到风景之前，他非要坚持把这座建筑里每一块砖头的历史都讲给你听。这太慢了，成本太高，而且拖慢了所有进度。

科学家们试图通过告诉 AI：“简洁一点！去掉废话！”来解决这个问题。他们使用了一种奖励机制（强化学习），即根据回答的长度来给予分数。

其中的陷阱： AI 变得过于擅长“变短”了。它停止了深度思考。为了快速完成任务，它开始瞎猜或者采取危险的捷径。这就像一个学生停止了学习，为了省时间直接背下了答案的首字母。结果是？AI 变快了，但面对难题时却开始出错。

解决方案：CEEH（压缩简单的，探索困难的）

该论文的作者 Luo Qin-wen 等人意识到，“一刀切”的方法行不通。你不能用对待简单问题（如“2+2 等于几？”）的方式去对待复杂的谜题（如高级数学竞赛题）。

他们创造了一种名为 CEEH 的新方法。你可以把它想象成一位聪明的教练，知道何时该踩刹车，何时该踩油门。

1. “难度检测器”（教练的眼睛）

AI 会不断自检：“我现在处理这个问题有多强？”

如果 AI 已经做得很好（简单）： 教练会说：“做得好！你知道这个。别再过度解释了，直接给我简短、干净的答案。” 此时允许 AI 压缩其思考过程。
如果 AI 正在挣扎（困难）： 教练会说：“喔，慢点。你还不确定。不要急，继续探索不同的路径，犯错，并进行深度思考。” 此时强制要求 AI 保持宽广的“思考空间”。

2. “熵”的类比（探索空间）

在 AI 术语中，这种“思考空间”被称为熵（Entropy）。

高熵： AI 像一名拥有许多未结案件的侦探，尝试各种线索，并考虑各种疯狂的理论。虽然混乱，但很周全。
低熵： AI 像一个只看最明显线索的机器人。它很高效，但对隐藏的解决方案视而不见。

论文发现，当你强迫 AI 变短时，它的“熵”会坍缩（它停止了探索）。CEEH 通过在难题上保护探索能力，而在易题上允许压缩，解决了这个问题。

3. “最短正确路径”规则（动态惩罚）

通常，当你要求 AI 变短时，你会设定一个固定的限制（例如“不超过 50 个词”）。但论文认为这种做法过于僵化。

相反，CEEH 使用了一个动态尺子。

假设 AI 第一次用 1000 个词正确解决了某个难题。这就是它目前的“最佳”长度。
下次，如果它用 800 个词正确解决了同一个难题，教练会说：“很好！你找到了更短的路径。让我们以此为目标。”
如果它尝试用 500 个词解决但错了，教练会说：“太短了！你漏掉了一个步骤。回到 800 词的版本。”

这确保了只有当 AI 仍然能得到正确答案时，它才会因为变短而获得奖励。这防止了 AI 在处理难题时偷工减料。

实验结果如何？

研究人员在六个不同的数学和推理基准测试（如 GSM8K、MATH 和 AIME）上进行了测试。

结果： AI 变得显著更短了（节省了大量时间和成本），但并没有损失准确性。事实上，在某些难题测试中，它比以前表现得更好。
对比： 其他仅仅试图缩短回答的方法会让 AI 变得更笨。CEEH 让 AI 在不变笨的前提下变得更快。
“Pass@k” 的提升： 这是一种高级说法，意思是“如果你让 AI 尝试 16 次，它能成功多少次？”CEEH 提高了这个数值，证明了 AI 实际上是在更好地思考，而不仅仅是更快地瞎猜。

总结

该论文认为，要让 AI 变得高效，我们不应该只是强迫它保持沉默。我们需要聪明地决定在哪里要求它保持沉默。

简单问题？ 简短一些。
难题？ 保持探索并深度思考。

通过使用这种“难度感知”的方法，AI 学会了既能成为短跑选手（应对简单任务），又能成为马拉松选手（应对困难任务），从而实现了两者的完美结合：既有速度，又不牺牲智能。

技术摘要：压缩易题，探索难题 (CEEH)

问题陈述

思维链 (CoT) 提示通过外显中间步骤，显著增强了大语言模型 (LLM) 的推理能力。然而，这种显式的推理过程往往导致输出冗长，从而产生高昂的推理延迟和计算成本。现有的推理压缩方法通常采用带有长度约束（例如显式长度惩罚）的强化学习 (RL)，但面临一个关键的失效模式：过度优化简洁性会触发快速的熵崩溃 (Entropy Collapse)。

随着策略为了满足长度约束而变得过于确定，探索空间会过早缩小。这使得模型无法为那些需要大量演绎、自我反思或错误纠正的挑战性问题发现有效的推理路径。因此，这些方法往往以牺牲推理准确性为代价来换取简洁性。这里存在一个核心矛盾：统一的熵正则化可以维持探索，但会导致轨迹过长（抵消了压缩效果）；而统一的长度惩罚可以压缩轨迹，但会导致熵崩溃（降低了准确性）。

方法论：CEEH

作者提出了 CEH (Compress the Easy, Explore the Hard)，这是一个能够动态平衡探索与压缩的难度感知框架。该方法在群体相对策略优化 (GRPO) 的设置中集成了两个协同组件：

1. 难度感知的熵正则化
CEEH 不再应用统一的正则化，而是有选择地在“难题”上维持探索，而在“易题”上允许激进的压缩。

动态难度估计： 系统使用非对称指数移动平均 (Asymmetric EMA) 为每个问题维护历史准确率估计。如果一个问题的历史准确率低于全局数据集平均水平，则将其分类为“难题” ( $D_h$ )。该阈值会随着模型的改进而演进。
选择机制：
- 针对难题 ( $D_h$ )： 该方法应用更强的熵正则化。这是通过放大正则化系数（例如在余弦退火调度中应用 $5\times$ 倍数）并引入基于熵的优势项 ( $\psi(H)$ ) 来实现的，该项旨在激励生成高熵 token。这保留了多样化的搜索空间，以防止过早收敛。
- 针对易题： 放宽正则化，允许策略自信地利用更短、更成熟的推理路径。

2. 动态最优长度惩罚
为了抵消在处理难题时由于熵正则化可能导致的长度膨胀，CEEH 引入了动态的、针对问题层级的长度惩向。

机制： 系统追踪每个特定问题的历史最短正确响应长度 ( $L_x$ )。
惩罚函数： 仅对超过这一不断演进的基准线的正确响应应用惩罚。惩罚计算为相对偏差： $R_{len} = (L_{x, y_i} - L_x) / L_x$ 。
自适应信号： 这种设计确保了即使在模型能力提升且响应长度自然缩短的过程中，压缩信号仍能保持稳定且具有辨别力。它防止了模型利用熵正则化在困难问题上生成不必要的长输出。

训练动态
总奖励结合了可验证奖励（准确性）和长度惩罚： $R_{total} = R - \beta R_{len}$ 。该方法采用了特定的实现策略，例如增加上限裁剪阈值 (Clip-Higher) 以鼓励探索，并避免优势标准化 (Advantage Standardization) 以防止长度惩罚信号被削弱。

核心贡献

识别熵崩溃： 本文从熵的角度提供了视角，指出快速的熵衰减是现有推理压缩方法导致准确性-长度权衡失败的主要因素。
CEEH 框架： 一个整合了难度感知熵正则化（以在困难任务上维持探索）和动态最优长度惩罚（以稳定训练并强制压缩）的新颖框架。
实证验证： 证明了 CEEH 与强基线相比实现了更优的准确性-效率权衡，有效地在不牺牲正确性的前提下压缩了推理过程。

实验结果

该方法在六个数学推理基准测试（GSM8K, MATH500, AIME24/25, AMC, OlymBench）上使用 R1-Distill-Qwen2.5 模型进行了评估。

准确性 vs. 长度： 与基座模型相比，CEEH 在保持与基座模型相当或略高的准确性的同时，一致减少了 30% 以上的响应 token 数。
与基线对比：
- 提示工程/离线方法： 通常表现出准确性波动，或无法在不同难度水平间泛化。
- 仅限长度的 RL（如长度惩罚法）： 虽然在缩短长度方面有效，但这些方法经常降低 Pass@k 性能，表明由于熵崩溃导致了底层推理能力的丧失。
- CEH： 维持或提高了 Pass@k 分数，表明该方法通过受控的探索保留了模型发现正确解的能力。
鲁棒性： 该方法在不同规模（1.5B 和 7B 参数）的模型以及多样化的推理任务中表现出良好的泛化能力。
训练效率： 得益于在挑战性问题上的高熵探索，CEH 比统一惩罚策略实现了更高的训练准确性和更好的数据效率。

意义与主张

论文声称 CEEH 通过明确区分“何处压缩”和“何处探索”，解决了推理压缩与能力保留之间的紧张关系。

保留推理能力： 通过防止困难实例上的熵崩溃，CEH 确保模型能够保留进行复杂演绎和自我纠正的能力，而不是仅仅对次优的捷径解变得自信。
稳定的压缩： 动态最优长度惩罚提供了一个稳健的信号，能够适应模型不断提升的能力，防止了在应用统一熵正则化时常见的“长度膨胀”现象。
泛化性： 该方法证明，只要基于实例难度进行自适应管理探索，LLM 推理的效率提升并不一定需要以准确性为代价。

研究结论认为，在基于强化学习的 LLM 优化过程中，进行原则性的熵控制对于维持真正的推理能力至关重要。