🤖 machine learning

HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression

HMPO 是一个具有成本效益的单阶段强化学习框架，它能高效地将思维链推理压缩 19%–46%，且在多种任务和模型规模下几乎没有精度损失，克服了现有方法中人工调优和多阶段训练的局限性。

原作者： Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但过于唠叨的学生。当你问他一个数学问题时，他不仅仅给出答案，还会写出一篇长达 50 页的小说，记录下他脑海中闪过的每一个念头，包括死胡同、“如果……会怎样”的假设以及冗长的解释。虽然这种“思考过程”（称为思维链，Chain-of-Thought）能帮助他得到正确答案，但它运行起来极其缓慢、昂贵，并且浪费大量能量。

这篇论文介绍了一种名为 HMPO（混合中位数长度策略优化，Hybrid Median-length Policy Optimization）的新方法，旨在教会这个学生如何在不失聪明的前提下做到言简意赅。

以下是 HMPO 的工作原理，我们使用简单的类比来解释：

1. 问题所在：“过度思考”的学生

目前的 AI 模型非常擅长推理，但它们会“过度思考”。对于一个问题，它们会生成数千个单词（Token）。这就像是问某人现在几点，结果对方却给你讲了一场关于钟表历史的讲座。这既费钱（计算能力成本高），又耗时。

现有的解决方法非常笨拙：

使用僵化的规则（例如，“在 1,000 个单词后停止说话”），这可能会切断对难题必要的解释。
需要昂贵的多步训练（比如先雇佣一名导师，再雇佣一名教练，最后还要一名经理），这既耗时又极其昂贵。
在应用于非常庞大、复杂的模型时，这些方法往往会失效。

2. 解决方案：HMPO（聪明的教练）

HMPO 是一个高效的单一训练过程，旨在教会 AI 言简意赅且保持准确。它使用了三个巧妙的技巧：

A. “金发姑娘”式的预算（自适应中位数）

与其设定一个固定的字数限制（比如“最多 500 字”），HMPO 会观察学生最近成功的回答。

类比： 想象一位教练正在观察一群跑步者。教练不会说“跑正好 10 分钟”，而是观察那些成功完成比赛的跑步者的中位数时间。
如何起作用： 如果题目很难，那些“成功”的回答自然会比较长，因此预算会放宽。如果题目很简单，成功的回答就会很短，因此预算会收紧。AI 学习如何自动瞄准“刚刚好”的长度，而不需要人类去猜测数字。

B. “平稳着陆”的奖励（余弦衰减）

通常，如果你告诉 AI“要短一点”，它可能会为了获得奖励而给出简短但错误的答案。HMPO 防止了这种情况。

类比： 想象一款电子游戏，你通过快速完成关卡来获得分数。但如果你完成关卡的方式是错误的，那么无论你多快，你的得分都是零。
如何起作用： HMPO 使用一种特殊的数学公式（乘法奖励）来表达：“正确性是首要考虑的。如果你错了，你的长度是多少都无关紧要，你得零分。” 如果你正确了，那么你会因为简洁而获得额外加分。这防止了 AI 通过偷懒或出错来作弊。

C. “一站式购物”（单阶段训练）

旧的方法需要一个漫长且复杂的过程：首先教 AI 变短（步骤 1），然后教它变正确（步骤 2），最后将两者结合。

类比： 与其花三年时间一砖一瓦地盖房子，HMPO 就像一台 3D 打印机，一次性就把整栋房子造好了。
如何起作用： 与旧方法相比，它将训练时间缩短了 1.5 到 2.5 倍。

3. 结果：更聪明、更快、更便宜

研究人员在从小型（90 亿参数）到庞大（1220 亿参数）的 AI 模型上测试了该方法。

神奇之处： 他们仅针对数学问题训练了 AI。
令人惊喜的是： 尽管它只在数学方面学习了如何言简意赅，但它在编程、科学和遵循指令方面也变得简洁了。这就像教一个学生写一篇简短的数学论文，结果他突然间连写短小精悍的电子邮件和代码也变得游刃有余。
数据表现： AI 将其“思考”长度减少了 19% 到 46%（显著减少了字数），同时几乎完全保持了准确度。
对比情况： 一个经过 HMPO 优化的 1220 亿参数压缩模型，其表现与规模更大、未经优化的模型不相上下，但它使用的单词更少，消耗的计算能力也更低。

总结

HMPO 是一种让 AI 停止“过度思考”的新方法。它使用一个智能的、自适应的系统，在简洁与正确之间找到完美的平衡。它训练成本更低，适用于大型模型，并且令人惊讶的是，仅仅通过练习数学，就能教会 AI 在许多不同学科中都能做到言简意赅。

该论文并未声称：

它并未声称适用于多轮对话（例如，AI 能记住之前对话内容的长时间聊天过程）。
它并未声称适用于医疗诊断或法律建议。
它并未声称适用于使用工具（如浏览网页或使用计算器）进行复杂循环的 AI 智能体。

技术摘要：HMPO —— 用于思维链压缩的混合中位数长度策略优化

1. 问题陈述

大型语言模型（LLMs）通过扩展思维链（Chain-of-Thought, CoT）过程展示了卓越的推理能力，如 OpenAI o1、DeepSeek-R1 和 Qwen-3 等模型所示。然而，这种“思考”范式带来了高昂的推理成本，其特征是由于每个查询生成数千个 token 而导致的高延迟和大量的资源消耗。

现有的 CoT 压缩方法面临三个关键局限性：

约束不灵活： 当前的方法依赖于人工调优的静态长度预算或僵化的二元“思考或跳过”决策，这限制了它们的适用范围（主要集中在数学领域），且无法适应不断变化的题目复杂度。
训练成本高昂： 有效的压缩通常需要计算成本高昂的多阶段流水线，包括数据蒸馏、监督微调（SFT）预热或渐进式迭代剪枝。
可扩展性脆弱： 评估主要局限于小型稠密模型（≤32B），使得该方法在最先进的大规模及混合专家（MoE）架构上的适用性尚未得到验证。

2. 方法论：HMPO

作者提出了 HMPO（Hybrid Median-length Policy Optimization，混合中位数长度策略优化），这是一个基于 GRPO（Group Relative Policy Optimization）构建的高效、单阶段强化学习框架。HMPO 通过三个协同组件解决了先前工作的局限性：

A. 自适应中位数预算

HMPO 不使用静态、人工定义的 token 预算，而是从训练批次内成功（正确）样本的长度中位数动态导出预算 $b$ 。

机制： 对于一组 $G$ 个采样（rollouts），识别出包含正确答案的子集 $C$ 。预算计算为 $b = \text{median}(\{n_i \mid i \in C\})$ ，其中 $n_i$ 是 token 长度。
益处： 这种方法将长度信号从带有噪声的失败尝试中分离出来，并创建了一个难度感知的约束。复杂的查询自然会产生较长的正确采样（放宽预算），而简单的查询则受到更严格的约束。随着策略的改进，预算会自动减少，形成一个无需人工干预的自我收紧课程。

B. 余弦衰减 Token 奖励

为了在不降低准确性的情况下惩罚冗余，HMPO 仅对成功的轨迹应用长度偏好。

机制： 对于长度 $n < b$ 的正确采样，使用平滑的余弦衰减函数定义 token 奖励 $R_{token}$ ：
$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$
错误或空的响应接收 $R_{token} = 0$ 。标量 $\lambda$ 控制长度诱导增益的大小。
益处： 这提供了一种“软着陆”式的惩罚，在保留必要推理步骤的同时鼓励更短的正确响应，避免了二元阈值带来的严厉惩罚。

C. 乘性奖励公式

为了严格优先考虑答案的正确性并防止“奖励作弊”（即模型生成短小但错误的答案以最大化长度奖励），最终奖励采用乘性形式构建：
$R_{final} = R_{acc} \cdot R_{token}$

机制： 当答案正确时， $R_{acc}$ 为 1；当答案错误时， $R_{acc}$ 为 0。
益处： 这强制执行了“正确性优先，长度第二”的层级结构。从数学上讲，任何错误的响应（其中 $R_{acc}=0$ ）无论其长度如何，最终奖励都为 0。这消除了针对错误响应的效率梯度，使训练免受奖励作弊的影响。

3. 核心贡献

方法论创新： HMPO 引入了自适应正确中位数预算、余弦奖励塑造和乘性奖励分解。这些组件共同解决了先前基于强化学习的压缩方法中存在的预算手动调节僵化、静态惩罚过于激进以及易受奖励作弊影响的问题。
跨领域泛化： 本文在 9B 到 122B 的稠密及 MoE 模型上进行了广泛评估。至关重要的是，HMPO 仅在数学数据上进行训练，却在代码、科学和指令遵循任务中展示了强大的泛化能力，且无需特定任务的微调。
前所未有的可扩展性： HMPO 实现了在大规模 MoE 架构（高达 122B 参数）上的首次成功 CoT 压缩。它在保持近乎完美的准确性等效性的同时，显著减少了 token 使用量，使这些模型能够以更少的 token 与规模大得多的前沿模型（如 700B+ MoEs）竞争。

4. 实验结果

实验在 Qwen3.5 系列模型（9B、35B-A3B 和 122B-A10B）上进行，这些模型是在 DeepMath-103K 的 6.5K 个实例上训练的。

压缩率 vs. 准确率： HMPO 在不同模型规模下实现了 19%–46% 的 token 压缩，且准确率下降微乎其微。
- 在 Qwen3.5-9B 上，它减少了 46% 的输出 token，平均准确率仅下降 0.02 个百分点 (pp)。
- 在 Qwen3.5-122B 上，它实现了 19% 的压缩，准确率下降 0.10 pp。
与基准模型对比：
- ThinkPrune： 虽然实现了更高的压缩率（64–72%），但遭受了严重的准确率下降（下降 11–22 pp）。
- Thinkless： 由于 SFT 导致的模式崩溃，在较小模型上表现出灾难性失败（准确率 <15%）。
- AdaptThink： 提供边际收益，但在较大模型上无法有效压缩，有时甚至会增加 token 长度。
训练效率： 通过消除蒸馏和 SFT 阶段，与多阶段基准相比，HMPO 减少了 1.5×–2.5× 的训练 GPU 小时数。
Token 效率： 在 AIME 2026 上，经过 HMPO 训练的 122B 模型在保持与显著更大的前沿模型（如 Nemotron-3-Super-120B 和 Kimi-K2.5-1T）竞争力的同时，大幅削减了 23% 的 token 消耗。

5. 意义与主张

本文声称 HMPO 通过提供一种单阶段、即插即用的优化策略，代表了高效推理领域的范式转变。其重要性在于：

消除手动调优： 自适应中位数预算消除了繁琐且针对特定领域的长度预算调优需求。
数学鲁棒性： 乘性奖励公式在数学上防止了模型为了简洁性而牺牲正确性的行为。
实际部署： 通过在多种架构和领域实现高压缩率且几乎无准确率损失（尽管仅在数学上训练），HMPO 使得高效部署先进推理 LLM 成为可能，在无需复杂多阶段训练流水线的情况下大幅降低了推理成本。

作者承认了在多轮推理和智能体任务方面的局限性，指出目前的框架是为单轮设置设计的，将其扩展到交互式或基于工具的任务场景仍是未来的研究方向。