🤖 AI

QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization

该论文提出了 QLPO，这是一种基于 GRPO 的简单重采样变体，它通过在训练期间倾向于短的正确输出和长的错误输出，从而隐式地控制响应长度，进而显著降低推理延迟，同时在各种模型规模上保持推理准确性。

原作者： Siwei Chen, Siqi Chen, Xupeng Miao, Bin Cui

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Siwei Chen, Siqi Chen, Xupeng Miao, Bin Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：你最喜欢的 AI 助手不仅聪明绝顶，而且还极其话痨。当你问它一个简单的数学问题时，它给出的不是一个简洁的答案，而是写成了一部小说，详细解释它每一个念头，甚至反复检查三次自己的工作，并为给你添麻烦而道歉。这正是目前“大型推理模型”（Large Reasoning Models）的现状。这些超级智能的计算机程序通过“思维链”（Chain-of-Thought）这一过程——即大声思考的过程——来训练自己解决难题。它们使用一种叫做“强化学习”的技术，这就像训练狗一样：如果你说“坐下”，狗就坐下了，它就会得到奖励；如果 AI 得出了正确答案，它也会得到一份数字奖励。问题在于？AI 学会了获得奖励的最佳方式就是“多说话”。它认为话越多，答案就越好，因此开始生成数以千计的多余文字。这使得 AI 运行缓慢、成本高昂且读起来令人厌烦。科学家们正试图教会这些模型在不变得“更笨”或降低准确性的前提下保持简洁。

于是，一种名为 QLPO（用于长度感知策略优化的象限加权采样）的新方法出现了。你可以把 QLPO 想象成一位聪明的编辑，她不仅仅是对着 AI 大喊“短一点！”，而是通过改变游戏规则，观察 AI 的练习过程，并根据一个简单的规则挑选出最好的练习样本进行学习：“短且正确是极好的；长且错误是极差的。”

以下是其神奇运作机制：想象 AI 是一个正在考试的学生。在正常的训练过程中，学生针对一个问题会写下八个不同的答案。老师（标准的训练方法）会查看这八个答案并说：“好吧，你答对了，但你写得太多了，”或者“你答错了，而且写得太少了。”这往往会让学生感到困惑，他可能会想：“也许我需要写得更多才保险！”

QLPO 改变了老师的策略。首先，要求学生写下 16 个答案（通常数量的两倍）。然后，老师将这 16 个答案分成四个堆：

短且正确（黄金标准）
长且正确（还可以，但有点啰嗦）
短且错误（太简短了，导致错误）
长且错误（最糟糕的一种：冗长且混乱的废话）

老师随后扔掉大部分“长且错误”的答案，并保留几乎所有的“短且正确”的答案。他们将这些选出的答案重新混合进一组八个答案中，并说：“这就是你应该学习的内容。”通过这样不断重复，AI 学到了一个微妙的教训：“为了得到奖励，我不需要喋喋不休。我只需要做到正确且高效。”

论文作者发现，这种简单的重新洗牌效果惊人。他们测试了从微型模型（15 亿参数）到巨型模型（320 亿参数）的各种模型。结果非常显著：QLPO 在所有模型中都将 AI 的回答长度减少了 30% 到 70%。在一些非常困难的数学测试中，它将答案长度从超过 17,000 个单词缩减到了约 6,600 个单词，且没有损失任何准确性。事实上，在某些困难的基准测试中，模型的表现甚至略有提升或保持完全一致，证明了变得简洁并不会让它们变笨。

研究人员还将 QLPO 与其他试图强制 AI 变短的方法（例如增加对使用过多词汇的“惩罚”）进行了比较。他们发现，那些方法往往会适得其反，让 AI 感到困惑或降低准确性。然而，QLPO 更像是一种温柔的提醒而非粗暴的压制。它并没有改变游戏的规则（奖励），它只是改变了 AI 学习的范例。

有趣的是，作者指出，这种方法不仅让 AI 变得更简洁，还让它的思考方式变得更聪明。AI 不再浪费时间进行重复性的解释和冗余的检查。它学会了保留重要的步骤并剔除废话。虽然这种方法在训练期间确实需要 AI 生成额外的答案（这会多花一点点时间），但回报是巨大的：最终的模型在现实世界中使用起来更快、更便宜。

简而言之，QLPO 表明，我们不需要用棍子强迫 AI 保持安静；我们只需要向它展示，那些安静且正确的答案才是真正重要的。这是一种简单且稳健的方法，教导我们的数字朋友言简意赅。

技术摘要：QLPO（面向长度感知的策略优化的象限加权采样）

问题陈述

近期的长推理模型（LRMs），如 OpenAI o 系列、DeepSeek-R1 和 Qwen3，通过使用诸如组相对策略优化（GRPO）等强化学习（RL）方法，在复杂的数学、编程和智能体任务中展现出了卓越的能力。然而，这些模型在强化学习训练过程中经常遭受“长度爆炸”现象的影响。由于奖励信号仅倾向于最终的正确答案，LRMs 往往会生成包含数千个冗余 Token 的过度冗长的思维链（CoT）推理路径。这种冗余导致了极高的推理成本和严重的部署延迟。

现有的控制响应长度的解决方案通常依赖于奖励函数中的显式长度惩罚或复杂的步级控制器。本文认为这些方法存在显著缺陷：

奖励失真： 显式惩罚会扭曲 RL 目标，导致在真正需要深度、广泛演绎步骤的难题上出现性能大幅下降。
调参敏感性： 这些方法需要精细的超参数调节，次优的系数可能会损害推理质量。
无效的启发式方法： 简单的重采样策略（例如仅选择最短响应的组过滤策略优化，GFPO）往往效果不佳，因为它们忽略了错误样本的负梯度贡献，从而可能恶化推理效率。

方法论：QLPO

作者提出了 QLPO（面向长度的象限加权采样策略优化），这是一种基于重采样的 GRPO 变体，它通过在不修改奖励函数、优势估计器或核心优化算法的情况下实现隐式长度控制。

核心机制

QLPO 通过在 RL 展开阶段后的结构化重采样过程来重塑训练分布：

过量生成（Over-generation）： 对于每个提示词 $x$ ，策略 $\pi_{\theta_{old}}$ 生成一个大小为 $K$ （其中 $K > M$ ，即标准更新组大小）的过采样候选池 $\tilde{G}(x)$ 。
正确性划分： 根据正确性指标，将候选池分为正确响应集 ( $\tilde{G}^+$ ) 和错误响应集 ( $\tilde{G}^-$ )。最终组的目标计数（ $N^+$ 和 $N^-$ ）设定为保持过生成池中经验性的正确/错误比例。
象限划分： 在每个正确性类别内部，根据相对长度进一步将响应分为“短”和“长”（通过将排序后的列表对半平分）。这产生了四个象限：
- 正确-短 (Correct-Short)
- 正确-长 (Correct-Long)
- 错误-短 (Incorrect-Short)
- 错误-长 (Incorrect-Long)
象限加权采样： 一个长度偏好系数 $\alpha \in (0, 1)$ $α \in (0, 1)$ 决定了采样比例。
- 目标： 倾向于 正确-短 和 错误-长 的响应。
- 比例： (正确-长 : 正确-短) 和 (错误-短 : 错误-长) 的采样比例设定为 $\alpha : 1$ 。
- 当 $\alpha < 1$ 时，算法会优先保留简洁的正确答案和冗长的错误答案，同时丢弃冗长的正确答案和简洁的错误答案。
标准更新： 通过在选定的象限内进行均匀采样，构建一个最终大小为 $M$ 的组。随后该组用于标准的 GRPO 优势估计和策略更新。

理论洞察：组-轨迹梯度视角

本文引入了一个全新的分析框架，将基于组的 RL 分解为两个层面：

组级梯度分配： 由所选组的组成和组相对优势决定。这一层面承载了正确性和推理质量的主要信号。
轨迹级梯度实现： 由沿特定轨迹累积的逐 Token 梯度决定。

QLPO 与奖励塑造（reward-shaping）方法的区别在于，它并不改变组级优势计算（该计算依赖于原始奖励）。相反，它作为一个选择器来改变组的组成。通过优先包含短-正确和长-错误轨迹，QLPO 使实现的 Token 级更新向较短的成功响应偏移，而不会破坏编码在奖励中的正确性信号。这与 GFPO 不同，作者认为 GFPO 由于未能保持正确/错误组成，可能会扰动组级梯度分配。

核心贡献

算法设计： 引入了 QLPO，这是一种简单且鲁棒的 RL 算法，通过修改采样分布而非奖励函数来实现长度感知的策略优化。
理论框架： 提出了用于分析基于组的 RL 算法的“组-轨迹梯度视角”，阐明了 QLPO 如何在保留主要正确性信号的同时，隐式地鼓励更短的输出。
实证验证： 证明了 QLPO 在包括 DeepScaleR-1.5B、DeepSeek-R1-Distill-Qwen-7B 以及各种 Qwen2.5/Qwen3 变体在内的多种规模模型（1.5B 到 32B 参数）上，能够一致地改善准确率与长度之间的权衡，且不会牺牲在挑战性基准测试上的表现。

实验结果

作者在包括 DeepScaleR-1.5B、DeepSeek-R1-Distill-Qwen-7B 以及各种 Qwen2.5/Qwen3 变体在内的模型上，针对 GSM8K、MATH-500、OlympiadBench、GPQA 和 AIME24 等基准测试评估了 QLPO。

长度缩减： 与标准 GRPO 相比，QLPO 将响应长度减少了 30% 到 70%。
- 示例： 在 OlympiadBench 上的 DeepScaleR-1.5B，长度从 17,138 降至 6,621 个 Token（减少了 67.6%）。
- 示例： 在 GPQA 上的 Qwen2.5-3B，长度从 2,225 降至 721 个 Token。
准确率保持： 尽管进行了显著的压缩，QLPO 在困难基准测试（OlympiadBench, GPQA, AIME24）上仍能匹配甚至略微超过标准 GRPO 的准确率。在大多数情况下，性能下降微乎其微，处于训练随机性的范围内。
基线对比： QLPO 在维持准确率-效率前沿方面优于 GFPO 和其他压缩基线（如 L1, ThinkPrune）。不同于那些激进压缩并导致性能下降的方法，QLPO 保留了推理能力。
训练效率： 虽然 QLPO 需要过量生成（采样 $K=16$ 而非 $M=8$ ），但实际训练时间的增加非常有限（增幅在 16.3% 到 -8.4% 之间）。训练期间响应长度的减少最终抵消了初始的采样开销。
泛化能力： 该方法被证明可以泛化到多模态推理（Geo3K 上的 Qwen2.5-3B-VL）和代码生成（Phi-3.5-mini-instruct），在保持任务性能的同时实现了类似的长度缩减。

意义与主张

本文将 QLPO 定位为解决长推理模型“长度爆炸”瓶颈的一种实用且鲁棒的方案。其主要意义在于将范式从显式奖励作弊（直接惩罚长度）转向了结构化数据重采样。

作者主张：

隐式控制： 可以实现有效的长度控制，而无需修改奖励函数，从而避免了困扰基于惩罚的方法中“简洁性”与“推理深度”之间的权衡。
鲁棒性： 该方法在不同模型规模（1.5B 到 32B）和架构（稠密模型与 MoE）上均有效，表明这是一种通用的高效推理策略。
压缩质量： QLPO 实现的压缩并非仅仅是移除必要的推理步骤，而是消除了冗余的叙述和低价值的 Token。论文指出，在 QLPO 下，较短的响应有时可以通过鼓励更高浓度的“深度思考 Token”而非冗长的脚手架文本，从而提升性能。

总之，QLPO 提供了一种提高推理模型推理效率的有效方法，通过在保持高推理质量的同时降低延迟和成本，使其在实际部署中更具可行性。