🤖 machine learning

LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models

本文介绍了 LEAD，这是一种新颖的方法，它利用在线自适应性机制在强化学习过程中动态平衡正确性与效率，从而使大型推理模型能够在不损害各类数学基准测试准确性的前提下，生成显著更短的思维链输出。

原作者： Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但过于健谈的学生正在参加数学考试。这位学生代表现代大型语言模型（LLMs），极其聪明，能够解决难题。然而，他们有一个坏习惯：倾向于“过度思考”。即使面对像"2+2 等于几？”这样简单的问题，他们也可能写出一篇十页的长文，阐述数字的历史、加法的哲学以及数字"2"的一生，最后才给出答案"4"。

这种“过度思考”浪费了时间、精力和计算资源。这篇论文介绍了一种名为LEAD（长度高效自适应与动态推理）的新训练方法，旨在教导这位学生如何在保持聪明的同时做到简洁。

以下是 LEAD 的工作原理，分解为几个简单的概念：

问题所在：“一刀切”的陷阱

此前试图纠正这种健谈行为的尝试，就像一位严厉的老师说：“无论什么问题，你的答案必须恰好是 50 个字。”

问题：这不公平。简单的问题应该简短，但复杂的奥林匹克级别数学题需要长篇解释。如果你强迫难题给出简短答案，学生就会答错；如果你强迫简单问题给出长篇答案，他们就会浪费时间。
结果：旧方法要么让学生变得太短（从而答错），要么缩短得不够。

解决方案：LEAD 的两个聪明技巧

LEAD 就像一位智慧的教练，实时调整教学风格。它主要运用两个技巧：

1. “动态音量旋钮”（自适应奖励）

想象学生根据两件事接受评分：正确性（得出正确答案）和简洁性（保持简短）。

旧方法：老师设定固定规则：“你分数的 50% 取决于正确，50% 取决于简洁。”这行不通，因为在训练初期，学生需要完全专注于学习如何解决问题。如果你过早施压要求简洁，他们就会停止思考并开始猜测。到了后期，一旦他们掌握了解题方法，你就希望推动他们变得更简短。
LEAD 的方法：LEAD 使用一个智能音量旋钮。
- 训练初期：旋钮调高“正确性”。学生被允许尽可能多地啰嗦，以找出解决方案。
- 训练后期：一旦学生开始答对问题，旋钮自动切换。“简洁性”音量调高，“正确性”音量调低（因为他们已经知道如何解题了）。
- 神奇之处：系统不断检查：“学生是否仍在学习如何变得更简短？”如果是，就推动他们。如果学生已经足够简短，就停止推动，转而专注于确保答案仍然正确。

2. “个性化目标”（每道题的预算）

LEAD 不是给每道题设定固定的字数限制，而是给每道题分配其自己的个性化目标长度。

工作原理：系统查看学生的成功尝试。
- 如果学生用 2000 字正确解决了一道难题，LEAD 会说：“好的，对于这道特定的难题，目标就是 2000 字。不要低于这个字数，否则你可能跳过了步骤。”
- 如果学生用 200 字解决了一道简单题，LEAD 会说：“很好，这道题的目标就是 200 字。”
对称奖励：LEAD 是公平的。它不仅惩罚冗长的答案，也惩罚过短的答案。如果学生对一道难题只给出 10 个字的回答，LEAD 会说：“太短了；你可能作弊或猜的。”这防止学生走懒惰的捷径。

结果：“金发姑娘”式的学生

在五个不同的数学基准测试中，LEAD 培养出的学生：

比其他试图缩短回答的方法答对了更多题目。
比原本健谈的模型说话显著更少。
在聪明与简洁之间实现了最佳平衡（称为“准确率 - 效率得分”）。

类比总结

将原始模型想象成一位导游，即使游客只想快速参观一个地标，他也喋喋不休。

旧方法试图给导游设个计时器：“五分钟后停止说话。”这意味着导游会匆忙通过复杂的博物馆（导致出错），或者拖长简单的公园游览（浪费时间）。
LEAD则像一位智能经理，时刻观察导游。
- 如果导游在努力解释一幅复杂的画作，经理会说：“慢慢来，充分解释。”
- 如果导游在解释一座简单的雕像，经理会说：“你已经说到点子上了，用两句话收尾吧。”
- 经理在游览进行中调整规则，确保导游始终保持恰到好处的健谈程度。

简而言之，LEAD 教导 AI 模型知道何时深入思考，何时保持简洁，根据任务的难度和自身的进展进行调整，而不是遵循僵化的“一刀切”规则。

技术摘要：LEAD（长度高效自适应与动态推理）

1. 问题陈述

大型推理模型（LRMs），如 OpenAI o1 和 DeepSeek-R1，已证明显式的思维链（CoT）推理能显著提升复杂任务的性能。然而，这种能力伴随着一个关键的效率缺陷：随着推理能力的提升，模型往往变得日益冗长，生成的推理轨迹超出了解决底层问题所需的必要程度。这种“过度思考”浪费了计算资源，增加了延迟，并消耗了上下文预算。

现有强制效率的方法通常通过在强化学习（RL）训练中引入基于长度的效率信号，与正确性奖励相结合。然而，该论文指出了当前静态方法的两个根本局限性：

非平稳奖励平衡：正确性与效率之间的最佳平衡点在训练过程中不断变化。在训练早期，面向正确性的探索至关重要，过度的长度压力可能会抑制有效解的发现。随着模型学会解决问题，效率信号在去除冗余方面变得更为有用。静态奖励权重（例如，固定的 $\lambda_c, \lambda_\ell$ ）无法适应这种不断变化的环境，导致在精度下降或未实现的压缩之间做出妥协。
僵化的全局预算：不同问题所需的推理量差异巨大（例如，简单算术与奥林匹克级别的数学）。应用单一的全局长度预算（ $B$ ）会迫使进行权衡：若将 $B$ 设定得过于激进以压缩简单问题，会导致困难问题被截断（损害精度）；若将 $B$ 设定得宽松以保留困难问题，则无法压缩简单问题（浪费 token）。

2. 方法论：LEAD

作者提出了 LEAD（长度高效自适应与动态推理），这是一个用在线、自适应机制取代静态启发式方法的框架。LEAD 通过两个核心组件解决了上述两个挑战：

A. 基于潜在缩放不稳定性（PSI）的动态奖励加权

LEAD 不采用在归一化前组合奖励（这会导致奖励崩溃）或使用静态权重，而是采用解耦组归一化，随后进行在线动态加权。

解耦归一化：遵循 GDPO，LEAD 在聚合前分别在其组内对正确性奖励（ $r_c$ ）和长度奖励（ $r_\ell$ ）进行归一化。这防止了高方差信号主导优势计算。
PSI 控制器：权重 $\lambda_c$ $λ_{c}$ 和 $\lambda_\ell$ $λ_{ℓ}$ 基于每个奖励信号的潜在缩放不稳定性（PSI），在每个训练步骤中在线更新。
- 不稳定性：通过变异系数（ $CV_k$ ）衡量，表示奖励变化的程度。
- 潜力（空间）：通过 $P_k$ 衡量，表示奖励距离其理论上限（例如，正确性的 1.0）还有多远。
- 机制：当奖励既具有噪声（信息量大）又有提升空间时，PSI 分数 $\Psi_k = \widehat{CV}_k \cdot P_k$ 较高。权重由此分数导出，并通过指数移动平均（EMA）进行平滑。
- 效果：这创造了一个瞬态课程，其中长度效率引导早期压缩。随着效率信号饱和（潜力空间低），控制器自动将优化能力转向正确性，后者在困难提示上仍具有信息量。

B. 每问题在线目标长度校准

LEAD 用基于提示的目标长度 $L^*_q$ 取代了全局长度预算，该长度根据模型自身的正确 rollout 动态估计。

目标估计：对于提示 $q$ ， $L^*_q$ 计算为当前批次中所有正确 rollout 的平均长度。如果不存在正确的 rollout，目标则默认为最大预算（ $B_{max}$ ），从而鼓励探索而非过早压缩。
对称效率奖励：长度奖励 $r_\ell$ $r_{ℓ}$ 围绕 $L^*_q$ $L_{q}^{*}$ 对称。当 rollout 长度等于 $L^*_q$ $L_{q}^{*}$ 时，奖励峰值为 1，并向两个方向的偏差线性递减至 -1。
- 惩罚过度压缩：关键在于，奖励会惩罚过短（低于 $L^*_q$ ）的解决方案。这防止模型学习“捷径”或绕过必要推理步骤的模式匹配答案。
- 自适应性：随着模型学会更简洁地解决问题，正确 rollout 的平均长度会减少，从而自动收紧 $L^*_q$ ，无需人工干预。

3. 主要贡献

该论文声称有三个主要贡献：

挑战识别：它正式指出了高效推理 RL 中的两个与算法无关的挑战：训练过程中动态奖励平衡的需求，以及针对不同问题难度的自适应效率需求，证明了静态系数若未经特定任务调整，无法可靠地解决这些问题。
LEAD 框架：提出了一种结合在线不稳定性驱动奖励加权（PSI）与每问题目标长度校准的方法。该方法无需手动系数调度或全局长度预算调整。
实证验证：该方法在 1.5B 和 7B 参数模型上的五个数学推理基准测试中得到了验证，证明了其相对于最先进基线在精度 - 效率权衡上的一致性改进。

4. 实验结果

作者在五个基准测试（AIME 2024/25, AMC 2023, MATH-500, OlympiadBench）上使用 DeepSeek-R1-Distill-Qwen-1.5B 和 7B 模型评估了 LEAD。

性能：LEAD 在所有测试的 RL 训练方法中取得了最高的精度 - 效率分数（AES）。
- 在 1.5B 模型上，与最强的基线（DRPO）相比，LEAD 将精度提高了 2.62 分，AES 提高了 0.18，同时显著减少了输出长度。
- 在 7B 模型上，虽然所有 RL 方法相比基线模型都出现了一定的精度回退，但 LEAD 表现出最小的下降幅度以及最佳的 AES。
消融研究：
- 动态与静态加权：动态加权显著优于静态比率，证实了训练过程的非平稳性质需要自适应控制。
- 目标聚合器：使用正确 rollout 的平均值（LEAD）优于使用最小值（ShorterBetter 的 SOL）、中位数或所有 rollout 的平均值。“最小值”方法基于异常值设定了不切实际的激进目标，导致精度下降；而“所有 rollout 的平均值”则被不正确的轨迹所稀释。
Token 分配：分析表明，LEAD 根据难度非均匀地分配 token。它为困难问题保留更多的推理 token（跟踪基线模型的难度 - 长度相关性， $\rho=0.67$ ），同时压缩简单问题，这与应用均匀压缩的基线方法不同。

5. 意义与主张

该论文将 LEAD 定位为迈向推理模型的一步，这些模型能够在线自适应其计算足迹，以应对问题难度和优化进度。

无牺牲的效率：作者声称 LEAD 实现了更优的权衡，与专注于效率的其他 RL 方法相比，它在保持或提高精度的同时，生成了大幅缩短的输出。
自校准：一个关键意义在于消除了手动超参数调度（例如，调整 $\lambda$ 或 $B$ ）。该系统自校准正确性 - 效率权衡以及每个提示的目标长度。
局限性：作者谦逊地指出，LEAD 是为正确性可可靠验证的场景（例如数学）设计的。将其扩展到开放式生成或主观任务可能需要特定任务的奖励模型。此外，LEAD 在训练期间优化策略，但不会强制执行硬性的推理时 token 预算；它学习高效的行为，而不是作为部署时的控制器。

总之，LEAD 通过动态平衡学习信号并针对每个问题自适应推理预算，解决了大型推理模型的冗长问题，从而产生了不牺牲正确性的更高效推理轨迹。