💬 NLP

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

本文提出了 SelfBudgeter，一种通过让模型自估推理预算并结合预算引导的 GRPO 强化学习，从而在保持数学推理准确率的同时动态压缩生成长度并实现用户可控的自适应高效推理策略。

原作者： Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SelfBudgeter（自我预算器） 的新方法，旨在解决大型人工智能（LLM）在回答问题时“想太多”的问题。

为了让你更容易理解，我们可以把现在的 AI 想象成一个极其勤奋但有点“强迫症”的超级管家。

1. 核心问题：为什么 AI 会“想太多”？

现在的先进 AI（比如 O1、DeepSeek-R1）非常聪明，它们解决难题时，会在脑子里进行长长的“思维链”（Chain of Thought）。这就像管家在给你做一顿饭前，会先在脑海里把切菜、洗菜、炒菜、摆盘的每一个步骤都预演一遍，甚至还要反复检查。

简单问题： 如果你问“今天天气好吗？”，管家可能也会像对待“如何造火箭”一样，在脑海里写出一万字的分析报告，反复推演。
后果： 这导致两个大问题：
1. 浪费资源： 就像为了买一瓶水，管家却开了一辆大卡车去运，浪费了油费（计算资源）。
2. 等待太久： 你等一个简单答案，结果等了半天，用户体验很差。

2. 解决方案：SelfBudgeter（自我预算器）

SelfBudgeter 就像是给这位“强迫症管家”装上了一个智能的“时间/精力预算表”。它的核心能力是：在开始干活之前，先评估这个问题需要花多少力气，然后严格控制在预算内。

它是如何工作的？（三个步骤）

第一步：先报价，后干活（自适应预算）
以前，AI 是想到哪写到哪。现在，SelfBudgeter 会先问自己：“这个问题难不难？”

简单问题（如 2+3=？）： 它立刻判断：“这太简单了，我只需要 200 个字的思考空间就够了。”
难题（如复杂的数学竞赛题）： 它会想：“这个很难，我需要 1800 个字的思考空间才能算对。”
比喻： 就像你去餐厅点菜，服务员（AI）在接单前先告诉你：“这道菜很简单，厨师 10 分钟就能做好；那道菜很复杂，需要 90 分钟。”

第二步：严格守规矩（预算引导）
一旦它给自己定了预算（比如 200 字），它就会像戴着镣铐跳舞一样，努力在这个限制内把答案做出来。

如果它发现写得太啰嗦，就会自动删掉废话。
如果它发现预算不够，就会更精炼地表达。
比喻： 就像你给作家一个任务：“请用 500 字写一个故事。”作家会努力在 500 字内把故事讲精彩，而不是写 5000 字。

第三步：用户也能定预算（可控性）
用户也可以直接告诉 AI：“我只给你 500 个字的预算，不管多难，你都得在这个范围内回答。”

比喻： 就像你直接对管家说：“不管这顿饭多难做，你必须在 30 分钟内搞定，并且只花 50 块钱食材费。”

3. 它是如何学会的？（训练过程）

研究人员没有直接教它“少说话”，而是设计了一套**“奖惩游戏”**（强化学习）：

格式奖励： 如果它先报预算，再干活，就给它糖吃。
省钱奖励： 如果它用更少的字数（Token）算出了正确答案，就给它大奖。
惩罚机制：
- 如果它算错了，但字数很少，它会被批评（因为没算对，省字数也没用）。
- 如果它算对了，但字数远超预算，它也会被扣分（因为浪费了资源）。
- 关键点： 如果它为了省钱而把简单题算错了，或者为了省时间把难题算错了，惩罚会非常重。这迫使它学会**“在预算内追求最高准确率”**。

4. 效果怎么样？

实验结果显示，SelfBudgeter 非常成功：

大幅缩短时间： 在数学推理任务中，它的回答长度平均缩短了 61%。也就是说，以前要等 90 秒，现在可能只要 30 秒。
准确率不降反升： 有趣的是，因为它去掉了那些啰嗦的废话和无效的重复思考，它的准确率反而保持得很好，甚至在某些情况下提高了。
灵活适应： 无论是简单的算术题，还是复杂的奥数题，它都能自动调整“思考深度”。

5. 总结：这对我们意味着什么？

想象一下，未来的 AI 助手不再是一个只会“长篇大论”的啰嗦专家，而是一个精明的“时间管理大师”：

当你问简单问题时，它秒回，绝不废话。
当你问难题时，它会告诉你：“这个问题有点难，我需要多花点时间思考，预计需要 1 分钟，你愿意等吗？”
当你赶时间时，你可以直接说：“我只给你 30 秒，请给我最核心的答案。”

SelfBudgeter 让 AI 变得更聪明、更省钱、也更懂你。 它不再盲目地“过度思考”，而是学会了“恰到好处”地思考。

SelfBudgeter 技术总结

1. 研究背景与问题 (Problem)

随着大型推理模型（如 O1, DeepSeek-R1, QwQ 等）的兴起，模型通过长思维链（Chain-of-Thought, CoT）和强化学习（RL）在复杂任务上取得了显著性能。然而，这些模型存在严重的**“过度思考”（Overthinking）**现象：

资源浪费：即使面对简单问题（如"2+3 等于几”），模型也会生成冗长的推理过程，导致计算资源（Token）的极大浪费。
延迟增加：过长的生成过程增加了用户的等待时间，降低了交互效率。
现有方法局限：
- 提示词引导：缺乏精确的长度控制。
- 集成训练（SFT/RL）：难以满足用户指定的具体长度约束，或无法显式输出最优长度。
- 路由机制：需要额外的分类器，增加了计算开销。

核心挑战：如何使模型能够自主估计解决特定问题所需的最小 Token 预算，并严格遵循该预算生成答案，从而在保持（甚至提升）准确率的同时大幅压缩响应长度。

2. 方法论 (Methodology)

作者提出了 SelfBudgeter，一种自适应的推理策略，包含两个主要训练阶段和一套创新的奖励机制。

2.1 核心机制

SelfBudgeter 要求模型在生成答案前，先预测所需的 Token 预算。输出格式被设计为：
<budget>预测的整数预算</budget><solution>推理过程与答案</solution>

2.2 训练流程

冷启动阶段 (Cold-Start)：
- 使用监督微调（SFT）让模型学习新的输出格式（即先输出 <budget> 标签）。
- 数据预处理中，根据模型原始回答的正确性计算 budget_max（最大可接受预算）。如果回答正确，budget_max 设为当前长度；如果错误，设为无穷大。
- 此阶段旨在让模型适应格式，而非立即优化长度。
强化学习阶段 (RL Training)：
- 采用 GRPO (Group Relative Policy Optimization) 算法进行训练。
- 设计了一个综合奖励函数，包含三个关键模块：
  - 预算惩罚 (Budget Penalty, $PB$)：如果模型预测的预算超过 budget_max，则施加惩罚，鼓励模型自我压缩预算。
  - 精确预算控制奖励 (Precise Budget Control Reward, $PreB$)：
    - 引入紧度系数 $\alpha$ ，允许实际长度在预测预算 $b$ 的 $\alpha \cdot b$ 范围内波动。
    - 对于错误回答，鼓励更长的推理链（以探索正确解）；对于正确回答，奖励峰值出现在最小充分长度 $(1-\alpha)b$ ，以消除冗余。
    - 如果实际长度超出允许范围，奖励降至最低。
  - 准确率奖励 (Accuracy Reward)：确保正确回答的总奖励始终高于错误回答，防止模型为了缩短长度而牺牲准确率。
动态 $\alpha$ 调度 (Dynamic Alpha Schedule)：
- 在训练过程中， $\alpha$ 从宽松值（如 6.0）线性递减至严格值（如 0.1）。
- 这避免了模型在训练初期因约束过紧而无法学习，或在后期因约束过松而“奖励黑客”（Reward Hacking，即故意高估预算以获取高分）。

2.3 用户交互

自主模式：用户无约束时，模型自主估计预算并生成。
预填充模式：用户可指定 Token 上限，模型在 <budget> 标签中预填该值，并严格在此限制内生成。
可预测性：用户可在生成前看到预估的 Token 数和等待时间，决定是否继续。

3. 主要贡献 (Key Contributions)

提出 SelfBudgeter 框架：首个能让大语言模型显式预测并严格控制输出长度的训练框架，实现了“自估计预算”与“严格遵循预算”的统一。
性能与效率的平衡：证明了长度控制并不必然降低推理质量。在数学推理任务上，SelfBudgeter 在显著压缩长度的同时，保持了甚至提升了准确率。
可扩展性验证：在 1.5B 和 7B 不同规模的模型上均验证了该方法的有效性，表明其具有广泛的适用性。
用户交互增强：提供了预测等待时间和用户自定义预算的功能，提升了实际应用场景中的可控性和用户体验。

4. 实验结果 (Results)

实验在 GSM8K, MATH500, AIME2025 等数学推理基准上进行，对比了 DeepSeek-R1-Distill 系列、L1-Max, E1-Math 等基线模型。

长度压缩：
- 在 GSM8K 上，响应长度压缩至原始长度的 43%，准确率提升 11.01%。
- 在 MATH500 上，长度压缩至 44%，准确率提升 3.54%。
- 在 AIME2025（高难度）上，长度压缩至 30%，同时保持了相当的准确率。
- 平均响应长度压缩率约为 61%。
对比优势：
- 相比 L1-Max（强制截断），SelfBudgeter 在 AIME2025 等难任务上未出现准确率崩溃。
- 相比 E1-Math（硬截断），SelfBudgeter 在简单任务上未出现严重的准确率下降。
- SelfBudgeter 在 1.5B 和 7B 模型上均取得了最佳或次佳的准确率与长度平衡。
泛化能力：在通用知识推理基准（GPQA, SCoRE）上，同样实现了显著的 Token 节省和竞争力保持。

5. 意义与影响 (Significance)

解决“过度思考”痛点：为 LLM 推理中的资源浪费问题提供了一套系统性的解决方案，使模型能够根据问题难度自适应分配计算资源。
提升推理效率：大幅降低 Token 消耗和推理延迟，使得在资源受限环境（如边缘设备、高并发服务）中部署高性能推理模型成为可能。
增强可控性：打破了以往“黑盒”式的推理长度，赋予用户和系统对推理过程的精确控制权和可预测性（如预估等待时间）。
方法论启示：证明了通过精心设计的奖励函数（特别是结合预算惩罚和精确长度控制），可以在不损害模型核心推理能力的前提下，实现高效的推理压缩。

总结：SelfBudgeter 通过“先估后做”的自适应策略，成功在推理模型的“准确性”与“效率”之间找到了新的最优平衡点，是迈向更高效、更可控大模型推理的重要一步。