技术摘要：预算高效思维（BET）

问题陈述

大型推理模型（LRMs），如 OpenAI-o1 和 DeepSeek-R1，通过扩展的多步推理增强了问题解决能力。然而，这种能力伴随着不可持续的推理时成本。论文中指出的一个关键低效之处是推理时计算资源的错配。现有的效率方法通常分为两类：

1. 统一压缩：全局缩短推理轨迹或压缩思维链的技术。这些方法往往会抑制在“难但可解”查询上的富有成效的探索。
2. 基于难度条件的控制：根据感知到的查询难度调整推理深度的方法。这些方法往往无法区分“难但可解”的查询（受益于更深度的推理）和“实际上不可解”的查询（无论预算如何，模型都缺乏解决能力）。

核心问题在于，现有方法缺乏可解性感知。它们可能会在超出模型能力的查询上浪费大量计算资源（徒劳的探索），同时在那些若投入足够资源即可解决的困难查询上过早截断推理。挑战在于根据推理的预期回报而非仅仅是感知到的难度来分配推理时计算资源。

方法论：预算高效思维（BET）

作者提出了预算高效思维（BET），这是一个将推理时计算视为不确定性下计算投资的框架。BET 旨在学习三种不同的行为：

1. 快速求解（Short Solve）：简洁地回答简单查询。
2. 优雅放弃（Nice Fold）：当持续推理的预期回报接近零时（即查询在当前策略下不可解）尽早放弃。
3. 英雄跟注（Hero Call）：为那些“难但可解”的查询保留足够的计算资源，因为更深层的推理可以改变答案。

核心组件

BET 基于可解性依赖于策略的原则运作。一个查询对于当前策略可能是不可解的，但对于更强大的策略可能是可解的。因此，BET 根据模型自身的行为动态估计可解性，而不是依赖静态的难度标签。

该框架包含两个阶段：

1. 行为冷启动（监督微调）

• 目标：用必要的结构化输出格式和行为集初始化策略。
• 过程：模型在基于基础模型离线分析整理的定制数据集上进行微调。查询被划分为：
  • 快速求解：可解且高效成本低的查询。
  • 英雄跟注：可解但高效成本高的查询。
  • 优雅放弃：基础模型在 $K$ 次滚动尝试中未能产生正确解决方案的查询。
• 输出：模型学习在生成推理轨迹之前，输出一个包含可解性估计（$\hat{s}$）和预算估计（$\hat{b}$）的结构化 <predict> 块。

2. 投资成本感知训练（GRPO）

• 目标：优化策略，使“求解或放弃”的决策与经验可解性保持一致。
• 机制：作者采用组相对策略优化（GRPO）。对于每个查询，策略生成 $K=16$ 次独立的滚动尝试。
• 组画像：从这些滚动尝试中，在线计算两个统计量：
  • 组成功率（$\hat{s}(x)$）：正确滚动尝试的比例，作为可解性估计。
  • 高效解决方案成本（$\hat{c}^*(x)$）：最短正确轨迹（例如前 30%）的平均长度，代表富有成效的推理的成本上限。
• 复合奖励函数：奖励 $R(y|x)$ 由三项组成：
  • $R_{VAL}$（带放弃门控的价值）：对不可解查询（其中 $\hat{s}(x) < \epsilon_{abs}$）的放弃行为给予正奖励（$+\delta$），对可解查询的放弃行为给予重罚（$-\lambda$）。错误的尝试会招致与成本成比例的惩罚。
  • $R_{EFF}$（查询自适应效率）：奖励那些短于高效成本估计 $\hat{c}^*(x)$ 的正确解决方案。这鼓励在简单查询上保持简洁，同时不惩罚在“难但可解”查询上必要的深度。
  • $R_{CAL}$（可解性校准）：惩罚模型预测的可解性/预算与经验组画像之间的差异。这确保模型在推理前的估计基于现实。

主要贡献

1. 可解性感知诊断：论文指出，现有的自适应推理方法忽视了可解性，导致在超出能力的查询上过度计算，而在“难但可解”的查询上投入不足。
2. 投资感知训练（BET）：一个结合行为冷启动与复合奖励下 GRPO 的两阶段框架。通过将决策与滚动推导出的可解性对齐，诱导出三种目标行为（快速求解、优雅放弃、英雄跟注）。
3. 大规模证据：广泛的实验表明，BET 在保持或提高准确率的同时减少了 token 使用量，并泛化到了域外任务。

实验结果

作者在七个基准测试（四个领域内数学，三个领域外）上，使用三个基础模型（Qwen3-4B、DeepSeek-R1-Distill-7B 和 14B）评估了 BET。

• 效率与准确率：在所有模型中，BET 将推理 token 减少了约55%，同时实现了整体性能的提升。
  • 在 Qwen3-4B 上，Omni-Math 的准确率从 73.64% 提高到 74.41%，而 token 数量从 10,516 降至 4,561。
  • 在 DeepSeek-R1-Distill-7B 上，BET 实现了最低的 token 平均成本，同时准确率与最佳结果仅相差 0.54 分。
• 选择性压缩：与统一压缩的基线方法不同，BET 选择性地减少不可解查询上的 token（将这些情况的使用量削减**90%**以上），同时为有价值的查询保留深度。
• 零样本迁移：BET 仅在数学推理上训练，却有效地迁移到了科学问答（GPQA-Diamond）、多步叙事推理（MUSR）和逻辑推理（LSAT-AR），在保持相当准确率提升的同时实现了**53–59%**的 token 节省。
• 帕累托前沿：BET 位于准确率 - 效率权衡的帕累托前沿，优于 Length-Penalty、DR.SAF 和 DiffAdapt 等基线方法。

意义与主张

论文主张，BET 代表了从基于难度条件的压缩向可解性感知的预算投资的转变。通过将计算视为回报不确定的投资，模型学会了：

• 当预期回报为零时尽早停止（优雅放弃），防止徒劳的探索。
• 仅在查询可解且推理可能改变答案时深入投资（英雄跟注）。
• 当解决方案直截了当时保持简洁（快速求解）。

作者强调，“优雅放弃”行为并非声称内在的不可能性，而是一种依赖于策略的放弃。它表明，在当前模型和预算下，进一步的推理不太可能产生正确答案。这种基于能力感知的不确定性可以在级联系统中被利用，将困难查询路由到更强的模型，从而优化系统级效率。

该工作得出结论，BET 提供了一个可调节的策略族，其中准确率与成本之间的权衡可以调整（例如通过放弃奖励 $\delta$），为在不牺牲问题解决能力的情况下管理推理时计算提供了一种原则性方法。