技术摘要：推理的影子价格

1. 问题陈述

本文探讨了在大语言模型（LLM）在严格计算约束下，推理时间预算分配这一关键挑战。虽然近期的研究强调，增加测试时计算量（推理时扩展）能显著提升推理性能，但在实际部署中，受限于有限的 Token 预算。

目前的标准做法通常采用均匀分配，即为每个查询分配固定的最大 Token 上限。作者认为这是次优的，因为推理效用在不同查询之间具有高度的异质性和非线性。正如实验观察所示，Token 数量与推理成功率之间的关系遵循一条 S 型曲线：

1. 严格阶段（Strict Phase）：在达到某个阈值之前，增加 Token 几乎无法产生效用（模型无法进行足够的“思考”来解决问题）。
2. 激增阶段（Surge Phase）：一旦跨越该阈值，效用会急剧上升（高杠杆）。
3. 充裕阶段（Ample Phase）：超过一定点后，增加 Token 会产生收益递减。

均匀分配之所以失效，是因为它往往让困难的查询停留在“严格阶段”（在无法解决的任务上浪费预算），同时将简单的查询推入“充裕阶段”（在不必要的 Token 上浪费预算）。核心问题被形式化为一个全局约束优化问题：如何在给定的一组异质查询中分配固定的总 Token 预算，以实现总推理效用的最大化。

2. 方法论：CLEAR

作者提出了 CLEAR（基于约束的潜在效用均衡推理分配），这是一个基于经济学原理的即插即用推理框架。

2.1 理论基础：偏移激增效用函数

作者使用**偏移激增函数（Shifted-Surge Function）**对查询 $i$ 的潜在推理效用 $\phi_i(t)$ 进行建模：
$$\phi_i(t) = \begin{cases} 0 & 0 \le t < \tau_i \\ \alpha_i(t - \tau_i) \cdot e^{-\beta_i(t - \tau_i)} & t \ge \tau_i \end{cases}$$
其中：

• $\tau_i$：涌现阈值（进入高效推理阶段所需的最小 Token 数）。
• $\alpha_i$：初始速率（效用增益的幅度）。
• $\beta_i$：衰减率（收益递减的速度）。

2.2 经济优化：影子价格平价

该分配问题通过拉格朗日乘数法求解。作者推导出，在全局最优状态下，每个活跃查询的边际效用必须等于一个共同的全局影子价格 ($\lambda$)。

• 理性放弃（Rational Abandonment）：如果一个查询的最大潜在净盈余（效用减去在影子价格下的成本）为负，则为其分配零个 Token。
• 最优分配：对于可解的查询，利用 Lambert W 函数可以得出其最优 Token 数 $t^*_i$ 的闭式解：
  $$t^*_i(\lambda) = \tau_i + \frac{1}{\beta_i} \left[ 1 - W_0\left(\frac{\lambda e}{\alpha_i}\right) \right]$$
  该策略通过调整 $\lambda$，直到分配的 Token 总和等于总预算 $B_{total}$，从而自动平衡预算。

2.3 CLEAR 算法

CLEAR 作为一个计算市场运行，包含三个步骤：

1. 阈值预测：使用轻量级预测器（DeBERTa-v3-base）估计每个查询的涌现阈值 $\hat{\tau}_i$。使用全局超参数 $\alpha$ 和 $\beta$ 来模拟骨干模型的平均动态特性。
2. 价格发现：通过二分查找法（Bisection method）寻找满足全局预算约束的唯一市场出清影子价格 $\lambda^*$。
3. 最优分配：利用 $\lambda^*$ 计算每个查询的 $t^*_i$。盈余为负的查询将被放弃（0 个 Token），资源将被重新分配给处于激增阈值附近的易解查询。

3. 核心贡献

1. 非凹效用的形式化：论文识别并形式化了 LLM 推理中三阶段（严格-激增-充裕）的计算-效用模式，将推理分配视为受全局影子价格控制的非凹曲线上的约束优化问题。
2. 闭式分配策略：作者推导出了使用 Lambert W 函数的闭式解，实现了高效、精确地计算最优 Token 上限，而无需重新训练骨干模型。
3. 即插即用框架 (CLEAR)：他们将该理论转化为 CLEAR 系统，该系统结合了潜在阈值预测与市场出清价格发现。它不需要对骨干 LLM 进行微调，而是作为一种推理封装器运行。

4. 实验结果

作者在数学推理基准测试（GSM8K, MATH-500, AIME-24/25 等）和代码生成任务（HumanEval, MBPP, BigCodeBench）上对 CLEAR 进行了评估。

• 性能提升：在资源匮乏的情况下（例如每查询 256 个 Token），CLEAR 显著优于均匀分配。
  • 在**平衡型（Balanced）**流中，CLEAR 比均匀分配提高了 11.6 个百分点。
  • 在**多易题（Mostly-Easy）**流中，增益为 24.0 个百分点，这表明均匀分配在无法在预算内解决的查询上浪费了稀缺的 Token。
  • 在**多难题（Mostly-Hard）**和 **U 型（U-Shaped）**流中，增益分别为 5.2 和 14.2 个百分点。
• 泛化能力：该方法泛化到了代码生成领域，在所有三个代码基准测试中均表现出优于均匀分配的一致性提升。
• 鲁棒性：系统对预测器噪声具有鲁棒性，并且对于初始速率参数 $\alpha$ 表现出尺度不变性；优化器会自动调整影子价格以补偿 $\alpha$ 的变化。
• 结构变体：通过对三角形和二次方效用函数的实验证实，主要的收益源于全局预算出清和理性放弃机制，而非特定的效用曲线形状。

5. 意义与主张

论文指出，LLM 部署的核心挑战已从提高理论智能上限转向在固定计算上限下实现全局效用最大化。

作者断言，他们的方法从根本上改变了分配范式：

• 从均匀分配到均衡分配：CLEAR 不再平等对待所有查询，而是将批处理视为一个市场，允许系统“放弃”无偿的查询，并将资源集中在边际效用最高的查询上。
• 稀缺环境下的效率：该方法在资源匮乏的场景中最为有效，因为在这种情况下，均匀分配会将计算力分散得太薄，导致无法跨越困难问题的涌现阈值。
• 实用性：由于 CLEAR 是作为一个无需重新训练骨干模型的封装器运行，它为提高现实世界 LLM 部署中“成本-准确度”帕累托前沿提供了一个即时且实用的解决方案。

研究结论认为，理性放弃和动态重分配对于高效推理至关重要，在高度受限的设置下，相比均匀分配，其能带来高达 3 倍的全局准确率提升。