技术摘要：分层 LLM 智能体中的贝叶斯自我升级机制

问题定义

目前的 大语言模型（LLM）智能体系统通常在推理开始前做出委派决策（通过路由器选择模型），或在响应完成后做出决策（通过验证器对输出评分并可能进行重试）。这两种方法都无法让一个正在工作的模型在自身的推理过程中识别出自己可能已经脱离了胜任能力范围，并应当将控制权移交给更强大的模型。

本文解决了**生成中委派（intra-generation delegation）**的空白。核心问题被形式化为一个序列决策任务：给定一个在 $T$ 个步骤内生成响应的初级智能体 $J$，在第 $t$ 步时，$J$ 应该何时停止并将查询升级（escalate）给高级智能体 $S$？该决策必须平衡继续计算的成本 ($\kappa$)、一次性升级的成本 ($\gamma$) 以及最终错误的成本 ($L$)。

方法论

1. 贝叶斯公式化

作者将自我升级建模为一个贝叶斯最优停止问题（Bayesian optimal-stopping problem）。

• 潜在状态： $Y \in \{0, 1\}$ 代表初级智能体最终完成的答案是否正确。
• 观测值： 在每一步 $t$，智能体发出一个原始不确定性信号 $e_t$（例如，Token 熵、下一 Token 边际概率）。
• 后验概率： 系统维护一个胜任能力后验概率 $B_t = P(Y=1 | \mathcal{F}_t)$，其中 $\mathcal{F}_t$ 是信号的历史记录。至关重要的是，论文强调 $B_t$ 是从带标签的轨迹中学习而来的，而非仅仅从原始熵中读取。原始信号是未经过校准的证据；后验概率则是经过校准的成功率估计。
• 假设： 信号在给定 $Y$ 的条件下是条件独立的（假设 1），从而允许进行对数几率递归（log-odds recursion）。

2. 决策策略

智能体在继续（产生成本 $\kappa$ 并观察下一个信号）或升级（产生成本 $\gamma$ 并移交给高级智能体）之间进行选择。

• 近视阈值（Myopic Threshold）： 作者推导出了一个闭式阈值 $\tau^{myo}_t$，当当前的置信度 $B_t$ 低于该阈值时，优先选择升级。随着剩余本地计算成本的增加，该阈值会随时间下降。
• 最优停止： 真正的最优策略是通过动态规划推导出的。价值函数 $V_t(b)$ 代表最小化期望未来成本。
• 结构性结果： 作者证明了最优策略是一个基于胜任能力后验概率的时变阈值规则（$B_t \leq \tau^*_t$）。这是通过单调性论证（一阶随机占优）证明的，无需对价值函数进行凹性假设，也无需对原始信号进行单调似然比假设。

3. 校准与遗憾（Regret）

本文的一个核心理论贡献是对**失校准（miscalibration）**的分析。

• 遗憾界限： 论文证明，使用估计后验 $\hat{B}_t$ 的部署策略相对于真值 $B_t$ 的超额成本（遗憾）受限于校准误差 $E[|B_t - \hat{B}_t|]$。
• 关键洞察： “自信地错误”（即模型具有高置信度但实际错误）的预测是主要的失效模式。提高后验概率的校准水平比优化决策规则本身更为关键。
• 有限样本保证： 遗憾值随带标签校准轨迹数量 $n$ 以 $O(1/\sqrt{n})$ 的速率衰减。

4. 算法

提出的系统由两个部分组成：

1. 离线阶段： 使用后向归纳程序（算法 2）根据成本和校准后的信号分布计算最优阈值序列 $\{\tau^*_t\}$。
2. 在线阶段： 使用流式推理算法（算法 1）以 $O(1)$ 的复杂度在每个 Token 处更新置信度 $B_t$，并在 $B_t < \tau^*_t$ 时触发升级。交接过程涉及上下文（文本、草稿纸、工具历史）的蒸馏，而非隐藏状态。

关键结果

模拟研究（合成数据）

使用已知的生成过程（信号服从 Beta 分布），作者验证了：

• 成本-准确率前沿： 贝叶斯最优停止策略优于固定规则基准（若熵 > $\theta$ 则升级）和事后选择基准（生成完成后再决定）。
• 近视 vs. 最优： 近视规则（命题 1）往往在生成早期过度升级，而最优停止方案在早期保持保守，以收集更多证据。
• 校准敏感性： 引入“自信地错误”的污染（即错误答案模仿成功信号）会大幅降低准确率并导致升级率下降（因为模型无法检测到自身的错误），这证实了其理论上的遗憾界限。
• 样本复杂度： 置信度误差随 $1/\sqrt{n}$ 衰减，证实了适量的带标签数据足以实现有效的校准。

真实模型验证（Qwen2.5-Coder）

作者在一个预注册协议上执行了 Qwen2.5-Coder 1.5B $\to$ 7B 的代码生成级联测试：

• 设置： 初级模型（1.5B）生成代码；高级模型（7B）充当专家。正确性由单元测试执行情况定义。
• 发现：
  1. 流式优势： 流式升级策略（在置信度下降时停止）在 0.98$\times$ 初级模型计算成本的情况下实现了 75% 的准确率。相比之下，事后路由需要 1.41$\times$ 的计算量才能达到相似的准确率。
  2. 置信度动态： 即使瞬时信号（如熵）是非单调的或在生成过程中发生坍缩，累积胜任能力置信度的判别力（AUROC）也会随生成过程近乎单调上升。
  3. 局限性： 真实模型测试使用了常数阈值而非完整的最优停止方案，且置信度使用的是运行平均值的代理而非递归滤波器。因此，未能完全隔离动态规划期权价值带来的具体增益。

意义与主张

该论文声称有三个主要贡献：

1. 形式化： 它为生成中委派建立了一个基于决策论的原则框架，将其视为一个最优停止问题，这与预设或事后路由截然不同。
2. 理论： 它提供了一个严格证明，证明最优策略是基于学习到的胜任能力后验概率的阈值，该证明仅依赖于单调性和条件独立性，而不依赖于特定的信号形状或凹性。
3. 设计原则： 它将校准提升到了约束条件的地位。论文认为，对于自我升级系统，失败的成本取决于后验概率的校准程度，而非路由器的复杂程度。“自信地错误”的预测被确定为主要的失效模式，如果不改进校准，任何阈值策略都无法克服这一问题。

作者对其实际应用结果保持谦逊，指出目前的验证仅限于单一的代码生成级联以及常数阈值的实例化。他们将这项工作定位为一个可证伪的框架，其最终测试在于当前的 LLM 是否拥有足够校准的不确定性信号，以实现其理论上的收益。