🤖 machine learning

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI 是一个以校准优先的路由框架，它通过保序回归将令牌级不确定性映射为每个查询的误差概率，并通过约束成本最小化优化升级阈值，在保持生产环境命名实体识别任务高精度的同时，相较于现有路由基线实现了推理成本降低 31%。

原作者： Varun Kotte

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Varun Kotte

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你经营着一个繁忙的客服中心。你有两类客服代表：

初级代表：速度快、成本低，擅长处理简单问题，例如“你们的营业时间是什么？”
高级专家：速度慢、成本高，但能解决棘手问题，例如“我该如何修复这个复杂的漏洞？”

你的目标是通过让初级代表尽可能多地处理来电来节省成本，但你不能承担让他们搞砸难题的风险。问题在于：初级代表经常自以为知道答案，而实际上并不知道。他们可能在给出错误建议时表现得信心十足。

本文介绍了UCCI，一个智能的“交通指挥”系统，用于决定何时让初级代表处理来电，何时将其升级给高级专家。

以下是 UCCI 的工作原理，分解为简单步骤：

1. 问题：“自信陷阱”

通常，计算机试图猜测自己的自信程度。如果初级代表说“我有 90% 的把握”，系统可能会允许他们处理该来电。但在人工智能（大型语言模型）的世界里，这个"90% 的把握”往往是个谎言。它是未校准的。初级代表可能在难题上声称"90% 把握”却答错，也可能在简单问题上声称"50% 把握”却答对。

由于这些置信度数值不可靠，公司通常必须针对每项新任务手动猜测并测试（调整）规则。这就像试图驾驶一辆速度表损坏的汽车；你只能猜测自己开得有多快。

2. 解决方案：UCCI（“吐真剂”）

UCCI 通过做两件主要事情来解决这个问题：

步骤 A：校准（“吐真剂”）
在系统上线之前，UCCI 会抽取一部分问题样本，并将初级代表的回答与真实答案进行比对。它使用一种名为保序回归（Isotonic Regression）的数学工具（将其视为“真相过滤器”），将初级代表不稳定的置信度分数映射为真实的概率。

校准前：初级代表说“我有 80% 的把握”。（现实：他们只有 50% 的正确率）。
UCCI 校准后：系统将那个"80%"转化为真实的"50% 出错概率”。
结果：系统现在知道了犯错的实际风险，而不仅仅是人工智能声称的风险。

步骤 B：成本最优决策（“智能交通指挥”）
既然系统知道了实际风险，它就使用一条简单的规则：

如果初级代表犯错的实际风险较低，就让他们处理（省钱！）。
如果实际风险较高，就将其转交给高级专家（多花钱，但确保正确）。

系统会计算出确切的“临界点”，即超过该点后，将来电转交给高级专家就不再划算。

3. 结果：在不降低质量的前提下节省成本

作者在现实世界的任务中测试了该方法：分析照片以查找相机品牌、镜头类型和设置等细节（这项任务称为命名实体识别）。他们使用了 75,000 条真实客户查询。

设置：一个小而快的人工智能模型（40 亿参数）对比一个大而慢、昂贵的人工智能模型（120 亿参数）。
结果：使用 UCCI，与全程仅使用昂贵的高级模型相比，他们将这些查询的处理总成本降低了31%。
质量：他们保持了极高的准确率（Micro-F1 为 0.91）。
对比：UCCI 显著优于其他试图猜测规则的方法（例如简单的“熵”检查或其他基于学习的路由器）。

4. 核心启示

本文认为，秘诀不在于寻找一个完美的复杂算法来猜测阈值。秘诀在于校准。

如果你将嘈杂、不可靠的信号（人工智能的原始置信度）用简单的“真相过滤器”（校准）进行修正，你就能得到一个近乎完美的决策者。本文声称，一旦你拥有了校准后的分数，就不需要过度设计其余部分；你只需要选择正确的价格点来决定何时升级。

简而言之：UCCI 教会人工智能诚实地表达其不确定程度，然后利用这种诚实来为你节省大量资金，同时保持答案的正确性。

技术摘要：UCCI——面向成本最优的大语言模型级联路由的校准不确定性

问题陈述
大语言模型（LLM）在结构化预测任务中表现优异，但推理成本随模型规模急剧上升。级联推理——将简单查询路由至小模型，将困难查询升级至大模型——有望降低推理成本。然而，当前部署的路由器往往依赖未校准的置信度分数（例如原始 token 熵或边界值），这些分数对提示词措辞和工作负载变化十分敏感。因此，阈值调整通常是一项针对特定工作负载的手动任务，难以泛化，导致级联的理论潜力与实际生产性能之间存在差距。

方法论
本文提出了UCCI（不确定性校准级联推理），这是一种将级联设计视为校准决策问题而非调优任务的 routing 框架。该方法分为三个步骤：

Token 级不确定性提取：对于生成的序列，系统基于所有 token 的 top-1 与 top-2 下一个 token 概率之间的差值（ $p_{t,1} - p_{t,2}$ ）计算标量不确定性分数 $u(x)$ 。该差值被聚合，以表征小模型输出的整体不确定性。
保序回归校准：原始不确定性分数 $u(x)$ 并非概率。UCCI 利用保序回归（isotonic regression）在保留的校准集上将该分数映射为校准后的每查询错误概率 $\hat{p}(x)$ 。这一步骤将未校准的信号转化为对小模型输出错误概率的可靠估计（ $P(e(x)=1 | u(x))$ ）。
约束成本最小化：在验证集上选择阈值策略 $\pi_\theta$ 。阈值 $\theta^*$ 的选择旨在满足目标准确率约束（ $\tau$ ）的前提下，最小化预期推理成本。该策略将 $\hat{p}(x) \leq \theta$ 的查询路由至小模型，将 $\hat{p}(x) > \theta$ 的查询升级至大模型。

理论贡献
本文提供了两个关键理论结果：

阈值策略的最优性：在三个明确假设下（大模型成本 > 小模型成本；大模型准确率不随被升级的查询而变化；以及能够获取真实的校准错误概率），作者证明了基于校准错误概率的阈值策略在成本上是最优的。
样本复杂度：本文确立了保序回归在使用 $n$ 个校准样本时能达到 $O(n^{-1/3})$ 的预期校准误差（ECE），为校准步骤的数据效率提供了理论界限。

实验设置与结果
该框架在企业级照片管理系统的 75,000 个手动标注查询组成的生产**命名实体识别（NER）**工作负载上进行了评估。

模型：一个 40 亿参数的小模型（ $f_s$ ）和一个 120 亿参数的大模型（ $f_\ell$ ），两者均经过指令微调，并部署在 H100 GPU 上。
成本测量：成本基于 H100 GPU 上测量的端到端延迟得出，得出的成本比为 $c_\ell/c_s \approx 3.02$ 。
基线：研究将 UCCI 与单模型推理、未校准的熵阈值法、分割共形路由（split-conformal routing）以及 FrugalGPT 风格的 learned threshold 进行了对比。

主要发现：

成本降低：在目标微 F1 为 0.91 时，与仅使用大模型相比，UCCI 将推理成本降低了31%（95% 置信区间：[27%, 35%]）。
校准质量：保序回归将预期校准误差（ECE）从 0.12（未校准）降低至0.03。
与基线的性能对比：在相同工作点（F1 = 0.91）下，UCCI 实现了最低成本（2.08 个归一化单位），优于熵阈值法（2.31）、共形预测（2.18）和 FrugalGPT 风格路由（2.24）。
假设验证：大模型准确率不随路由变化的假设经过了实证测试；升级查询的准确率（0.928）与全局准确率（0.932）几乎一致，支持了理论框架。

意义与主张
本文认为，级联系统中的主要工程价值在于校准路由分数，而非手动调整最终阈值。通过将嘈杂的 token 边界信号通过小型保序拟合转化为概率性错误估计，UCCI 无需复杂的“学习延迟”架构或偏好数据，即可实现近乎最优的路由性能。

作者强调，其结果基于使用实际模型输出和测量硬件延迟的端到端路由，避免了基于全局准确率或名义 API 价格的模拟所固有的选择偏差。虽然该框架与任务无关，但作者指出，具体的成本节约（31%）和校准指标是特定于工作负载的。他们承认，在小模型的“困难”查询对大模型而言也成比例地困难的那些领域，不变性假设存在局限性，并指出静态校准可能需要针对具有分布偏移的流式部署进行调整。

1. 问题：“自信陷阱”

2. 解决方案：UCCI（“吐真剂”）

3. 结果：在不降低质量的前提下节省成本

4. 核心启示

技术摘要：UCCI——面向成本最优的大语言模型级联路由的校准不确定性

类似论文