🤖 machine learning

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

本文介绍了 CELEUS，这是一个利用 E-过程（E-processes）为大语言模型（LLM）评估提供可验证、随时有效（anytime-valid）置信区间的框架，同时通过不确定性引导采样和代理辅助近似显著减少了所需的样本数量。

原作者： Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个装有 100,000 个弹珠的大罐子。其中一些是红色的（代表 AI 犯的错误），另一些是蓝色的（代表正确的答案）。你想知道整个罐子中红弹珠的精确百分比，以决定这个 AI 是否足够优秀，可以投入到现实世界中使用。

问题在于：检查每一个弹珠既缓慢又昂贵，而且有时需要人类去观察。如果你只是随手抓一把并进行猜测，你可能会运气好，也可能会运气差，而且你无法知道你的猜测距离真相有多近。

这篇论文介绍了一种名为 CELEUS 的智能且具有数学保证的方法，让你能够快速且安全地计算出那个百分比。

以下是它的工作原理，使用简单的类比：

1. 问题所在：“停止与继续” vs. “持续检查”

传统上，为了确保答案准确，你可能会检查固定数量的弹珠（比如 1,000 个）然后停止。但如果前 1,000 个全是蓝色的呢？你会认为这个罐子是完美的，但你可能只是运气好而已。

一些更新的方法尝试逐个检查弹珠，并在一旦觉得“足够确定”时停止。然而，这篇论文指出这些方法存在一个缺陷：如果你在检查进度时不断根据“当下”看到的情况来决定是否停止，你可能会在无意中欺骗自己，让你觉得比实际情况更确定。这就像一个赌徒，根据最近几次的赢球不断改变投注策略；最终，他可能会认为自己拥有了一套“保证获胜”的系统，但实际上他只是运气好。

CELEUS 解决了这个问题。它提供了一种“可验证”的保证。无论你何时决定停止，数学都会保证你的答案处于一个特定的真值范围内（例如，我们可以 95% 确定红弹珠的数量在 10% 到 12% 之间）。

2. 核心秘诀：“水晶球”（代理模型）

检查一个弹珠是很昂贵的（就像让真人去批改作文）。CELEUS 使用了一个技巧来节省成本。

想象你有一个水晶球（称为“代理模型”）。它是一个更小、更便宜的 AI，通过观察一个弹珠来猜测它是红色还是蓝色。

代价： 水晶球并不完美。它有时会猜错。
CELEUS 的策略： CELEUS 不再用昂贵的人类去检查每一个弹珠，而是先让水晶球为所有弹属于进行猜测。
- 如果水晶球非常自信且表现一致，CELEUS 就会信任它，不再麻烦人类去检查那个弹珠。
- 如果水晶球感到困惑，或者它的猜测看起来很有风险，CELEUS 就会说：“嘿，我需要找人类来检查这个，以确保万无一失。”

这被称为代理辅助近似法 (Surrogate-Assisted Approximation)。它让系统跳过对简单弹珠的昂贵检查，转而专注于那些棘手的弹珠。

3. “不确定性侦探”（采样）

CELEUS 并不只是随机挑选弹珠。它像是一个寻找最令人困惑线索的侦探。

它使用不确定性引导采样 (Uncertainty-Guided Sampling)。如果水晶球说一个弹珠是“红色”，但数学逻辑表明它实际上可能是“蓝色”（存在巨大分歧），CELEUS 会优先安排人类去检查这个特定的弹珠。它会忽略那些大家意见一致的弹珠。这就像一位老师批改一叠试卷：他们会将最多的时间花在难以判定的作文上，而不是那些一眼就能看出是完美或极差的题目上。

4. “神奇账本”（E-过程）

CELEUS 如何知道自己在查看水晶球的猜测时没有“作弊”？

它使用了一个名为 E-过程 (E-Process) 的数学工具。你可以把它想象成一个神奇的账本，或者一个“公平度计”。

每当 CELEUS 检查一个弹珠时，它都会更新这个账本。
该账本的设计逻辑是：如果系统在撒谎或作弊（例如过早停止或使用了错误的猜测），“公平度计”就会吹响哨子并亮起红灯。
正因为有了这个账本，系统可以持续地更新其置信区间，而永远不会破坏规则。这就像一位法官可以在审判过程中随时暂停，查看目前收集到的证据，然后说：“我们已经有 95% 的把握了”，而审判过程本身绝不会变得不公平。

结果：更快、更便宜

论文在真实的 AI 模型（如 Llama 和 DeepSeek）以及标准基准测试（如情感分析和通用知识问答）上进行了测试。

结论： CELEUS 达到了与旧方法相同的确定性水平，但使用的人类检查次数减少了 54% 到 62%。
类比： 如果旧方法需要请人类批改 10,000 篇作文才能确保准确，那么 CELEUS 只需要请人类处理大约 4,000 篇，因为它利用“水晶球”处理了剩下的部分。
保证： 尽管检查的次数更少，但论文从数学上证明了最终得分是值得信赖的，并且不会因为提前停止而导致结果失效。

总结

CELEUS 是一种全新的 AI 测试方法，它：

节省成本：通过使用廉价的“水晶球”（代理模型）来猜测大多数项目的答案。
集中精力：仅在水晶球感到困惑时才请求人类进行检查。
保证安全性：通过使用特殊的数学“账本”（E-过程），确保无论何时决定停止检查，结果都是准确的。

它让研究人员能够理直气壮地说：“我们在统计学上确定这个 AI 是优秀的”，而无需浪费时间和金钱去检查每一个例子。

技术摘要：CELEUS

问题陈述

大型语言模型（LLM）的评估日益依赖于对样本进行顺序采样以估计性能指标。然而，标准的评估实践在理论严谨性与实际应用之间面临着严重的鸿沟。现有的通过顺序更新置信区间（CI）的方法往往无法实现随时有效性（anytime-valid）。这意味着，当评估者反复更新置信区间并利用其决定何时停止（例如，当区间宽度达到目标精度时），由于存在“双重计算（double dipping）”问题——即使用同一组数据既用于选择评估策略，又用于量化不确定性——所声称的覆盖概率（如 95%）可能会失效。此外，仅仅收集更多样本并不能证明估计结果已足够精确以用于决策，这使得评估缺乏统计学上有根据的停止准则。

目前的方案如 Cer-Eval 试图通过自适应划分来解决这一问题，但它们依赖于固定划分假设，而当划分根据数据进行自适应学习时，该假设并不成立，从而导致潜在的覆盖率损失。此外，由于获取真值标签或人类判断的成本极高，高效评估受到了阻碍，因此需要能够以最小化评估样本数量同时保持统计有效性的策略。

本文提出的 CELEUS 是一个通过利用 E-过程（E-processes） 来弥合理论保证与实际效率之间鸿沟的框架。

方法论

本文提出了 CELEUS（基于 E-过程的可验证且高效的 LLM 评估），该框架通过利用 E-过程，在保持理论严谨性的同时提升了实际效率。

核心框架

随时有效的置信区间： CELEUS 使用 E-过程构建置信区间，这些过程提供的保证在任何停止时间都是有效的。与传统方法不同，E-过程仅依赖于评估得分是有界的这一假设（通过归一化或截断实现），这使得它们对自适应停止规则具有鲁棒性。
顺序程序： 该方法作用于有限数据池 $D_N$ 。在每一轮 $t$ ，它选择一个未被评估的样本，观察其真实风险，并更新置信区间。当置信区间宽度达到目标精度 $\epsilon$ 时，过程停止。

关键技术组件

为了确保在非均匀采样下的效率与有效性，CELEUS 通过两个主要要素构建推断信号：

不确定性引导采样： CELEUS 不采用均匀随机采样，而是优先选择预期能降低估计方差的样本。采样概率 $q_t$ 被设计为与观测到的风险与代理得分之间的差异幅度成正比。这与理论推导出的方差最优采样规则相一致。
代理辅助近似： 对于未评估的样本，CELEUS 利用较小的预训练代理模型（例如 7–8B 模型）的得分来近似真实风险。这使得框架能够从整个数据池中提取信息，而无需对每个样本都使用目标模型进行评估。

信号构建

该框架构建了一个对于有限池风险 $R_N$ 是条件无偏的逐轮信号 $\hat{S}_t$ 。该信号结合了：

代理完成的池风险估计（使用已评估样本的观测风险和其余样本的代理得分）。
针对新评估样本的残差（真实风险与代理得分之差）进行的逆概率加权修正。

这种条件无偏性是构建有效 E-过程的核心机制。随后，框架利用 Hoeffding 式修正，将置信区间从有限池风险 $R_N$ 提升到总体风险 $R$ ，该修正取决于完整的池规模 $N$ 。

理论保证

随时有效覆盖： 所生成的置信区间在任何停止时间都能以至少 $1-\alpha$ 的概率覆盖真实的总体风险。
收敛速率： 置信区间的宽度以接近参数化的速率 $O(\sqrt{\log t \log \log t / t})$ 进行收缩（忽略对数因子）。
方差缩减： 本文证明了所提出的不确定性引导采样和代理辅助能够降低信号的条件方差，从而直接加速置信区间的收缩。

核心贡献

弥合严谨性与实践的鸿沟： CELEUS 提供了首个既具备统计严谨性（随时有效）又具备实际效率的 LLM 评估框架，解决了现有自适应方法（如 Cer-Eval）存在的覆盖失效问题。
创新的信号构建： 本文引入了一种条件无偏信号，该信号集成了代理辅助近似与逆概率加权，从而在非均匀、自适应采样下实现了有效的 E-过程构建。
理论分析： 作者为估计器的无偏性、随时有效置信间的有效性以及采样策略的方差最优属性提供了证明。他们还刻画了置信区间宽度的收敛速率。
实证验证： 大量实验表明，与基准方法（如使用 E-过程的均匀采样）相比，CELEUS 在保持标称覆盖率的同时，使用的评估样本数量减少了 54–62%。使用小型代理模型（7–8B 参数）且无需特定任务微调，相比于非代理版本进一步提升了 10–23% 的效率。

结果

实验在三个基准测试（SST-2, AG News, MMLU）上进行，涉及多种目标模型（如 Llama-3-70B, DeepSeek-67B, Mixtral-8×7B）及代理-目标对。

覆盖率： 在 Cer-Eval 无法维持覆盖率的诊断场景中（误覆盖率为 16.1% vs 标称 5%），CELEUS 及其他基于 E-过程的方法将误覆盖率维持在标称水平之下（0.021–0.030）。
效率： CELEUS 以显著更少的标签达到了目标精度（ $\epsilon=0.05$ ）。例如，在 MMLU 上，它仅需 3,242 个样本，而基准方法（EVALUE）需要 8,144 个样本，降幅达 60%。
代理影响： 代理辅助版本始终优于无代理版本，证明了利用预训练的小型模型可以有效降低估计信号的方差。

重要性与声明

本文声称 CELEUS 提供了一个有统计依据的准则，用于决定何时完成了足够的样本评估，从而超越了简单的点估计，转向经过认证的置信区间。通过确保随时有效性，它允许评估者在不增加第一类错误率的情况下监控进度并提前停止。

作者强调，在评估依赖于昂贵的人类标注或强力 LLM 裁判的场景中，该方法尤其具有价值，因为它大幅减少了所需此类评估的数量。作者指出，虽然该方法解决了评估中的统计不确定性，但它并未解决其他部署风险（如安全性、偏差），也无法保证基准测试本身能够代表真实世界的情况。虽然承认了代理评分带来的计算成本，但其相对于减少目标模型评估所带来的收益而言是可以忽略不计的。

作者建议的未来工作包括将该框架扩展到感知分布偏移的评估场景。