🤖 AI

Distribution-Free Uncertainty Quantification for Continuous AI Agent Evaluation

本文提出了一种无需分布假设的连续人工智能体评估框架，该框架通过适配共形预测与自适应共形推断，提供校准后的不确定性区间、多智能体流水线的组合性边界以及针对排名的受控弃答规则，并在50个智能体和18个实时信号上展现了稳健的性能。

原作者： Yuxuan Gao, Megan Wang, Yi Ling Yu

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Gao, Megan Wang, Yi Ling Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你每小时都要评估 50 个不同的人工智能“智能体”（智能软件机器人）的表现。你想知道：智能体 A 真的比智能体 B 更好，还是我们只是在观察随机噪声？

根据这篇论文，问题在于大多数现有方法表现得好像它们拥有 100% 的确定性。它们只给你一个单一分数，比如“智能体 A 有 85% 的好”。但事实上，分数会根据你询问的平台、智能体如何更新，甚至一天中的时间而波动。这就像试图在一个摇晃的秤上称一袋面粉，而有人还在不停地撞击桌子。

作者们构建了一个名为 AgentPulse 的新系统来解决这个问题。他们不再只给出一个数字，而是提供一个置信区间（一个“安全网”），告诉你有多大把握。他们将此称为“无分布不确定性量化”。

以下是他们系统的工作原理，使用简单的类比：

1. 不会破裂的“安全网”（共形预测）

通常，当科学家猜测一个范围时，他们假设数据遵循完美的钟形曲线（就像人的身高）。但 AI 分数很混乱；它们具有“重尾”（突然的剧烈波动）。

作者们使用了一种称为分割共形预测的方法。

类比：想象你在钓鱼。与其根据理论猜测鱼可能在哪里，不如看看过去一小时内鱼实际被钓到的地方。你构建一个刚好足够大、能网住之前看到的 80% 鱼的网。
结果：他们的“网”经过完美校准。如果他们说有 80% 的把握，他们实际上就有 80% 的把握。无论数据多么奇怪或混乱，数学都能保证这张网有效。

2. 针对新发布的“减震器”（自适应共形推断）

AI 智能体经常更新。当新版本发布时，旧数据变得无用，而那张“摇晃的桌子”变得更加摇晃。

类比：想象一辆车在平坦的道路上行驶。突然，它撞上了一个坑（新的智能体发布）。标准的悬挂系统（标准数学）会让车身保持僵硬，乘客会感到颠簸。
解决方案：作者们使用了ACI（自适应共形推断）。这就像一辆装有“智能减震器”的汽车。当它撞上坑洼时，系统会立即将安全网（置信区间）扩大 35% 以吸收冲击。一旦车辆稳定下来，安全网就会缩小回去。这防止了系统在混乱时期给出虚假的确定性。

3. “团队合作”安全检查（组合不确定性）

通常，智能体在流水线中工作（智能体 A 将任务传递给智能体 B）。如果智能体 A 不稳定，智能体 B 也不稳定，那么整个链条就非常不稳定。

类比：想象一场接力赛。如果第一棒跑得快但不稳，第二棒跑得快也不稳，那么团队的总时间就极不确定。
解决方案：论文为这些团队提供了两个“安全边界”。一个假设跑步者是独立的（最佳情况猜测），另一个假设最坏的情况，即他们的不稳定性会叠加。这有助于你判断多步骤流程是否可靠，或者是否即将崩溃。

4. “诚实的裁判”（弃权与错误发现率）

有时，数据如此嘈杂，以至于你根本无法判断谁更好。一个糟糕的裁判可能会强行做出裁决并出错。一个好的裁判会承认：“我不知道。”

类比：在拳击比赛中，如果裁判看不清楚，他们就不应该宣布获胜者。他们应该说：“让我们暂停一下。”
解决方案：该系统有一条弃权规则。如果两个智能体的“安全网”重叠太多，系统就拒绝对其进行排名。它还使用了一种统计技巧（FDR 校正），以确保如果它们确实对 1,000 对智能体进行了排名，不会意外地让其中 20% 出错。它用几个“我不知道”换取了那些它们确实排名的结果的完全可靠性。

5. 倾听大众的声音（跨源分歧）

该系统不仅仅查看一次测试；它还会查看来自 9 个不同地方的基准测试、GitHub 下载量和社交媒体情绪。

类比：想象让 9 个不同的人给一部电影评分。如果 8 人说它很棒，1 人说它很糟糕，你就知道那 1 个人是异常值。但如果 5 人说“很棒”，4 人说“很糟糕”，那就是不稳定的迹象。
结果：论文发现，当这些不同的“人群”意见不一致（分歧）时，它预示着智能体的排名将不稳定。这是一个警告灯：“嘿，人群无法达成一致，所以暂时不要信任这个排名。”

底线

作者在 50 个真实的 AI 智能体上测试了这一点。他们发现：

他们的“安全网”是准确的（校准误差极小）。
与旧方法相比，它们能更好地处理新的智能体发布。
它们能告诉你何时排名过于不稳定而不可信，从而避免你基于嘈杂数据做出错误决策。

简而言之，他们将 AI 评估从一场“猜谜游戏”变成了一门“可测量的科学”，让你始终知道能在多大程度上信任结果。

技术摘要：面向连续 AI 智能体评估的无分布不确定性量化

1. 问题陈述

AI 智能体评估目前正面临一场“不确定性危机”。现有的静态基准测试（例如 SWE-bench、GAIA、WebArena）产生的点估计值被视为确定性结论，但它们未能考虑由以下因素引发的隐含不确定性：

测量异质性：不同平台对质量评估存在分歧。
模型规范：排名在不同加权方案下发生变动。
时间非平稳性：随着智能体的更新或发布，分数发生演变。

尽管像 Chatbot Arena 这样的某些框架通过自助法重采样（bootstrap resampling）提供置信区间，但它们缺乏有限样本保证，且通常仅针对单一信号源。目前尚不存在任何框架能为智能体分数提供无分布覆盖保证、为多智能体流水线提供组合不确定性界限，或在评估置信度低时提供原则性的 abstention（放弃/不排名）规则。

2. 方法论：AgentPulse 框架

作者提出了 AgentPulse，这是一个将不确定性视为首要输出的连续评估框架。该系统利用从 19 个数据源每小时收集的四因素复合分数（$AP$）对 50 个智能体进行评估：
$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$
其中 $B$ 代表基准测试表现， $A$ 代表采用度（GitHub 星标数、下载量）， $S$ 代表情感（聚合自 9 个平台）， $E$ 代表生态系统健康度。

该框架采用四个核心方法论支柱：

2.1 无分布预测（分割共形与 ACI）

为了预测 $h$ 小时后的分数，系统使用均值回归模型。为了在不假设特定数据分布的情况下保证覆盖率：

分割共形预测（Split Conformal Prediction）：将评分历史划分为训练集（70%）和校准集（30%）。计算非共形分数，并选择分位数 $\hat{q}_{1-\alpha}$ 以构建区间 $C_{1-\alpha}$ 。在可交换性假设下，这保证了 $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ 。
自适应共形推断（ACI）：为了处理由智能体发布引起的分布偏移（违反可交换性），ACI 在线调整误覆盖水平 $\alpha_t$ 。如果观测值落在区间之外，则增加 $\alpha$ ，从而扩大区间直至覆盖率恢复。

2.2 条件覆盖（Mondrian 共形）

标准共形预测提供边际覆盖（对所有智能体取平均），这可能会掩盖特定波动性智能体的表现不佳。作者实施了 Mondrian 共形预测，根据跨源标准差（ $\sigma_{cross}$ ）将智能体分层为“稳定”和“波动”组。为每组分别计算校准集和分位数，从而确保那些在标准方法下会失效的波动性智能体也能获得条件覆盖保证。

2.3 流水线的组合不确定性

对于多智能体流水线（ $a_1 \to a_2$ ），该框架推导了组合测量的不确定性界限：

独立性界限： $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$ 。
最坏情况界限： $\sigma_{pipeline} \le \sigma_1 + \sigma_2$ 。
这些界限在阶段间相关系数 $\rho \in [-0.5, 0.9]$ 的模拟中得到了验证。

2.4 选择性放弃与 FDR 控制

为了管理排名可靠性：

共形放弃（Conformal Abstention）：对于成对比较，如果分数差 $\Delta_{ab}$ 的置信区间包含零，则系统放弃排名。这控制了错误排名率。
FDR 校正：针对排行榜规模的多次测试（1,225 对），应用 Benjamini-Hochberg (BH) 程序来控制错误发现率（FDR），确保在所有被排名的对中，排序错误的对所占比例保持在目标阈值以下。

3. 关键结果

3.1 校准与覆盖

校准误差：在 24 小时时间范围内，共形区间在所有标称水平下的校准误差均低于 0.02。
与参数法/自助法的比较：参数区间系统地过于保守（比必要范围更宽）。自助法区间在短期范围内适度过于保守，但在 72 小时处覆盖不足（74% 的覆盖率对比 80% 的标称值），这是由于时间非平稳性所致。共形方法保持了稳健的覆盖率（72 小时处为 79%）。
自适应响应：在智能体发布后，ACI 在 6 小时内正确地将区间扩大了 35%，并在 48 小时内重新收敛，而静态方法则遭受了覆盖率下降。

3.2 条件覆盖改进

波动性智能体：在标准共形预测下，波动性智能体（高 $\sigma_{cross}$ ）的平均覆盖率为 64.6%（15 个智能体中有 11 个低于 75%）。
Mondrian 校正：通过对智能体进行分层，Mondrian 共形将波动性智能体的覆盖率提高到了 80.4%（15 个智能体中仅有 2 个低于 75%），代价是该特定组的区间更宽。
整体分布：50 个智能体的平均每个智能体覆盖率为 80.4%，其中 90% 的智能体落在 [72%, 90%] 范围内。

3.3 流水线与排名稳定性

流水线界限：模拟证实，对于正相关，真实的流水线不确定性介于独立性界限和最坏情况界限之间。
放弃率：在 $\alpha=0.20$ 时，31% 的对触发了放弃。经过 BH 校正以控制 FDR 后，50% 的对被自信地排名，其余则被标记为不确定。
信号分歧：跨源情感分歧是排名不稳定的强预测因子（ $r=0.64, p<0.01$ ）。

3.4 验证

预测有效性：排除 GitHub 信号的子复合指标预测了 GitHub 星标数（ $\rho_s=0.52$ ）和 Stack Overflow 问题数（ $\rho_s=0.49$ ）。
循环性控制：验证确认该框架捕捉到了超越标准基准的信号（ $\rho_s=0.52, p<0.01, n=35$ ）。
排名变动：复合排名与仅基于基准的排名存在显著差异，特别是对于那些采用度高但基准分数较低，或采用度信号为零的闭源智能体。

4. 意义与主张

该论文声称，AgentPulse 填补了 AI 评估的一个关键空白，它是首个为连续、多源智能体评估提供无分布覆盖保证的框架。

作者强调，他们的贡献并非发明分割共形预测本身，而是将其严格应用于一个具有四个独特挑战的领域：

结构化可交换性违反：通过 ACI 解决，以处理智能体发布。
条件覆盖失效：通过带有 $\sigma_{cross}$ 分层的 Mondrian 共形解决，显著提高了波动性智能体的可靠性。
组合结构：通过针对流水线的已验证不确定性传播界限解决。
排行榜规模的多次测试：通过受 FDR 控制的放弃机制解决。

这项工作表明，在时间非平稳性条件下，无分布方法优于标准的重采样（自助法）方法。通过将不确定性视为主要输出，该框架实现了对 AI 智能体更可信、更动态和更细致的评估，从静态点估计转向对智能体质量的概率性理解。

作者承认的局限性：

ACI 假设分布偏移是有界的；无界的体制变化可能会违反收敛性。
在负的阶段间相关下，组合界限可能表现为非保守（anti-conservative）。
FDR 控制假设检验统计量之间具有独立性或正回归依赖性。
消融研究（ $n=11$ ）统计功效不足。
当前的 NLP 处理仅限英语，且闭源智能体缺乏采用度信号。