📊 statistics

Deployment-complete benchmarking

本文提出了“部署完备基准测试”框架，该框架通过量化证据模糊性来评估基准分数是否能可靠地指导部署决策，揭示出现有基准尽管分数很高却往往无法支持现实世界决策的问题，并提出了一种“先认证后获取”策略以显著减少错误的部署决策。

原作者： El Mustapha Mansouri, Keigo Arai

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： El Mustapha Mansouri, Keigo Arai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位招聘经理，正试图决定录用谁来完成一项非常具体的工作：在暴风雪中驾驶一辆送货卡车。

你有一份候选人名单，并让他们参加了一项标准的驾驶测试。该测试衡量他们在空旷停车场停车以及在晴天驾驶的能力。结果很明确：候选人 A 得了完美的 100/100 分，候选人 B 得了 95/100 分。

基于这个“基准分数”，你自然会录用候选人 A。但问题在于：你给他们做的测试，实际上并没有测试他们在暴风雪中驾驶的能力。

这篇题为《部署完备的基准测试》（Deployment-complete benchmarking）的论文指出，我们在人工智能模型、新材料和医疗化合物方面正在犯同样的错误。我们将测试分数视为系统已准备好应对现实世界的保证，而实际上，该分数往往只能证明系统擅长应对测试本身。

以下是他们研究发现的简要说明，使用了简单的类比：

1. “纤维”问题：相同分数，不同现实

作者引入了一个称为“纤维”（fiber）的概念。想象一下，纤维是指一组在驾驶测试中得分完全相同的人。

理想情况： 该组中的每个人在暴风雪中驾驶的能力都同样出色。如果你从该组中录用任何人，都是安全的。
现实问题（混合纤维）： 实际上，该组是混合的。有些人能在暴风雪中驾驶，而另一些人会立即撞车。他们在晴天测试中都得了相同的分数，但该测试未能捕捉到这种差异。

论文将这种情况称为“混合纤维”。这是一个数学证明，表明你的测试分数不足以做出决策。如果你面对的是“混合纤维”，你就是在盲目飞行。

2. “完美分数”陷阱

作者进行了实验，创建了一个完美的测试。他们发现，即使一个模型在基准测试（晴天测试）中获得了100% 的完美分数，它对于实际工作（暴风雪）可能仍然毫无用处。

类比： 想象一位厨师在安静的厨房里做蛋糕完美无缺。你录用他们是为了在一个混乱嘈杂的厨房里烹饪盛大的宴会。他们的“完美蛋糕分数”并不能告诉你他们是否能应对混乱。
发现： 在他们的实验中，一个在测试中表现“完美”的模型，仍有约**55%**的情况未能预测现实世界的结果，因为测试遗漏了一个关键信息（即“残差”或“暴风雪”）。

3. “混合纤维”审计

作者走出去检查了现实世界的基准测试（如毒理学领域的 Tox21 和材料科学领域的 JARVIS），以查看存在多少“混合纤维”。结果令人震惊：

毒理学（Tox21）： 97.9% 的具有相同测试分数的组别中，混合了安全化学品和有毒化学品。该测试分数对于决定安全性几乎毫无用处。
材料科学（Matbench/JARVIS）： 在主要审计中，你可以自信录用的候选人中位数为0%。分数如此模棱两可，以至于在没有更多信息的情况下，你无法信任任何一个分数。

4. 解决方案：“先认证，后获取”

那么，我们该怎么办？论文提出了一种名为“先认证，后获取”（Certify-Then-Acquire）的新工作流程。

不要仅仅查看分数并做出决定，而是遵循以下步骤：

检查分数： 查看基准测试结果。
检查纤维： 问自己：“这个分数组是否包含好结果和坏结果的混合？”
如果是混合的（模棱两可）： 不要猜测！停止。 你需要运行一个额外的特定测试（“探针”）来消除困惑。
- 类比： 如果驾驶测试模棱两可，就不要立即录用该司机。给他们一个在雪地里的 5 分钟快速测试。
如果是纯粹的： 如果该组全部安全（或全部不安全），那么你才可以做出决定。

这种新方法的结果：

在毒理学测试中，该方法将错误决策（误报）从1.19% 降低到了 0.027%。
在材料测试中，它将错误决策从20.3% 降低到了 0.128%。
额外好处： 它经常改变了你选择的模型或材料。按旧分数排名的“最佳”模型，往往是对实际工作最糟糕的选择。新方法则选对了。

5. “完备曲线”

作者提出了一种新的结果报告方式。不要只说“我们的模型达到了 95% 的准确率”，报告应包含一条“完备曲线”（Completion Curve）。

这条曲线回答了这个问题：“我们需要投入多少额外信息（或资金）才能确保我们的决定是正确的？”

如果曲线平坦，你需要大量的额外测试才能确定。
如果曲线陡峭，你已经接近确定无疑了。

核心结论

该论文认为，分数不是决策。分数只是一条证据。

旧方式： “模型得了 95 分，所以我们部署它。”（这很危险，因为分数可能未涵盖现实世界的风险。）
新方式： “模型得了 95 分，但该分数让我们对 20% 的案例感到不确定。在部署之前，让我们对那 20% 进行一项额外测试以确保无误。”

作者总结道，对于任何高风险决策（部署 AI、购买材料、批准药物），我们必须停止仅报告分数。我们必须报告分数实际支持了什么、哪里存在歧义，以及消除这种歧义需要多少成本。

技术摘要：部署完备性基准测试

问题陈述
当前的机器学习基准测试日益指导关键的部署决策，例如模型采购、材料筛选和化合物分级。然而，存在一个根本性的脱节：基准分数仅提供针对其记录的特定响应（例如，测试集上的预测精度）的证据，而不一定针对所需的部署行动（例如，安全性、鲁棒性或特定的物理阈值）。一个模型可能在基准测试中表现完美，但基于该分数得出的行动仍然不确定，因为部署依赖于基准测试范围之外的响应（例如，毒性、稳定性或分布外鲁棒性）。本文认为，标准的指标（如准确率、校准度和不确定性）并不能保证基准分数支持特定的部署主张。

方法论
作者引入了部署完备性基准测试（deployment-complete benchmarking），这是一个将“从基准证据到部署行动”的过渡视为数学分解问题的框架。

形式化定义：
- 设 $S$ 为候选空间， $Z$ 为记录证据（基准分数）的空间， $A$ 为部署行动空间。
- 基准测试记录一个证据映射 $E: S \to Z$ 。部署主张是一个行动 $D: S \to A$ 。
- 主张完备性（Claim-Completeness）： 当且仅当 $D$ 在每个证据纤维 $E^{-1}(z)$ 上为常数时，基准测试对主张 $D$ 是完备的。等价地，必须存在一个映射 $\phi: Z \to A$ ，使得 $D = \phi \circ E$ 。
- 混合纤维（Mixed Fibers）： 如果一个纤维 $E^{-1}(z)$ 包含需要不同部署行动的候选者（例如，一个候选者应被部署，另一个应被拒绝），则它是一个“混合纤维”。这作为数学见证，证明所报告的证据不足以确定行动。
诊断工具：
- 混合纤维审计（Mixed-Fiber Audit）： 一种诊断方法，用于计算位于混合纤维中的候选者比例。
- 完备性曲线（Completion Curves）： 这些曲线量化了解决歧义所需的成本（以额外的响应探测或预算衡量）。它们绘制“认证比例”（具有纯纤维的候选者）与“响应预算”之间的关系。
- 认证类型： 本文区分了精确认证（具有已知标签的有限集）、校准认证（在保留数据上的经验风险）和预测认证（基于建模假设的区间界限）。
实验设计：
- 受控响应空间： 合成实验，其中响应空间的几何结构已知，允许精确计算“残差大小”（即部署响应中基准测试不可见的部分）。
- 公开审计： 分析现有数据集（Tox21、Matbench、JARVIS、Vision），以测量现实世界基准测试中混合纤维的普遍性。
- 保留重放（Held-out Replays）： 操作模拟，测试“先认证后获取”的工作流。具有纯纤维的候选者立即做出决定；位于混合纤维中的候选者则被送交进行额外测量（获取）。

主要结果

基准准确率 $\neq$ 部署完备性：
- 在受控实验中，基准通道共形预测在测量标签上的覆盖率达到 94.98%，但在未测量的部署通道上仅为 10.07%。
- 即使基准误差为零（在基准测试上完美预测），部署覆盖率也会崩溃（在特定残差大小下降至 45.4%），因为部署方向具有与基准跨度正交的分量。
- 排行榜反转： 具有最佳基准平均绝对误差（MAE）的模型，在认证部署候选者方面往往表现最差。在某些运行中，最佳 MAE 模型仅认证了其前 6% 的候选者，而 MAE 较差的模型却认证了 100%，因为它的响应跨度覆盖了部署探测。
公共基准测试中的系统性不完备：
- Tox21： 97.9% 的纤维（具有相同 7 项测定谱的化合物组）在 SR-p53 部署终点方面是混合的。
- Matbench 和 JARVIS： 在主要的 20 分位数审计中，稳定性和带隙主张的可认证比例中位数为0%。
- Vision： 清洁预测纤维使 22.7% 的腐败鲁棒性主张处于歧义状态。
完备性感知策略的操作影响：
- 减少错误决策： 在 Tox21 的保留重放中，“先认证后获取”的工作流将经验错误决策从 1.19%（基准多数策略）降低到 0.027%。在 JARVIS 中，错误的带隙决策从 20.3% 下降到 0.128%。
- 模型选择： 完备性感知工作流选择的模型与基于基准 MAE 的工作流不同。在一个代表性的 JARVIS 划分中，基于基准 MAE 的模型做出了 613 次错误的带隙决策，而基于响应选择的工作流则没有。
- 探测选择： “响应排名”和“残差贪婪”策略成功识别了与部署相关的探测（例如，特定的毒性测定或带隙计算），从而减少了歧义，其表现优于基于不确定性或基于多样性的获取策略。

意义与主张
本文主张，面向部署的基准测试必须将其报告标准从“仅分数”转变为可审计的证据包。该证据包应包括：

分数。
所使用的证据映射。
该分数旨在支持的具体行动。
行动已确定的候选者比例（纯纤维）。
歧义比例（混合纤维）。
完备性成本（解决歧义所需的预算）。

作者认为，准确率、校准度和不确定性估计对于排序和可靠性仍然有价值，但它们回答的是不同的问题。部署完备性具体询问证据包是否确定了行动。该框架提供了证据不足时的诊断、统计量在仅依赖相同证据时能修复缺失信息的极限（无），以及获取支持部署决策所需信息的设计规则。

局限性与范围
本文并不主张所有基准测试都无用，而是指出它们对于特定的部署主张往往是不完备的。“先认证后获取”的工作流将歧义候选者视为失败，而是视为进一步测量的请求。该框架是相对于证据的；添加描述符、约束或新测量会改变证据映射，并可能降低完备性成本。结果被呈现为在保留数据上的经验风险评估和有限集上的数学诊断，而非针对未观测分布的形式化总体保证。