The AI Evaluability Gap: The Missing Layer for Managing Risk and Sustaining Value
本文将“AI 可评估性差距”——即缺乏足够的证据来支持对风险和价值进行高置信度治理决策的问题——识别为当前 AI 治理中的一个关键缺陷，并提出了一个以“可评估性”为核心的新框架，该框架基于六种证据属性来区分运营认证与投资认证，以确保可持续的 AI 管理。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是关于论文《AI 可评估性差距》（The AI Evaluability Gap）的解释，使用了简单的语言和日常类比。
核心问题： “盲目飞行员”
想象一家公司雇佣了一位新飞行员（一个 AI 系统）来驾驶他们的飞机。公司面临两个大问题：
- 这架飞机现在是否足够安全？（风险管理）
- 这次飞行是否值得投入燃料和人员成本？（价值管理）
目前，大多数公司试图通过观察飞机的仪表盘来回答这些问题。但论文指出，仪表盘往往是损坏或缺失的。 他们缺乏足够的证据来确信自己的答案。
作者将这种缺失的证据称为 “可评估性差距”（Evaluability Gap）。这并不是说 AI 本身一定危险或无用，而是说公司缺乏证据来确定其情况。因为无法证明其安全或有价值，他们要么在盲目飞行（承担巨大风险），要么不必要地让飞机停飞（错失价值）。
核心概念：“可评估性”（Evaluability）
论文引入了一个新概念，叫做 “可评估性”。请不要将其视为 AI 本身的一个特征，而应将其视为围绕 AI 的证据的一个特征。
- 旧方式： “AI 的准确率是多少？”（我们检查分数）。
- 新方式（可评估性）： “我们是否拥有一套可靠、及时且可验证的收据，能够证明 AI 是准确的？”
可评估性是指一个系统生成、保存和刷新所需证据的能力，从而进行高置信度的决策。如果你无法证明它，你就无法治理它。
两种类型的决策
论文指出，我们需要停止将“安全性”和“金钱”视为同一件事。它们需要不同类型的证据：
运行认证（“安全检查”）：
- 问题： “我们可以启动它吗？”
- 所需的证据： 结构性证据。就像检查刹车是否工作、机翼是否连接以及飞行员是否遵守规则一样。
- 类比： 汽车年检。你需要证明这辆车不会伤人。
投资认证（“价值检查”）：
- 问题： “我们应该继续为它付费吗？”
- 所需的证据： 因果性证据。这辆特定的车是否真的让我们比走路更快到达目的地？它是否为我们节省了成本？
- 类比： 商业报销单。你需要证明这辆车确实帮助了业务增长，而不仅仅是证明它存在。
陷阱： 一个系统可能通过了“运行认证”（安全），但在“投资认证”（无用）方面失败。目前，公司之所以陷入困境，是因为它们不知道如何区分这两者。
优质证据的六个要素
为了弥补“可评估性差距”，论文指出你的证据需要六个特定的要素。把这些想象成一把稳固凳子的六条腿。如果缺少其中一条，凳子就会坍塌。
- 可观测性（我们能看到它吗？）：
- 类比： 如果你在烹粉，你能看到投入的食材和出来的食物吗？如果 AI 做出了决策，但没有记录它看到了什么或它做了什么，你就没有任何证据。
- 归因性（是 AI 导致的吗？）：
- 类比： 如果销售额上升了，是因为 AI，还是因为圣诞节？你需要证明是 AI 导致了结果，而不仅仅是两者同时发生。
- 可干预性（我们可以停止或改变它吗？）：
- 类比： 如果 AI 开始开车撞墙，你能踩刹车吗？如果你不能关闭它或调整它来进行测试，你就无法信任它。
- 可验证性（其他人可以检查它吗？）：
- 类比： 如果你说“我烤了一个蛋糕”，你的朋友能否通过查看你的收据和烤箱日志来证明这一点？仅凭自证（只是口头说“我做了”）是不够的。
- 校准度（我们对自己的信心是否诚实？）：
- 类比： 如果你说“我有 90% 的把握这座桥能承受重量”，那么它是否真的在 90% 的时间内都能承受？许多系统声称“90% 确定”，但实际正确率只有 60%。这是很危险的。
- 时间有效性（证据是否依然新鲜？）：
- 类比： 上周的天气预报对今天毫无用处。AI 变化很快。如果你的证据已经过时，那它就是垃圾。你需要不断刷新证据。
“证据生命周期”（信任循环）
论文认为，证据不是一次性的东西。它就像刚烤好的面包。
- 当你烘焙它时（收集证据），它是新鲜且可靠的。
- 随着时间的推移，它会变陈旧（世界在变化，用户在适应，AI 在学习新事物）。
- 最终，它会发霉（证据不再有效）。
解决方案： 你不能只烤一次面包就吃一年。你必须不断烘焙新鲜的面包。这意味着持续再认证。你必须不断检查你的证据是否依然新鲜。
为什么这对 AI 特别重要
AI 与桥梁或工厂机器不同，因为 AI 变化极快。
- 世界在变： 用户学会了如何欺骗 AI。竞争对手在变化。经济在转型。
- AI 在进化： AI 可能会学习它未被训练过的技能。
- 结果： 今天完美的证据，下周可能就是错误的。
因此，论文指出我们不应再问“AI 是否安全？”，而应问“我们是否拥有新鲜、可靠的证据来证明 AI 是安全的？”
总结
论文得出结论：治理是一个证据问题，而不单纯是技术问题。
- 不要只构建更好的 AI 模型。
- 构建围绕它们的更好的证据系统。
- 确保你的证据是可观测、可归因、可验证、经过校准且新鲜的。
如果你拥有证据，你就能做出自信的决策。如果你没有，你就是在盲目飞行。所谓的“可评估性差距”，就是“以为知道”与“拥有证明其知识的证据”之间的空间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。