Confidence Auditing in Automated Decision Systems
本文提出了一种新颖的、无分布假设的审计协议，该协议利用拆分符合性推断（split-conformal inference）作为外部基准，以对已部署自动化决策系统所提出的置信度声明的准确性进行统计验证并发布具有可复现性的判定。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字基础设施的静默轰鸣中，自动化系统每秒都在做出无数决策。它们批准贷款、筛选求职申请、诊断医疗状况并回答复杂问题。这类系统很少只给出一个赤裸的答案；相反，它们会为其输出附加一个置信度数值。这个数字旨在告诉人类或周围的软件程序应该给予该答案多少权重。它是决定一个决策是被信任、被升级至人工审查，还是被不假思索地接受的信号。然而，尽管人们对这些数字寄予厚望，它们却极少经过现实的检验。一个系统可能会声称自己有百分之九十的把握，但如果没有严格的测试，这种声称仅仅是一个陈述，而非保证。机器声称其所知与其实际正确率之间的差距是一个已被记录在案的问题，尤其是在倾向于过度自信的深度学习模型中。挑战在于寻找一种方法，既能测试这些声称，又不必对机器的工作方式或它所看到的数据类型做任何假设。
本文提出了一种新的缩小这一差距的方法，引入了一种将系统的置信度声称视为主要研究对象的结构化审计协议。研究人员 Md. Anamul Hasan 和 Md. Abu Sayeed 提出了一种验证系统报告的置信度是否与其实际错误率相匹配的方法，使用的是一种称为符合性预测（conformal prediction）的技术。该审计并非试图修复模型或改进其内部机制，而是使用符合性预测作为一个外部的、无分布限制的标尺。想象一把不依赖于被测量物体形状的尺子；这种方法提供了一个无论模型的架构或处理的数据如何，都能成立的基准。核心思想很简单：如果一个系统的置信度是诚实的，那么它实际正确的速率应该与其声称的正确率相匹配。如果系统声称准确率为百分之九十，那么它在百分之九十的时间里应该是正确的。审计通过将系统的置信度分数与基于数据本身构建的标准进行比较来检查这一点，确保测试是公平的，并且可以被任何第三方复现。
该研究规定了一个测试三种不同类型的自动化系统的协议，每种类型产生置信度的方式各不相同。第一组包括判别式分类器，例如用于图像识别的分类器，它们输出一个概率得分。第二组由生成式语言模型组成，它们回答问题并可能用言语表达自己的确定程度。第三组包括数值预测器，它们为天气或经济趋势等提供预测区间。研究人员设计了一个协议，在具有已知客观答案的留出数据（held-out data）上测试每种模态。他们建议测量声称的置信度与实现的准确率之间的差距，寻找表明系统是在无意中还是有意进行欺骗的差异。该审计不仅观察平均性能，还检查系统对于特定人群或特定情况是否可靠，以确保一个系统在整体上表现准确，却在特定的用户子集上出现危险失败。
该方法的一个关键特征是，它能够区分一个仅仅是校准不良（miscalibrated）的系统与一个仍具有决策价值的系统。审计不仅衡量置信度数值是否正确，还衡量它们是否具有信息量。一个校准不良的系统，即其置信度数值与其准确率不匹配，但它可能仍然能够有效地将正确答案与错误答案区分开来。这对于决策至关重要，因为一个无法很好表达自身置信度的系统，可能仍然是一个能够有效标记困难案例以供人工审查的有用工具。研究人员提出，通过使用他们的审计协议，组织机构可以得到一个明确的结论：一个系统可能在作为可靠概率陈述方面未通过测试，但仍可作为有用的分诊工具。反之，一个在平均水平上校准良好的系统，可能无法提供任何用于区分好决策与坏决策的有用信号。
论文还讨论了解决这些问题的成本。当系统未能通过审计时，研究人员建议应用符合性构造（conformal construction）来观察它是否能恢复承诺的准确率。他们假设，虽然这种方法通常可以使系统的表现重新符合其声称，但也会带来代价。为了实现承诺的覆盖率，系统通常必须产生更宽的预测区间或更大的可能答案集合，这可能会降低输出的精确度并使其难以执行。这种权衡是审计结论的重要组成部分。它允许组织机构看到：一个系统的声称是虚假的，且存在修正方案，并能明确该修正会如何在多大程度上降低系统的效用。这种透明度防止了部署那些要么过度自信、要么保守到毫无用处的系统。
最终，这项工作将焦点从改进模型转向验证其声称。作者认为，在合理依赖一个置信度数值之前，必须根据系统实际犯下的错误对其进行测试，且该测试必须是第三方可以复现的。他们描述的审计协议并不是一个修复损坏模型的魔杖，而是一个产生记录化结论的严谨程序。它将“一个系统是否优秀”的问题与“其置信度声称是否真实”的问题区分开来。通过建立一个无分布限制的标准基准，研究人员提供了一个符合新兴监管框架的问责工具。其结果是提供了一个更清晰的图景，展示了自动化决策系统真实的运行行为，不再将附加在输出上的数字视为真理的承诺，而是将其视为一个必须经过检验的声称。
作者注。此处描述的审计协议是一种提议的方法论；并未断言任何实证结果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。