Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
本文认为，现有的高风险人工智能治理框架（如 NIST、欧盟《人工智能法案》、ISO/IEC 42001）通过优先考虑以人工制品为中心的证据，而非进行抗辩所需的基于过程的证据，从而造成了关键的证据缺口，这一结构性缺陷在解释这些要求时固有的歧义性中得到了凸显，并最终损害了受治理利益相关者的程序性与认识论权利。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象这样一个世界：一个计算机程序决定了谁能获得工作、谁能获得贷款，或者谁能获得假释。这些系统不仅仅是在真空中运行的代码；它们是更广泛的人类生态系统的一部分，涉及构建这些系统的公司、使用这些系统的组织，以及那些生活被其输出结果改变的人们。当这些系统出错时，谁来承担责任以及如何证明这一点，就成为了一个紧迫的问题。这就是人工智能治理的领域，该领域致力于确保这些强大的工具是安全、公平且负责任的。该领域的一个核心理念是“可争辩性”（contestability），即受决策影响的人质疑该决策、理解其发生原因并寻求纠正的能力。为了使这成为可能，必须存在证据——即证明系统经过了检查、其运作符合预期，以及如果出现问题人类可以介入的证据。但一个关键问题仍然存在：谁有权看到这些证据，而这些证据对于那些最需要它的人来说是否真的有用？
来自美国和印度大学的一个研究小组着手调查这一确切问题。他们研究了治理高风险人工智能的三套主要规则和指南：来自美国的自愿性框架、来自欧盟的具有约束力的法律，以及一项关于管理人工智能系统的国际标准。他们的目标是创建一个详细的图谱，或称“交叉对照表”（crosswalk），将这些文件中的具体要求与用于测试人工智能的具体技术方法联系起来。他们想要观察，规则所要求的证据是否是那种能够帮助人们争辩决策的证据，还是仅仅是一堆只有公司和监管机构才能阅读的技术报告。
研究人员首先收集了大量的技术评估方法。他们确定了十二个不同的测试家族，范围从检查模型在新数据上的准确性，到观察它是否会被恶意输入所欺骗，再到分析用于训练的数据质量，以及研究人类监督该系统的效果。然后，他们将这十二个家族与在三份管理文件中发现的二十二项具体要求进行了对比。对于每一对组合，他们提出了一个简单但深刻的问题：这项特定的测试是否提供了满足该特定规则所需的主要证明？
他们的发现呈现出一种显著的不平衡。那些要求提供关于人工智能模型本身证据的规则——例如其准确性、针对攻击的鲁棒性或统计意义上的公平性——得到了充分的支持。存在大量现成的技术测试可以生成必要的报告。然而，那些要求提供关于系统在部署后如何在现实世界中运作证据的规则，则在很大程度上缺乏支持。这些规则涉及诸如：人类监督者是否真的能发现错误、系统的日志是否足够详细以重建特定决策，以及组织是否能够证明其正在监测系统对人们生活的影响。对于这些至关重要的问题，研究人员发现现有的技术方法要么完全缺失，要么仅能提供微弱的、次要的支持。
研究表明，用于证明人工智能系统安全的证据主要是为中间机构设计的：即构建软件的公司、检查软件的审计师以及执行法律的政府监管机构。而那些真正受到这些决策影响的人——被拒绝工作的申请人、被拒绝贷款的借款人——却无法直接获取这些证据。他们可能会收到关于系统做了什么的解释，但他们无法访问底层的记录，从而通过这些记录来验证该解释是否真实，或理解决策究竟是如何达成的。研究人员认为，这不仅仅是一个技术差距或拼图中的缺失环节，而是正义体系中的一个根本性缺陷。通过剥夺受影响者获取用于挑战决策的证据的权利，当前的框架将他们视为被动的受体，而非决定其未来的过程中的积极参与者。
研究人员谨慎地指出，他们的发现是基于对现有技术文献和法律文本的特定分析。他们并未声称公司在内部没有进行这些检查，而是指出证明这些检查有效的手段尚未标准化，也未能以满足规则的形式广泛提供。他们还强调，他们的工作本身也涉及一定程度的解读。当他们邀请独立专家评审其映射关系时，专家们在宏观层面达成了一致，但在细节方面有时存在分歧，这表明规则本身是存在不同合理解读空间的。作者认为，这种分歧是问题的特征而非漏洞：它表明当前的规则要求不够清晰，无法保证产生正确类型的证据。
最终，论文得出结论：目前的人工智能治理方法是不完整的。它过度依赖于可以在公司开发流程内部生成的证据，例如测试结果和技术文档，而忽略了只能通过观察系统与现实世界中人的交互来收集的证据。作者提出，为了实现真正的人工智能问责制，规则必须演进，要求提供不仅关于机器、而且关于整个社会技术系统的证据。这包括证明人类监督是有效的、日志足以重建事件过程，以及系统的社会影响正在受到监测。如果没有这些改变，人工智能问责制的承诺将仅仅是对权势者的承诺，让那些受技术影响最深的人失去自我辩护的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。