Operationalising CAPA for AI: Evidence Requirements and Limits from a Production Case Study
本文提出将受监管的制造业质量控制规范——具体包括偏差管理、根本原因分析和纠正预防措施（CAPA）——应用于人工智能系统的治理，通过将运行遥测数据视为质量记录，并结合英国移民法案例研究证明，该方法能有效识别系统性问题并使问责制具象化，尽管仍需进行正式的有效性验证以完整闭合治理环路。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当工厂制造药品或飞机零件时，规则是非常严格的。如果一台机器生产出的螺栓稍微短了一点，或者一颗药丸贴错了标签，这种错误不仅仅是一个小故障，而是一个“偏差”。在这些受监管的世界里，公司不会仅仅把坏掉的产品扔掉并寄希望于好运。他们会停下生产线，调查错误发生的具体原因，修理机器，然后在重新开始生产之前，证明修复方案确实有效。这种寻找错误、寻找真实原因并验证解决方案的过程，是一种有着百年历史的学科，叫做质量工程。它的设计初衷是在问题伤害到人类之前将其拦截。如今，许多组织正将类似的高风险工作交给人工智能。律师使用人工智能来整理法律文件，医生使用它来阅读影像资料，银行使用它来审批贷款。但是，当这些智能系统出错时，传统的质量工程规则往往是缺失的。我们知道如何修理一个损坏的机械臂，但对于如何修理一个正在悄无声息地为成千上万的人处理错误文件的算法，我们仍在学习阶段。
一位名叫 Musarat Kabir-Chisty 的研究人员决定测试是否可以将旧有的、严谨的工厂质量控制规则应用于一个实时运行的人工智能系统。她观察了一个现实世界的案例：一家英国移民律师事务所使用的文档自动化系统。该系统旨在读取数千份法律文件，识别每份文件的类型，并将它们归档到数百个不同案件的正确数字文件夹中。该系统并非完美无缺。在一次特定的迁移和重新上线期间，它处理了超过 4.2 万次操作。研究人员将该系统的计算机日志视为一份工厂质量记录。她并没有去查看代码或 AI 背后的数学逻辑，而是观察了系统产生的实际错误以及人类必须进行的修正。她想看看质量工程的标准步骤——发现错误、找出原因、修复问题以及证明修复有效——是否可以仅通过系统自身生成的记录数据来完成。
研究表明，该系统的日志确实足够强大，可以作为一份质量记录。研究人员发现，系统会产生特定类型的错误，例如重复归档同一份文件、将文件错分类，或未能验证文件内容。通过对这些错误进行分组，她发现仅三种类型的错误就占了所有修正操作的近 72%。然而，简单的错误计数讲述了一个具有误导性的故事。如果你只看错误发生的总次数，你可能会认为最常见的错误就是最需要修复的错误。但当研究人员从实际案件的角度（即有多少独特客户受到影响）来看待这些错误时，排名发生了变化。一些发生频率很高的错误实际上是轻微的，影响的人很少；而另一些罕见的错误却非常严重，甚至可能搞混两个不同人的整个法律案件。这表明，仅仅计数是不够的；你必须根据这些错误对相关人员造成的危险程度来衡量其权重。
调查进一步深入以寻找这些错误发生的原因。研究人员使用了一种类似于鱼骨图的方法来追踪问题的根源。令人惊讶的是，最大的问题并不是因为人工智能模型“愚笨”或无法理解语言。相反，错误通常源于数据的准备方式或系统的设置方式。例如，有些文档扫描的方式导致在计算机看来是空白的，或者系统缺少了用于分类某种特定表格所需的特定代码。根源往往在于法律专业知识向软件转移过程中的断层，而不是 AI “大脑”的失败。随后，团队采取了纠正措施：他们修复了数据，增加了捕捉空白扫描的新规则，并调整了系统的置信度设置。他们记录了每一次变更，就像工厂记录维修一样。
然而，研究也发现了循环中一个关键的缺失环节。虽然团队成功地找到了错误、调查了原因并应用了修复方案，但他们无法完全证明这些修复在长期内是有效的。由于数据来自于一段短暂且密集的迁移与修复期，缺乏后续较长一段时间的观察，无法观察系统是否停止出现错误。在真正的质量循环中，你必须等待并验证问题不再发生。研究人员展示了他们可以完成除最后一步之外的所有工作，但最后一步需要一种日志本身无法提供的不同类型的证据。他们无法确定降低系统置信度阈值是否安全，因为他们没有办法在修复后，通过检查正确答案与系统预测之间的对比来验证结果。
这项工作为人工智能的治理提供了一种新思路。它证明了我们可以将 AI 的失败视为可衡量的质量偏差，而不是神秘的“黑箱”故障，这些偏差是可以被追踪、调查并使用成熟的工程方法进行修复的。系统的日志可以告诉我们哪里出了错，并帮助我们确定哪些修复最为重要。但它同时也划定了一个清晰的界限：仅靠系统数据本身并不足以闭合这个循环。为了真正确保安全，组织必须增加特定的检查，例如明确了解有多少案件受到了影响，并制定计划来验证修复措施是否能经受时间的考验。这项研究并不声称已经解决了所有关于 AI 安全的问题，但它提供了一种具体的、可操作的方法，让我们在出现问题时能够承担起责任。它表明，通过应用质量工程的严谨习惯，我们可以从单纯地“希望”我们的 AI 正常工作，转向真正做到“在出问题时知道如何修复它”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。