Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences
本文提出了一种新颖的二维概率误差分类法（Two-Dimensional Probabilistic Error Taxonomy）以及一个集成保证框架，旨在弥合传统确定性风险管理与基于 Transformer 的人工智能所特有的随机性失效之间的鸿沟，从而使受监管的生命科学领域能够通过精细化的误差分类、不可约性门控（irreducibility gating）以及与 FDA 验证生命周期的对齐，来维持持续的受控状态。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在制药制造这一高风险领域，由于一个微小的错误就可能危及患者安全，企业依赖于严格的规则来确保药物生产的每一个步骤都尽善尽美。几十年来，这些规则建立在确定性的理念之上：如果你将一组特定的原料放入机器中，每次都会得到完全相同的结果。如果出了问题，工程师可以追踪到故障是由一个损坏的齿轮或一个对齐不准的传感器引起的。但一种全新的技术正在改变这一格局。大语言模型——这种能够写诗或总结复杂报告的同类人工智能技术——正开始进入这些受监管的环境。与旧式机器不同，这些系统是概率性的。它们并不计算一个唯一的正确答案，而是根据它们学习到的模式来预测句子中最可能出现的下一个词。这意味着，即使给予完全相同的指令，系统也可能产生略有不同且可能错误的输出。对于监管机构和质量专家而言，挑战在于，旧有的寻找和修复错误的方法是为那些从不猜测的机器设计的，而不是为这些不断进行估算的系统设计的。
一位名叫凯拉·布里特（Kayla Britt）的研究人员提出了一种管理这种不确定性的新方法，专门针对这些用于生命科学领域的 AI 系统。她所解决的核心问题是，当前的质量体系缺乏描述 AI 出错时情况的语言。如果传统的软件程序失败，通常是一个明确的“软件错误”。但当 AI 编造出一份看起来真实却并非真实的文档，或者因为自认为掌握了知识而忽略了关键指令时，旧有的标签并不适用。这种混乱使得人们无法正确调查根本原因或修复问题。为了解决这个问题，布里特引入了一种新的分类系统，一个二维映射图，将 AI 的失败分解为两个特定类别：发生的错误类型以及该错误在系统架构中的确切起始点。
想象一个网格，其中一侧列出了 AI 可能出错的六种不同方式，例如捏造事实、误解语境或对答案过度自信；另一侧列出了故障可能起源的六个不同位置，例如模型训练的数据、检索信息的系统或 AI 与人类用户的交互方式。通过交叉这两份列表，该框架创建了三十六个特定的“单元格”，任何给定的错误都可以记录在其中。这使得质量工程师不仅能说 AI 失败了，还能精确地指出它是一个源于“模型推理”阶段（即 AI 生成文本的时刻）的“捏造错误”（即虚构事实）。这种细致程度将模糊的投诉转化为具体的诊断工具，使团队能够理解系统究竟是如何崩溃的。
该论文进一步承认，并非所有的 AI 错误都能被完全消除。由于这些系统是基于概率构建的，某些错误是其设计本身固有的，无法通过工程手段完全消除。该框架引入了“不可还原门槛”（irreducibility gate）的概念，用以区分那些可以通过更好的编码或数据来修复的错误，以及那些必须通过限制系统的使用范围和方式来管理的错误。如果一个失败被判定为“不可还原的”，解决方案不是试图强迫 AI 变得完美，而是限制其作用范围，从而确保即使它犯错，后果也是可控的。例如，如果一个 AI 容易编造医学引用，那么系统的设计可能会限制它只能对已经被人类验证过的文本进行摘要，而不是让它自主生成新的引用。
为了测试这种方法，作者通过一个涉及制药公司使用 AI 汇总制造记录的实际场景进行了演示。在这种情况下，AI 正确识别了批次记录中的温度问题，但随后编造了一个错误的理由，声称是阀门发生了故障，而记录实际显示是人为错误。使用新的分类法，团队可以精准定位这是源于“模型推理”层的“捏造”错误，而非简单的软件故障。这种具体的诊断带来了一个针对性的解决方案：增加一个验证步骤，检查 AI 生成的文本是否与源文档中的事实相符，然后再展示给人类。这比一个笼统的“检查软件”指令要有效得多。
所提议的框架还将这些新方法与美国食品药品监督管理局（FDA）用于验证制造过程的现有三阶段流程相统一。该方法不再试图证明 AI 永远不会失败，而是侧重于证明 AI 的失败会保持在已知的安全边界内。这包括使用许多输入变量的变化来测试系统，观察输出的变化程度，确保这种变化在安全范围内。如果系统保持在这些界限内，只要人类仍处于监督环节以捕捉那些偶尔溜掉的错误，它就可以被批准使用。
这项工作表明，医疗领域安全 AI 的未来不在于试图让这些概率性系统表现得像确定性机器那样（这很可能是不可能的），而在于接受它们的本质，精准地绘制出它们的弱点图谱，并构建能够应对其局限性的控制措施。通过为质量团队提供清晰的词汇和结构化的错误分类方式，该框架为在使用强大新工具的同时不损害我们赖以生存的药物安全性开辟了一条路径。论文结论指出，尽管技术仍在演进，但拥有一种标准化的方式来定义、记录和管理这些错误，是实现对其进行控制的关键第一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。