Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

现代生物学正进入一个计算机不再仅仅是数据处理工具，而是成为发现过程中的积极伙伴的时代。科学家们开始使用人工智能智能体（旨在模拟研究人员行为的软件程序）来规划实验、检索海量的医学文献，并建立基因与疾病之间的联系。这些系统可以访问数以千计的生物数据库，并运行曾经需要人类团队耗费数周才能完成的复杂工作流。其前景是巨大的：更快的疗法、对生命更深的理解，以及人类无法独自应对的研究规模。然而，这种速度也带来了一种新的风险。当计算机做出决策时，人们并不总是清楚它为什么做出那个选择，它使用了哪些证据，或者它是否跳过了某个关键步骤。如果人类无法轻易检查计算机的工作，一种隐形的负担就会开始堆积。这就是研究人员所称的“验证债”（verification debt）：即随着时间推移而不断增加的未经核实的假设和隐藏步骤，如果任其发展，可能会导致错误的结论。

一组研究人员致力于精确测量在当今生物学AI中究竟存在多少这样的债务。他们选择测试一个名为 Biomni 的特定系统，这是一种旨在处理生物医学研究的人工智能智能体。该团队不仅是询问计算机是否聪明，而是让它处理十个具体的、现实世界的生物学问题。这些问题涵盖了从简单的查询（例如“这种特定的蛋白质有什么作用？”）到复杂的谜题（例如“RNA 和蛋白质数据如何结合来解释特定类型的癌症？”）。为了确保结果可靠，研究人员要求 AI 对每个问题分别回答三次，将每次运行视为一次独立的实验。随后，他们细致地检查了 AI 采取的每一个步骤，从接收问题的那一刻起，直到产生最终答案为止。他们的目标是观察 AI 的推理过程是否可以追溯到可靠的证据，还是在进行人类科学家无法验证的跨越式推断。

研究人员发现，虽然 AI 能够产生严谨且通常正确的答案，但它经常留下未经核实的抉择痕迹。在许多情况下，AI 会引用一项科学研究来支持某个说法，但它实际上并未阅读该研究的全文。相反，它依赖于搜索工具提供的简短摘要，并假设该摘要包含了它所需的特定事实。这种情况造成了一种假象：AI 看起来是有据可查的，但实际证据却是缺失或不完整的。团队发现，对于广为人知的生物学事实，AI 经常会完全跳过搜索过程，直接利用其内部记忆进行回答，却并未告知用户其做法。这意味着对于某些问题，人类无法核实信息的来源，从而在证明链条中留下了空白。

问题的性质取决于问题的难度。对于较简单的问题，主要问题在于缺乏透明度；AI 会做出假设或跳过步骤，却不解释原因。对于更复杂的问题，问题则转向了“解释”层面。AI 有时会得出比数据实际支持程度更强的结论，或者混合使用不同类型的证据（例如将小鼠研究的结果与人类遗传数据相结合），却未说明两者在可靠性上的差异。研究人员指出，这些错误并非一致性的，它们是不可预测的。有时 AI 可能遵循一条完美的路径，而下一次可能会采取一条带有隐藏缺陷的不同路径。这种不可预测性使得人们即使在它得到正确答案时也难以简单地信任该系统，因为通往答案的路径可能是存在缺陷的。

研究的一个关键发现是，拥有所谓的“追踪记录”（trace，即 AI 步骤的记录）并不能保证工作的正确性。AI 可以提供一份关于它使用了哪些工具以及查询了哪些数据库的详细日志，但仍可能基于对数据的误解或一个未说明的假设而得出结论。研究人员识别出一种特定的风险类型，称为“依赖后果”（dependency consequence）：即流程早期的一个未经核实的决策可能会在整个工作流中产生连锁反应，从而破坏后续的所有结果。他们发现，在测试的几乎每个问题中，AI 的大多数决策都带有这种高风险性。如果人类研究人员不仔细检查链条中的每一个环节，一个小小的错误就可能导致重大的科学错误。

研究结论认为，尽管这些自动化系统功能强大，但不能完全信任它们独立工作。它们提供的速度和规模极具价值，但也造成了计算机行为与人类验证能力之间的差距。研究人员认为，透明度（展示 AI 所采取的步骤）是必要的，但仅是充分的。如果步骤背后的推理逻辑存在缺陷，一个系统即使具有完全的可追溯性，仍可能产生不可靠的结果。为了向前迈进，科学界需要新的方法来系统地检查不仅是最终答案，还有 AI 到达该答案的整个历程。在这些验证方法到位之前，人类专家必须保持在回路之中，随时准备捕捉机器在工作时积累的隐藏债务。