Deterministic Fact Validation for Retrieval-Augmented Generation of Clinical Data Reviewer's Guides: A Proposed Architecture
本文提出并模拟了一种针对临床数据审查指南（Data Reviewer's Guides）的确定性、非大语言模型（non-LLM）验证架构，该架构尽管覆盖范围较窄，但通过以直接元数据查询取代概率性检查，在错误检测和最终文档准确性方面显著优于基于大语言模型的自我验证。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学领域，每一款新药在到达患者手中之前，都必须通过极其严格的测试考验。当制药公司完成临床试验后，必须向政府监管机构提交一份庞大的证据包。这份文件包包含两种必须讲述完全一致故事的不同类型的文档。第一种是原始数据，以严格的、机器可读的表格形式组织，记录了从每位志愿者身上采集的每一次测量值。第二种是叙述性指南，即由人类编写的文档，用于解释数据，并指出哪些内容重要以及为何重要。如果这两份文档相互矛盾，整个申报材料可能会被拒绝，从而延误救命药物的上市进程。
为了加快这一过程，一些公司开始使用人工智能来撰写这些叙述性指南。这项技术的工作原理是将原始数据和研究规则输入计算机，然后要求它起草文本。然而，这些计算机程序有一个众所周知的缺陷：它们有时会极其自信地捏造事实，这种行为被称为“幻觉”。如果计算机写道一项研究有500名参与者，而实际只有450人，且没有人发现这个错误，那么这个错误就可能溜进官方记录中。研究人员面临的核心挑战在于，如何在不减慢进度或让人工审核者的工作变得不可能的情况下，阻止这些人工智能的虚构行为。
一项新的研究提出了一种解决这一问题的方法，即通过改变计算机检查自身工作的方式。作者赛·克里希纳·普利（Sai Krishna Puli）建议，我们不应该要求第二个人工智能来审查第一个人工智能的草案，而应该使用一个像计算器一样简单的、基于规则的系统。该系统会查看草案中的特定数字和事实（例如治疗组的人数），并立即在原始研究记录中进行查找。如果数字匹配，则该事实被标记为已验证；如果不匹配，系统会立即标记出错误。这种方法将验证视为一种直接的查找，类似于电子表格检查公式是否正确，而不是一种主观判断。
该论文并未描述一个已经在真实医院或监管部门中建立并测试过的系统。相反，作者构建了一个详细的模拟实验，以观察这个想法在理论上是否可行。该模拟实验为四种不同的场景各创建了2,000份虚假文档，以观察它们的表现。第一种场景是没有任何帮助的基础人工智能。第二种使用了标准的检索数据后再写作的方法。第三种增加了一个第二个人工智能来检查第一个人工智能的工作。第四种，也是作者提出的方案，增加了一个基于规则的计算器系统来检查事实。
模拟结果揭示了一个令人惊讶的权衡。使用第二个人工智能来检查工作的系统速度非常快，并且声称检查了每一个句子。然而，它仅能发现大约一半它本应发现的实际错误。更重要的是，当它错误地判定一个错误事实为正确时，人工审核者极不容易自行发现这个错误，这种现象被称为“自动化盲从”。审核者过于信任那些绿色的对勾，从而停止了仔细观察。
相比之下，提议的基于规则的系统检查的句子较少，因为它只能验证那些带有明确数字或类别的实事。它忽略了那些需要人类判断的复杂、解释性的句子。然而，对于它所检查的事实，其准确率近乎完美，捕捉到了99.5%的错误。由于它如此可靠，人工审核者保持了警觉。尽管该系统运行时间稍长，且需要审核者在每份文档上花费更多时间，但最终结果却更加准确。使用这种方法生成的文档最终准确率为34.6%，而使用第二个人工智能进行检查的系统准确率仅为16.1%。
研究结论认为，试图用第二个计算机程序去验证一切，反而可能通过给人类带来虚假的安全感而使最终产品变得更糟。一个更窄、更僵化的系统——即只检查那些可以通过直接查找来证明的事实——能让保持人类审核者的参与度，并确保最重要的事实是正确的。作者强调，这些发现是基于模拟实验的，下一步必须是在使用真实文档和人工审核者的现实环境中进行测试。在实现这一点之前，这个想法仍是一个具有前景的设计而非经过证实的解决方案，但它为使人工智能辅助的医学写作变得更安全、更可靠提供了一条清晰的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。