From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

当一个孩子离开医院急诊室时，家属会收到一份必须同时完成两件难事的文档。它必须使用精确的医学术语向下一位医生说明发生了什么以及进行了哪些治疗；同时，它还必须用通俗易懂的语言向焦虑的父母解释同样的事件，以便他们知道如何在家照顾孩子，以及在情况恶化时何时返回医院。几十年来，医生一直通过手写或填写固定表格来编写这些摘要，这个过程可能很慢，有时会遗漏重要的细节，或者使用的语言难以理解。最近，一种被称为“大语言模型”的新型计算机程序出现了。这些程序可以阅读患者的医疗记录，并在几秒钟内起草一份出院小结。人们希望这些工具能让文档变得更清晰、制作得更快。但一个关键问题仍然存在：如果由计算机编写初稿，医生是否真的会在家属拿到这份纸质文档之前，发现计算机犯下的错误？

在法国蒙彼利埃的一家医院里，研究人员通过观察医生如何实时与这些新工具互动，试图回答这个问题。他们不仅仅是询问医生是否喜欢计算机的工作，而是观察了从计算机生成草案到医生签署最终文件之下的整个过程。研究团队招募了 153 名正准备从儿科急诊科出院的孩子。他们将这些家庭分为两组。一组收到的仍是医院一直使用的标准出厂摘要，由固定模板组装而成。另一组收到的则是通过在医院自有安全服务器上运行的计算机程序起草的摘要，随后由治疗该孩子的同一位医生进行审核并签名。研究人员保留了文档的所有版本：原始医疗笔记、计算机的第一份草稿以及交给家属的最终文件。这使他们能够准确看到计算机更改了什么、医生更改了什么，以及哪些错误可能溜了过去。

结果显示，计算机在简化语言方面表现出色。在计算机辅助组中，为家庭编写的文档使用了更多常用词汇，且技术术语比标准文档更少。然而，当研究人员在几天后检查家庭对指令的实际理解程度时，发现两组之间没有差异。无论文档是由模板编写还是由计算机编写，家庭记住随访计划和观察预警信号的准确度都相似。事实上，在两组中，近一半的家庭都弄错了随访计划的细节，这表明问题不仅在于文字是如何书写的，而是在于信息在出院这一繁忙时刻是如何传递的。

这项研究中最具启发性的部分是，当医生审核计算机草稿时，幕后发生了什么。研究人员发现，计算机确实犯了错误，但医生是积极且细心的编辑者。在计算机编写草稿的小组中，医生几乎在每一个案例中都修改了文本。他们删除了计算机根据医疗记录凭空捏造的信息，并纠正了计算机误解医学缩写的情况。例如，计算机有时会将一个简短的医学代码展开成错误的完整术语，将关于排尿症状的描述变成了完全不同的医疗状况。医生只纠正了这些特定错误中的一小部分：他们在 22 个错误的缩写展开中仅修复了 6 个，这意味着有 16 个此类错误保留在了交给家属的最终文档中。这表明，凭空捏造的事实很容易被察觉，因为它们看起来很奇怪，但医学术语中的微妙错误看起来可能非常正常，从而能避开即使是细心的审查。

至关重要的是，研究发现，交给医生的最终文档中没有任何错误被判定为严重到足以造成伤害。计算机没有捏造危险的医疗建议，医生也抓住了最关键的问题。然而，研究人员还发现，计算机丢失的信息类型与标准模板不同。标准模板只是以一种可预测的方式未能传输某些字段（如既往过敏史）。而计算机则有时会遗漏关于谁提供了医疗意见的具体细节，或者遗漏了医疗记录中记载的阴性发现。这些信息的缺失并不总是显而易见的，这意味着除非医生直接将最终文件与原始笔记进行对比，否则可能不会意识到某些内容缺失了。

研究结论认为，虽然这些计算机工具可以帮助使医疗文档更易读，但它们并不一定会自动使其更安全或更准确。人类医生仍然不可或缺，但他们的角色已经从编写文本转变为仔细检查文本。研究人员认为，我们不能仅仅因为医生签署了文件，就理所当然地假设他们已经发现了所有的错误。要真正衡量人类如何监督这些工具，我们不仅需要看到最终结果，还需要看到中间的步骤：计算机写了什么，医生看到了什么，以及医生选择了修复或保留什么。在我们能够衡量这些步骤之前，我们无法确定人类审查这一安全网是否捕捉到了所有需要捕捉的内容。这项工作表明，医疗文档的未来不仅取决于更好的计算机，还取决于让医生更好地观察和纠正计算机产生的工作的方法。