High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis
这项系统综述和元分析表明，尽管大语言模型在证据合成的数据提取方面达到了较高的平均准确率，但其性能在不同设置下表现出显著的差异性，因此有必要进行特定任务的验证和人工核查以确保可靠性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每当一个研究团队致力于理解一种医疗手段时，他们必须首先从数十个、有时是数百个独立研究中收集事实。这一过程被称为系统评价（systematic review），它是现代医学证据的基石。它要求科学家阅读密集的报告并提取特定的数字：涉及了多少患者、他们接受了什么剂量以及结果如何。如果一个数字被错误地复制，整个评价的结论就可能发生偏移，甚至可能导致医生推荐错误的治疗方案。几十年来，这项工作一直由人工完成，这是一项缓慢且细致的任务，通常需要两个人独立阅读同一份文件以捕捉错误。这是准确性的金标准，但也是极其耗时且昂贵的。
近年来，一种新工具进入了这个领域：大语言模型。这些是经过海量文本训练的强大计算机程序，能够阅读科学论文并尝试提取出人类会提取的那些数字。人们曾希望这些人工智能系统可以承担繁重的工作，加速这一过程，并将人类专家从琐事中解放出来，去进行更复杂的思考。但随着这些工具变得越来越普遍，一个关键问题出现了：我们能否信任它们能像人类一样准确，以及它们的表现是否在面对不同类型的信息时都能保持一致？
Carlos Darcy Alves Bersot 及其同事的一项新研究对这个问题进行了深入的统计学观察。他们不仅仅是在询问机器是否有效；他们收集了所有可用的、测试这些模型是否达到人类标准的报告，并将结果汇总以观察全貌。他们的发现是一个由两种截然不同的现实并存的故事。一方面，这些人工智能系统的平均表现令人惊讶地高；另一方面，这种平均值掩盖了一个混乱的现实，即表现会根据具体的任务而发生剧烈波动。
研究人员收集了来自 46 份不同报告的数据，代表了 45 项独立调查。他们特别关注在人类查看机器工作之前的那个时刻。他们想知道：如果要求大语言模型提取一段信息，它第一次尝试时正确的概率是多少？当他们汇总了符合其严格标准的八项关键研究的结果时，答案是令人鼓舞的。模型的正确率约为 86.4%。这个数字表明，从广义上讲，这些工具是非常有能力的。
然而，故事并没有结束于那个平均数值。研究人员进行了更深入的观察，发现这种高平均值是建立在极端不一致的基础之上的。他们计算了一个范围，展示了在一个新的、未见过的场景中可能会出现什么样的表现。这个范围从 19.2% 的低点一直延伸到 99.4% 的高点。为了直观理解，请想象一名学生参加考试，平均得分是 86 分。如果这个学生在单次测试中的成绩范围从不及格到完美不等，你不会放心让他去教室里批改试卷。同样的逻辑也适用于此。高平均分并不保证机器在特定的、现实世界的场景中表现良好。
研究揭示了所提取信息的类型会产生巨大的影响。当任务涉及简单、陈述清晰的事实时，模型的表现非常好。但当任务需要寻找埋藏在复杂表格中的数字、解释模棱两可的文本，或者提取缺失或报告不佳的数据时，准确率会显著下降。在一种特定情况下，当模型必须寻找需要从记忆中回忆细节而非仅仅是复制的开放式信息时，准确率骤降至仅 17%。这项具有完全不同任务的单一研究拉低了整体平均水平，并扩大了可能结果的范围。当研究人员移除这一离群值以观察更相似、结构化的任务时，平均准确率上升到了 91.2%，但即便如此，表现仍可能因设置的不同而产生巨大差异。
研究人员还检查了这些工具如何处理数值数据，而这正是医疗评价中最关键的部分。在这里，结果是喜忧参半的。在一些高度结构化的测试中，模型达到了近乎完美的准确度，正确率达 99%。但在其他涉及不同类型数据的研究中，准确率则降至 63% 左右。这种不一致性意味着，研究人员不能假设因为一个模型擅长某件事，它就会擅长所有事。一个擅长寻找药物名称的模型，可能会在寻找经历副作用的具体患者人数方面表现得一塌糊涂。
另一个关键发现涉及工作流程。许多研究探讨了当人类参与到过程中时，这些工具的表现如何，例如当人类检查机器的工作，或者当机器作为第二读者时。这些人类辅助的工作流程通常显示出更好的结果并节省了时间。然而，该研究明确区分了这一点：人类与机器协作时的速度和准确性，并不等同于机器独立工作的表现。一些研究中报告的时间节省往往来自于机器完成了初稿，但人类仍需花费时间进行核实和纠正。机器并没有消除对人类监督的需求，它只是改变了工作的性质。
研究人员还观察了他们所审查的研究质量，并发现许多研究存在方法论上的缺陷。有些研究没有清楚地解释他们是如何测试模型的，或者他们使用了相同的数据既进行模型训练又进行测试，这会让结果看起来比实际情况更好。由于这些局限性以及真正独立的少量研究的存在，研究人员无法绝对确定这些工具在未来的每种情况下都能完美运作。证据表明，虽然这些工具功能强大，但它们尚未可靠到可以完全取代人类审核员。
这项工作的结论并不是说人工智能是一种失败，而是说它是一种需要谨慎处理的工具。高平均准确率是真实的，但如果脱离上下文，它就是一个具有误导性的基准。它告诉我们这项技术具有潜力，但也警告我们表现是脆弱的。一个适用于某一类数据提取的系统，可能会在另一类数据面前彻底失效。研究人员认为，前进的最佳路径不是盲目信任机器，而是将其作为风险适应策略的一部分来使用。对于简单、清晰的任务，可以充满信心地使用它们；对于复杂、数值化或模棱两可的数据，人类的核实仍然必不可少。
最终，这项研究将对话的主题从“机器能做吗？”转向了“在什么条件下机器能做？”答案是：机器可以做得很好，但仅限于条件合适的时候。高平均分是对能力的承诺，而广泛的变动性则是对不可预测性的警告。对于那些依赖这些评价来指导医疗实践的科学家来说，教训是明确的：机器是一个得力的助手，但它还不是人类专家的严谨、批判性目光的替代品。证据合成的未来很可能涉及一种伙伴关系：由机器处理数量，由人类确保有效性，并始终理解机器的表现并非保证，而是一个必须不断检查的变量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。