A Reproducible Decomposed Large Language Model Pipeline for Structured Abstraction of Multimodal Neuroimaging Reports: Development and Independent Validation in 1,669 Emergency Department Encounters for Dizziness and Vertigo
这项研究表明，一种分解且冻结的大语言模型流水线能够可靠且准确地从 1,669 例针对眩晕和直立不稳的急诊科就诊记录的多模态神经影像报告中提取结构化变量，其实现的高重现性和准确性可与人类评审员相媲美，从而实现可扩展、可复用的研究数据集。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
医院每天都会产生海量的书面记录，从急诊室笔记到详细的大脑扫描描述。对于医生而言，这些叙述对于理解患者病情至关重要；但对于试图研究大规模人群的研究人员来说，这却是一个难以逾越的障碍。为了理解疾病模式或治疗效果，科学家需要将这些自由流动的叙述转化为整齐的事实列表，这一过程被称为数据抽象（data abstraction）。手工进行这项工作既缓慢又昂贵，且容易出现人为错误，这往往使研究仅限于小规模的患者群体。近年来，被称为大语言模型的强大计算机程序已经出现，它们能够以卓越的技巧阅读并理解人类语言。这些工具为自动从文本中提取医学事实提供了一种潜在的方法，但为了让它们在严肃的研究中获得信任，必须证明它们足够一致、准确且可靠，能够处理现实世界医疗记录的复杂性。
史泰登岛大学医院（Staten Island University Hospital）的一组研究人员致力于测试这样一个计算机系统是否能够可靠地将患者因眩晕症产生的复杂、多部分影像报告转化为结构化数据。眩晕和直立性眩晕是人们就诊急诊科最常见的原因之一，但它们有时可能预示着大脑后部发生了严重的脑卒中。为了诊断这种疾病，医生通常会订购一系列不同的扫描，包括头部 CT 扫描、观察血管的 CT 血管造影、测量血流量的 CT 灌注以及 MRI 扫描。每项测试都会生成各自独立的书面报告，其中充满了专业的医学术语。研究人员构建了一个专门的流水线（pipeline），即一系列自动化步骤，用于读取这些报告并提取出二十二个特定的信息点，例如是否存在中风或血管狭窄程度如何。他们并没有依赖单一的计算机模型来一次性完成所有工作，而是将任务分解为更小、更集中的工作，将每种特定类型的扫描分配给流程中的一个专门步骤，就像工厂的装配线一样，每个工作站负责产品的特定部分。
该团队在涉及眩晕或直立性眩晕患者的 1,669 次急诊就诊案例中测试了该系统。在信任这台机器之前，他们必须确保其具有可重复性，即如果他们再次通过该系统运行相同的报告，系统会产生完全相同的结果。他们在一个会话中运行了三次系统，并在九周后再次运行，发现计算机的输出几乎每次都完全一致，在关键变量上表现出近乎完美的吻合度。他们还使用了来自不同公司的三种顶级计算机模型来测试该系统，以观察结果是否取决于所使用的特定软件。不同的模型之间表现出了极高水平的一致性，这表明该系统是稳健的，而不仅仅是某个特定程序的偶然现象。为了验证机器工作的准确性，研究人员将其输出与人类专家创建的金标准进行了对比。两名神经科住院医师独立阅读了一部分报告，当两人意见不一时，由第三位专家解决分歧。该计算机系统与这些人类专家的匹配程度，与两名人类读者之间的协议程度相当。
结果显示，这种分解后的流水线具有高度的准确性，在绝大多数情况下都能正确识别关键发现。当研究人员观察最重要的变量时，例如急性脑卒中的存在或主要动脉阻塞的严重程度时，计算机与人类专家的结论匹配率在 97% 到 99% 之间。即使在专门挑选出的包含罕见或困难发现的病例（这类病例通常是任何系统处理起来都最困难的部分）进行测试时，这种高水平的表现依然成立。研究还强调了该系统的稳定性：在数月后重新运行相同的数据，仍能得到相同的结果，这是任何用于长期医学研究的工具所必须具备的要求。研究人员指出，虽然该系统在提取报告中明确陈述的事实时表现出色，但在解释更具歧义性的描述方面并不完美，这是任何阅读文本而非直接观察图像的工具都存在的已知局限性。
这项工作证明，构建一个可靠的自动化系统，将复杂的医学叙述转化为结构化数据，在以前是不可能实现的规模。通过将任务分解为更小、更易管理的单元，并使用多个模型来交叉检查工作，研究人员创建了一个既具有可重复性又具有准确性的流水线。该研究并不声称计算机取代了人类医生的需求，也不认为该系统对所有可能的医学问题都是完美的。相反，它为需要分析大型数据集以了解疾病模式的研究人员提供了一条切实可行的路径。研究中确定的量化误差率为未来的研究人员提供了关于系统局限性的清晰图景，使他们能够在了解确切需要进行人工复核之处的同时，能够充满信心地使用这些数据。最终，这种方法提供了一种解锁隐藏在数百万份医疗报告中的价值的方式，将非结构化文本转化为可以推动神经学和急诊医学领域大规模发现的资源。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。