Are Large Multimodal Models Ready for Post-Thrombectomy mTICI Assessment? A Comparison with Physicians
尽管大型多模态模型在提供手术报告的情况下，在血栓切除术后 mTICI 分级方面可以达到医师水平的一致性，但其性能高度依赖于文本输入，且在仅评估图像时表现显著下降，这表明专家的人类解读对于直接基于图像的再灌注评估仍然至关重要。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每年，都有数百万人遭受由大脑动脉阻塞引起的中风。当大血管被堵塞时，损伤可能迅速且严重，但医生拥有一种强大的工具来阻止这一切：机械取栓术。在这一过程中，专家会将一个微型装置穿过血管，通过物理方式将血栓拉出。这项救命手术的成功完全取决于一件事：血液是否完全恢复了向大脑的流动。为了衡量这一点，医生使用一个标准量表来评定血管疏通的效果，等级从完全没有血流到完全恢复。这种分级至关重要，因为它决定了患者后续如何接受治疗、医院如何追踪其成功率，以及研究人员如何理解哪些方法最为有效。然而，进行这些分级是一项人工任务，而且像许多人类判断一样，不同医生之间的判断可能会有所差异。随着人工智能变得日益强大，一个自然的问题出现了：计算机能否观察与医生相同的图像和报告，并以同等的技能做出同样的判断？
德国雷根斯堡大学医院的一个研究小组致力于回答这个问题，他们让先进的计算机模型与人类专家展开了对决。他们收集了九十例接受过前脑阻塞取栓手术的患者病例。对于每个病例，他们收集了取栓前后的数字血管造影图像，以及描述手术过程的书面医学报告。随后，他们要求两种不同类型的人工智能系统对手术成功程度进行评分。一种是因其博学而闻名的通用型模型，另一种是专门针对医疗任务进行微调的模型。为了确保测试公平，研究人员还要求四名人类医生（两名神经科医生和两名放射科医生）对相同的病例进行评分。医生和计算机分别在三种不同的场景下接受测试：仅查看书面报告且最终等级被隐藏；仅查看血管造影图像；以及同时查看图像和报告。
结果揭示了计算机在处理文字与处理图像方面的显著差异。当人工智能模型获得书面手术报告时，它们的表现非常出色。尤其是通用型模型，其准确性达到了人类医生组合的水平。它能够阅读详细的手术描述，并正确识别血流量恢复了多少，其与专家的吻合度几乎到了无法区分的程度。在这种基于文本的设定下，计算机与人类专家一样可靠。然而，一旦将图像从等式中移除，要求模型仅根据书面报告对程序进行评分时，它们依然表现强劲。但当情况反转，模型被迫在没有任何随附文本的情况下仅观察血管造影图像时，它们的表现便崩溃了。通用型模型与人类专家的吻合度显著下降，而经过医疗微调的模型表现甚至更差，基本上是在盲目猜测几乎所有的手术都是成功的，而不管图像显示了什么。
相比之下，人类医生并没有出现性能下降的情况。无论是在阅读报告还是观察图像，他们对程序进行评分的能力始终保持在高水平。这表明，虽然人工智能系统擅长处理医生用来描述工作的语言，但它们尚未学会像受过训练的专家那样，真正“看到”图像中复杂的血流模式。研究表明，这些模型目前更像是能够从故事中提取信息的精明读者，而不是能够解释视觉数据的独立观察者。研究人员发现，这些模型几乎所有的成功都源于文本；添加图像并不会提高它们的得分，而移除文本则会让它们陷入挣扎。
最终，该研究得出结论，这些先进的计算机模型已经准备好协助中风护理中的文书工作和数据提取任务，例如为研究或质量检查自动从书面报告中提取成功等级。它们可以帮助实现信息的标准化记录。然而，在观察图像本身方面，它们尚未准备好取代人类的眼睛。对于直接评估血管是否已成功重新开放，受过训练的医生的视觉专业知识仍然必不可少。这项技术已经达到了能够理解手术“故事”的程度，但它仍然看不见那幅“画面”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。