Comparison of performance of an LLM Council of LFM2.5-1.2B, Qwen3-4B-2507 and Phi-4-Mini- reasoning and Meta LLaMa 3.1 8B against MedGemma 4B on extraction and classification of free-text radiology reports
尽管该研究假设领域专用的 MedGemma 4B 将优于多模型 LLM 理事会框架，但结果显示 MedGemma 的整体准确率高于该理事会框架，而单一通用模型 Qwen3-4B-2507 则独立超越了两者，这表明在临床放射学报告分析中，强大的通用推理能力可以胜过基于共识的专业化方法以及专门化的医疗方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医院放射科静谧的嗡鸣声中，机器捕捉着人体图像，但患者健康的真实故事往往隐藏在医生报告那流畅的文字之中。多年来，研究人员一直希望人工智能能够像人类专家一样流利地阅读这些报告，从中提取肿瘤大小或骨折等关键细节，以加速医疗护理。为了解决这个难题，出现了两条主要路径。一条路径涉及专门针对医学教科书和患者记录对计算机进行训练，希望能建立一个能够熟记疾病语言的数字专家。另一条路径则依赖于强大的通用型计算机，它们虽然未受过医学教育，但在理解语言、遵循指令和推理复杂问题方面表现异常出色。该领域面临的核心问题是：一群这样的通用型思考者通过协作达成共识，是否能超越单一的高水平医学专家。
一组研究人员试图通过将专门的医学人工智能与一个独特的通用模型“议会”进行对决来回答这个问题。他们收集了来自新德里一家医院的近八百份真实的匿名放射科报告，涵盖了乳腺摄影、髋部和膝部扫描以及脑部磁共默成像（MRI）。他们的目标是观察哪种系统能更好地执行两类任务：从文本中提取特定的数值和代码，以及判断一次扫描是正常的还是需要进一步关注。他们选择的专业化模型是 MedGemma，这是一个专为医疗保健构建的系统。与之对抗的力量是一个由三个较小的通用模型组成的“议会”，这些模型独立生成各自的答案。随后，这些答案由第四个模型担任“主席”进行审查和整合，从而产生最终的单一决策。研究人员假设，鉴于其在领域内的深度训练，专门的医学模型将会获胜。
然而，结果却讲述了一个不同的故事。当系统在需要提取特定评分的乳腺摄影报告上进行测试时，专业化模型的表现良好，但并非绝对的赢家。事实上，议会中的一个通用模型在单独行动时取得了最高准确率。这个单一模型在近 92% 的乳腺摄影案例中正确识别了必要细节，略微领先于专门的医学模型。而作为整体的议会，在由主席综合其成员想法后，表现略逊于这个单体强力模型。当任务转向分类髋部、膝部和踝部报告时，差距显著扩大。在此任务中，专门的医学模型在约 8六% 的病例中正确识别了患者是术前还是术后状态，而议会则表现挣扎，正确率仅为 72% 左右。然而，那个单一的通用模型表现却大幅飙升，达到了近 93% 的准确率，在理解报告语境方面远优于专家模型或集体协作。
最令人惊讶的发现出现在脑部扫描中。专门化模型在发现异常方面非常出色，但它也更容易犯错——当它在文本其他地方看到轻微问题时，会将正常的扫描误报为异常。相比之下，那个单一的通用模型在识别正常扫描方面表现完美，从未犯过这种特定错误，同时仍能捕捉到绝大多数的真实问题。当研究人员观察议会的表现时，他们发现，合并多个模型意见的过程往往会稀释正确的答案。在若干情况下，议会忽略了其表现最好的成员所提供的正确答案，转而采纳了多数派的意见，而后者证明是错误的。这项研究表明，对于这些特定任务而言，通过叙述进行推理和遵循指令的能力，比拥有记忆化的医学事实数据库更为重要。议会复杂的架构需要四倍于单一模型的计算能力和内存，却并未带来更好的结果；它仅仅增加了运行成本。
最终，这项研究表明，对于阅读放射科报告而言，一个能够通过文本进行推理的强大单一通用模型，可能比一个试图达成共识的模型团队或一个仅针对医学数据进行训练的系统更为有效。专业化医学模型表现得十分稳健，但其在理解语境的能力上败给了通用型模型。实验还揭示，增加协议层和综合过程有时会引入错误而非修复错误，因为最终的决策可能反映的是一种妥协而非真相。虽然专门化模型仍然是一个强大的工具，但研究表明，阅读医学报告的未来可能并不取决于构建更大、更复杂的 AI 团队，而在于寻找那个能把“故事”读得最好的单一模型。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。