End-to-End Agentic AI Framework for Cross-Dataset Medical Image Classification Using CNNs, Vision Transformers, Explainable AI, Robustness Analysis, and LLM-Driven Clinical Reporting
本文提出了一种端到端的智能体 AI 框架，该框架在三种不同的医学影像任务中系统地比较了 CNN 和 Vision Transformer 架构，并集成了鲁棒性分析、可解释性以及由大语言模型驱动的报告生成，旨在提供可靠、可解释且具有临床支持性的诊断见解。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医院放射科静谧的嗡嗡声中，一种新型的助手正在学习如何观察人体。几十年来，医生一直依靠经过训练的双眼来发现 X 光片、核磁共振成像和皮肤扫描中的疾病迹象。现在，人工智能提供了一双“第二双眼睛”，它可以在几秒钟内扫描数千张图像。但对于这种技术要在关乎生死的环境中真正发挥作用，它不能仅仅是在测试中表现得快速或准确。它必须可靠。它必须知道自己何时不确定。它必须能够解释为什么它认为肺部的阴影是肺炎而不是无害的人造伪影。它还必须即使在图像略微模糊或旋转的情况下也能保持稳定，以模拟现实世界中并不完美的条件。这就是史蒂文斯理工学院（Stevens Institute of Technology）的研究人员致力于解决的挑战——他们超越了简单的“计算机是否正确？”的问题，转而追问“它有多正确，以及为什么正确？”
该团队建立了一个综合性的测试平台，用以比较两类不同的人工智能模型家族。第一类被称为卷积神经网络（convolutional neural networks），其工作方式非常类似于人类通过细小的、专注的步骤来扫描图像，从局部细节构建出整体的图景。第二类被称为视觉 Transformer（vision transformers），它们采取了不同的方法，通过观察整个图像，关注图像中相距较远的各个部分是如何相互关联的。为了观察哪种方法效果最好，研究人员向这些模型输入了三种截然不同的医学图像：用于检测肺炎的胸部 X 光片、用于寻找肿瘤的脑部 MRI 扫描图像，以及用于识别皮肤病变的皮肤镜照片。他们不仅仅测量模型预测正确的频率，而是让模型接受了一系列严格的测试，检查其置信度、稳定性以及指出导致决策的具体部位的能力。
结果显示，并没有一个单一的冠军能在所有情况下都胜出。当任务是解读胸部 X 光片时，属于第一类家族的 DenseNet121 模型被证明是最准确的，在近 99% 的病例中能正确识别肺炎或正常肺部。这表明，对于标准 X 光片中存在的结构化、高对比度模式，这种扫描局部细节的方法是非常有效的。然而，当研究人员转向脑部 MRI 扫描时，情况发生了变化。这些图像更为复杂，肿瘤具有不规则的形状和边界，并与健康组织融合在一起。在这里，视觉 Transformer 模型——即那些观察图像全局背景的模型——表现优于其他模型。其中一个名为 Swin-Tiny 的 Transformer 模型实现了最高的区分肿瘤与非肿瘤病例的能力，这是避免漏诊的关键指标。同样，对于皮肤癌检测，名为 DeiT-Small 的 Transformer 模型也展现出了区分恶性与良性病例的卓越能力，尽管另一个模型的原始准确率得分略高。
这项研究最具有启发性的部分不在于哪个模型最准确，而在于哪个模型最具韧性。研究人员通过故意引入微小的失真（如模糊图像或改变亮度）来测试模型，以观察它们在压力下的表现。在这些测试中，视觉 Transformer 模型始终表现得更加稳健。虽然用于胸部 X 光片的最高准确度模型在图像被改变后性能大幅下降，但 Transformer 模型能更好地维持其准确性。这表明，虽然一个模型在清晰、理想的图像上可能表现完美，但在面对医院扫描仪产生的混乱现实时，它可能会失效。研究还检查了模型校准其置信度的能力。一个对答案有 90% 把握的模型，应该在 90% 的时间内是正确的。研究人员发现，一些高准确度的模型存在危险的过度自信现象，而像 EfficientNet-B0 这样的模型则能更好地使其置信度与实际正确率相匹配。
为了理清这些复杂的发现，研究人员在框架中加入了最后一层：一个充当研究助手的语言大模型。该系统提取所有数据——准确率评分、稳健性测试以及模型生成的视觉解释——并将它们综合成清晰、结构化的报告。这些报告并不提供医疗诊断，而是提供证据摘要，强调每个模型的成功之处以及可能失败的地方。这种方法确保了技术始终是人类决策的工具，而非自主的裁判。研究结论指出，医学人工智能的未来不在于寻找一种完美的算法，而在于理解不同方法的特定优势与劣势。对于某些任务，一种模型的细致局部聚焦是最好的；而对于另一些任务，另一种模型的宏观全局视角则更为优越。通过在准确性、可靠性和可解释性方面对这些系统进行测试，研究人员为构建不仅聪明、而且安全可靠、足以在医生身边提供支持的 AI 绘制了一份路线图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。