💻 computer science

Beyond Accuracy: A Comprehensive Evaluation of ResNet50 and Vision Transformer for Trustworthy Pneumonia Detection from Chest X-Ray Images

本研究对用于胸部 X 线片肺炎检测的 ResNet50 和 Vision Transformer (ViT-B16) 进行了全面评估，结果表明，虽然 ResNet50 在准确性、校准度和效率方面表现更优，但 ViT-B16 对图像退化表现出更强的鲁棒性，从而凸显了对可靠诊断系统进行多维度评估的必要性。

原作者： VISHAL MANTA

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： VISHAL MANTA

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探，但你寻找的不是指纹，而是在一个人的胸腔内寻找隐形的线索。这就是医学影像的世界，医生使用特殊的照相机拍摄肺部图像，以观察他们是否生病。长期以来，最好的侦探是人类医生，但他们会疲劳，而且有时线索过于微小或模糊，即使是最敏锐的眼睛也会错过它们。为了提供帮助，科学家们利用一种叫做**深度学习（Deep Learning）**的计算机科学分支，构建了“数字侦探”。把这些数字侦探想象成超级聪明的机器人，它们通过观察成千上万张图片来学习，直到它们能靠自己发现问题。

这有两种主要的机器人侦探。第一种就像一位细心的艺术家，它一次观察一个微小的笔触，注意到边缘和纹理是如何连接的。这被称为卷积神经网络（CNN）。第二种则像一只在高空飞翔的鸟；它不会盯着每一片叶子看，而是从远处观察整个森林是如何连接和相互作用的。这被称为视觉 Transformer（ViT）。两者都非常强大，但医生需要知道哪一个实际上更擅长拯救生命，才能在医院里信任它们。仅仅是快速或大部分时间得到正确答案是不够的；机器人还需要对自己的确定程度保持诚实，要足够强韧以应对糟糕的照片，并且要易于向人类医生解释。

在这项研究中，来自印度理工学院古尔गा昂分校（IIT Guwahati）的研究员 Vishal Manta 决定让这两位数字侦探进行一场公平的对决，看看谁才是识别肺炎（一种严重的肺部感染）最值得信赖的选手。两位竞争者分别是 ResNet50（那位细心的艺术家，即 CNN）和 ViT-B16（那只高飞的鸟，即视觉 Transformer）。他们不仅询问“谁答对了最多的题目？”，还设置了一个巨大的障碍赛场来测试一切：包括它们的准确性、对自身置信度的诚实度、速度，以及处理模糊或嘈 {噪} 图像的能力。

这场比赛的结果非常明确。当涉及到识别肺炎这一主要任务时，ResNet50 是冠军。它正确识别肺炎病例的概率为 84.56%，而视觉 Transformer 的识别率为 81.14%。研究人员使用了一种特殊的统计检验方法——麦克内马尔检验（McNemar's test）来确保这不仅仅是运气好，数学结果证实 ResNet50 确实显著优于对手。但故事并未就此结束。研究发现 Resent50 也是更诚实的侦探。当它说自己“有 90% 的把握”时，它通常是正确的。然而，视觉 Transformer 则倾向于过度自信，经常在并不确定的情况下表现得非常笃定。在医学领域，过度自信是危险的，因为医生可能会过度信任一个错误的答案。

然而，视觉 Transformer 也并非一无是处；它拥有一种超能力。当研究人员故意破坏测试照片（例如添加静电噪声、使图像模糊或改变亮度）时，视觉 Transformer 比 ResNet50 表现得更稳健。虽然两款模型在面对糟糕的照片时表现都会下降，但视觉 Transformer 的准确率下降幅度较小。看起来是因为“鸟”是同时观察整幅画面的，所以即使部分图像变得模糊，它仍能理清头绪。但这种超能力也付出了沉重的代价。视觉 Transformer 是一个庞然大物，需要 8580 万个可调节参数才能运作，而 ResNet50 仅需 2351 万个。它思考的时间也更长，处理一批图像需要 55.60 秒，而 ResNet50 仅需 38.57 秒，并且它运行所需的计算能力也更高。

为了确保机器人确实是在观察肺部而不是在瞎猜，研究人员使用了一个名为 Grad-CAM 的工具，它就像一张热力图，可以显示机器人在看哪里。那位细心的艺术家（ResNet50）将注意力紧紧集中在患病的肺部区域，这正是医生想要看到的。而那只高飞的鸟（ViT）的注意力则显得有些分散。当机器人犯错时，它们大多漏掉了肺炎病例，在肺部实际患病时却自信地判定为“正常”。这表明，尽管这些机器人正在进步，但它们仍然在应对那些最隐蔽、最微妙的病例方面感到吃力。

最终，这项研究表明，如果你需要的是一位可靠、快速且诚实的助手，且用于可能没有超级计算机的医院，那么这位细心的艺术家 ResNet50 目前是更好的选择。它更准确、更诚实、运行成本更低。视觉 Transformer 是一个强劲的对手，能够很好地处理糟糕的照片，但对于目前的许多现实诊所来说，它太重、也太昂贵了。这项研究的主要启示是：构建值得信赖的医疗人工智能，不仅仅是关于谁在测试中得分最高，而是关于在聪明、诚实、快速以及足以应对现实世界的韧性之间找到完美的平衡。

技术摘要：超越准确率：对用于胸部 X 线图像肺炎检测的 ResNet50 与 Vision Transformer 的全面评估

问题陈述
肺炎仍是全球呼吸系统发病率和死亡率的主要原因，因此需要准确且及时的计算机辅助诊断（CAD）系统。尽管深度学习在自动化胸部 X 线（CXR）分析方面取得了进展，但现有文献主要侧重于分类准确率（如精确率、召回率、F1 分数）。在评估对于可靠临床部署至关重要的其他维度方面，存在关键性的空白，包括预测可靠性（校准度）、对图像退化的鲁棒性、计算效率、统计显著性和可解释性。此外，由于实验设置（如不同的数据集和预处理流程）的不一致，卷积神经网络（CNN）与 Vision Transformer（ViT）之间的直接比较往往受到阻碍。

方法论
本研究对两种具有代表性的架构进行了系统的、公平的对比评估：ResNet50（一种 CNN）和 Vision Transformer (ViT-B16)（一种基于 Transformer 的模型）。评估工作是在 RSNA 肺炎检测挑战赛数据集上进行的，该数据集包含 26,684 张正面胸部 X 线片。

实验设置： 两种模型在完全相同的条件下进行训练和评估，包括相同的划分方式（训练集：18,678；验证集：4,003；测试集：4,003）、预处理（调整为 224×224 大小，归一化）、优化策略（10 个 epoch，批大小为 32）以及初始化（ImageNet 预训练）。
评估框架： 本研究采用了多维度的评估策略：
1. 分类性能： 准确率、精确率、召回率、特异性、F1 分数、平衡准确率和 ROC–AUC。
2. 校准度： 通过预期校准误差（ECE）、Brier 分数和可靠性图来评估置信度可靠性。
3. 鲁棒性： 在不进行重新训练的情况下，评估在加性高斯噪声、高斯模糊和亮度扰动下的表现。
4. 计算效率： 分析可训练参数量、浮点运算数（FLOPs）和推理时间。
5. 统计显著性： 使用 McNemar 检验及 95% 置信区间来验证性能差异。
6. 可解释性： 使用梯度加权类激活映射（Grad-CAM）和针对误分类案例的定性错误分析。

核心贡献

公平的对比评估： 在严格相同的预处理、训练和测试协议下，对 ResNet50 和 ViT-B16 进行了系统性的比较。
全方位评估框架： 超越了单纯的准确率，将校准度、鲁棒性、效率和可解释性纳入考量。
可靠性与鲁棒性评估： 对模型置信度（ECE、Brier 分数）以及对图像损坏（噪声、模糊、亮度变化）的抵御能力进行了定量评估。
临床部署分析： 涉及计算复杂度、推理时间和通过 Grad-CAM 实现的视觉可解释性的综合权衡分析。

实验结果

分类性能： ResNet50 在所有指标上均优于 ViT-B16。ResNet50 实现了 84.56% 的准确率，而 ViT-B16 为 81.14%。ResNet50 在精确率（72.85% vs. 63.97%）、召回率（52.44% vs. 41.26%）和 F1 分数（60.98% vs. 50.17%）方面也表现出优越性。
统计显著性： McNemar 检验确认了这种性能差异具有统计学意义（ $\chi^2 = 45.00$ ， $p = 1.97 \times 10^{-11}$ ）。
校准度： ResNet50 表现出更好的校准度，具有更低的预期校准误差（0.033 vs. 0.082）和 Brier 分数（0.112 vs. 0.136），表明其置信度估计更加可靠。ViT-B16 表现出过度自信的迹象。
鲁棒性： 与分类性能相反，ViT-B16 在图像退化方面表现出更强的鲁棒性。与 ResNet50 相比，它在面对高斯噪声、模糊和亮度偏移时，能保持更高的准确率并表现出更小的性能下降。
计算效率： ResNet50 明显更高效，所需的训练参数更少（23.51M vs. 85.80M），FLOPs 更低（4.13 vs. 16.87 GFLOPs），且推理时间更快（38.57s vs. 55.60s）。
可解释性： Grad-CAM 可视化显示，ResNet50 生成的激活图更集中于患病肺部区域，而 ViT-B16 生成的注意力分布则更为分散。两种模型在处理细微或弥漫性渗出时都存在困难，常导致高置信度的假阴性结果。

意义与主张
本文主张，虽然 ResNet50 提供了卓越的诊断准确性、校准度和计算效率——使其更适合资源受限的临床环境——但 ViT-B16 由于其全局自注意力机制，在应对图像质量退化方面具有独特的优势。

作者得出结论，对于临床部署的模型选择不应仅依赖于预测准确率。相反，需要一种多维度的评估策略，以平衡预测性能与可靠性、鲁棒性、效率和可解释性。本研究强调了 CNN 与 Transformer 互补的优势，并指出构建“可靠”的 AI 系统需要对这些多样化的性能维度进行全面的评估。作者也承认了研究的局限性，包括使用了单一数据集和合成扰动，并建议未来的工作应在多机构数据集和多样化的成像设备上验证这些发现。

类似论文