A Resource-Constrained Evaluation of Fine-Tuned Deep Learning and Local Zero-Shot Vision-Language Models for Brain MRI Slice Classification

技术摘要：针对资源受限环境下微调深度学习模型与本地零样本视觉语言模型在脑部 MRI 切片分类任务中的评估

问题陈述
尽管经过微调的深度学习（DL）分类器在公开脑部 MRI 切片数据集上已取得了接近饱和的性能，但由于数据集泄露、缺乏患者级元数据以及鲁棒性评估不足，其临床可解释性往往受到限制。与此同时，多模态大语言模型（MLLMs）提供了零样本图像理解能力；然而，在严格的本地硬件约束（特别是消费级 GPU）下且在不进行特定任务微调的情况下，其性能表现尚未得到验证。本研究旨在解决这一差距，即对比任务适配型 DL 模型与未经适配、可在本地运行的零样本 MLLM 在四分类脑肿瘤识别中的表现，同时对数据集完整性进行严格审计并评估模型的鲁棒性。

方法论
本研究采用了一个回顾性的四分类切片级分类框架，该框架使用了一个基于“脑肿瘤 MRI 数据集”（原始包含 7,200 张图像）且经过泄露筛查的锁定评估集。

• 数据集策展： 执行了严格的审计以消除数据泄露。这包括通过精确像素哈希（pixel hashing）移除重复项，以及结合感知哈希（pHash）与结构相似性指数（SSIM）来过滤近乎重复的图像。最终的正式评估清单由 260 张图像组成（每类 65 张：胶质瘤、脑膜瘤、无肿瘤、垂体瘤），这些图像严格平衡且与训练池无重叠。一个因与当前训练数据存在 70.91% 像素重叠而被拒绝的旧外部数据集。
• 深度学习（DL）评估： 对四种架构（ResNet18、EfficientNet-B0、ConvNeXt-Tiny、ViT-B/16）进行了跨三个随机种子的微调。研究中包含了一个“从零开始”（scratch）的 ResNet18 条件（随机初始化），以隔离 ImageNet 预训练的贡献。训练使用单张 NVIDIA RTX 3080（10 GB GPU）进行 PyTorch 运算，并应用了标准的数据增强、AdamW 优化以及基于验证集 Macro-F1 的早停机制。
• MLLM 评估： 在相同的 260 张图像上评估了三种本地零样本模型：Qwen3-VL-2B、Qwen3-VL-8B 和 MedGemma-4B。这些模型在本地运行，并在必要时采用了 4-bit NF4 量化，以符合 10 GB 显存（VRAM）的限制。模型使用严格且标准化的 JSON 指令进行提示，要求仅输出单个标签，而不进行自由文本推理或包含患者细节。
• 鲁棒性与可解释性：
  • 扰动分析： 使用五种合成变换（高斯模糊、噪声、对比度、旋转、JPEG 压缩）在三个严重程度水平下生成了一个受控的损坏矩阵（共计 35,100 次推理）。
  • Grad-CAM： 利用冻结的检查点编译了一个定性失效图库，用以可视化在扰动诱发的错误期间空间注意力的偏移。

核心贡献
本文对该领域做出了五项具体贡献：

1. 泄露感知协议： 实施了精确重叠审计和锁定评估清单，以确保在已知存在重复问题的数据集中的划分完整性。
2. 直接对比： 在资源受限的条件下，对微调后的 DL 架构与本地可运行的、未经适配的零样本 MLLM 进行了基于相同图像的比较。
3. 预训练证据： 提供了关于 ImageNet 预训练相对于从零开始训练在多个种子下的贡献的实证数据。
4. 扰动分析： 进行了预设的多严重程度分析，探讨合成损坏如何影响模型性能。
5. 定性失效图库： 建立了一个经过验证的 Grad-CAM 图谱集合，用以说明局部的注意力并不保证分类的正确性。

结果

• DL 性能： 微调模型表现优异。ConvNeXt-Tiny 取得了最高的平均 Macro-F1（0.9610 ± 0.0041），其次是 EfficientNet-B0（0.9531）、ResNet18（0.9476）和 ViT-B/16（0.9284）。ImageNet 预训练相比于从零开始训练提供了显著的提升（+0.0617 Macro-F1），尽管从零开始训练的模型对初始化种子表现出高度敏感性。
• MLLM 性能： 未经适配的零样本 MLLM 表现明显逊于微调后的 DL 模型。表现最强的本地 MLLM——Qwen3-VL-8B，其 Macro-F1 仅为 0.3991。MedGemma-4B 和 Qwen3-VL-2B 的得分更低（分别为 0.2822 和 0.2469）。值得注意的是，MedGemma-4B 和 Qwen3-VL-2B 完全未能预测出“脑膜瘤”类别，且 Qwen3-VL-8B 表现出严重的类别坍塌，将 56.9% 的脑膜瘤误分类为胶质瘤。
• 鲁棒性： ConvNeXt-Tiny 在受损情况下的平均 Macro-F1 下降幅度最小（0.0253）。然而，鲁棒性并不统一；例如，从零开始的 ResNet18 对高斯噪声的鲁棒性高于预训练的 ResNet18，但在对比度变化方面鲁棒性较低。
• Grad-CAM 发现： 分析表明，正确的预测并不具备一致的空间注意力模式，而错误的预测往往会产生视觉上集中的热力图。这表明，在缺乏地面真值（ground-truth）掩码的情况下，后验注意力图无法证明肿瘤定位或预测的正确性。

意义与主张
作者主张，在受限的本地计算资源（单张 10 GB GPU）和严格的零样本、仅标签提示条件下，针对这一特定的切片级基准测试，经过微调的 DL 模型显著优于未经适配的 MLLM。研究强调，由于缺乏患者层面的独立性以及公开数据源中存在的潜在数据泄露，必须保守地解读高领域内得分（如 ~0.96 Macro-F1）。

本文明确指出，其目的并非提出新的架构或可部署的临床工具。相反，其意义在于提供了一套泄露感知的评估协议和受控的失效分析。作者提醒，观察到的 MLLM 与 DL 模型之间的性能差距可能源于操作约束（量化、僵化的提示词设计），而非内在的架构天花板；但他们得出结论，对于资源受限环境下的专业化 MRI 切片分类任务，任务特定的微调仍是优于零样本 MLLM 部署的方法。