💻 computer science

Learning To Focus: Anatomy-Guided Attention Regularization for Medical Image Classification

该论文提出了 Locus，这是一个利用预训练分割基础模型来引入自适应注意力正则化项的框架，旨在无需手动分割标注的情况下，引导医学图像分类器关注具有诊断相关性的解剖区域。

原作者： Tonmoy Hossain, Atiqur Rahman, Farhana Hossain Swarnali, Miaomiao Zhang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Tonmoy Hossain, Atiqur Rahman, Farhana Hossain Swarnali, Miaomiao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别医学影像中特定类型的肿瘤。你给它看了成千上万张照片，并告诉它：“这张有肿瘤，那张没有。”但问题在于：你从未告诉机器人应该“看哪里”。

如果没有引导，机器人会变得有点偷懒。它可能不会去寻找真正的肿瘤，而是开始根据一些奇怪的线索进行猜测，比如扫描仪边框的颜色、角落里的阴影，甚至是打印图像时所用的纸张类型。这就像一个学生在考试时忽略了数学题本身，仅仅因为老师的字迹看起来很眼熟就猜出了答案。机器人可能会靠运气得到正确答案，但它并没有真正学会肿瘤长什么样。

这正是这篇论文的作者们所提出的 Locus 试图解决的问题。

“魔眼”问题

过去，为了教机器人看哪里，科学家们必须雇佣专家医生，在每一张照片中的每一个肿瘤周围画出详细的轮廓。这就像是在教松鼠找坚果之前，先雇佣一位艺术家去描绘树上每一片叶子的轮廓。这既耗时又昂贵，而且很难处理海量的数据。

其他一些研究人员尝试让机器人在学习寻找肿瘤的同时，自己也学会画轮廓。但这就像是要求一个学生在解数学题的同时，还要画出一幅完美的图画。这两项任务往往会互相干扰，导致机器人感到困惑。

新的窍门：借用超能力

作者们提出了一个聪明的想法。他们没有选择雇佣艺术家或强迫机器人画图，而是决定借用一个已经存在的“魔眼”。目前已经存在一些强大的 AI 模型（称为分割基础模型/Segmentation Foundation Models），它们在寻找肺部、骨骼或皮肤病变等身体部位方面已经非常出色。这些模型就像一位组织有序的图书管理员，无需针对每本书进行训练，就能瞬间指引你找到“解剖学专区”。

作者们的框架 Lima 利用了这个预训练好的“图书管理员”来给机器人一个轻微的提示。它并不强迫机器人必须死死盯着图书馆员画出的精确轮廓，而是仅仅说：“嘿，确保你主要是在看身体部位，而不是周围的空白区域。”

它是如何运作的：“不要看背景”规则

其中的秘诀在于：机器人通常会关注整张图像。作者在机器人的训练中加入了一条特殊的规则。他们测量机器人对“前景”（身体部位）与“背景”（空白空间）的注意力分配程度。

如果机器人开始把更多的注意力放在背景而非身体部位上，这条规则就会在数学层面上“拍一下它的手”并说：“不对，专注于解剖结构！”但如果机器人已经在看身体部位了，规则就会保持沉默。这是一个“铰链（hinge）”规则——它只在情况出错时才会介入。这就像一位教练，只有当球员开始跑错方向时才会大声提醒，而在球员表现正常时则让他们自由发挥。

为了确保“图书管理员”不会遗漏任何部分（例如分裂成两部分的肿瘤），作者将图像切成一个个小方块，并要求图书管理员分别观察每个小方块。这确保了没有任何微小的肿瘤会被遗漏。

它真的有效吗？

作者在八个不同的医学影像数据集上测试了这个想法。这些数据集包括：

包含超过 10,000 张图像的皮肤照片（皮肤镜检查）。
包含超过 112,000 张图像的胸部 X 光片。
骨骼 X 光片、心脏 MRI 视频以及组织显微镜切片。

他们将这种方法与三种其他方法进行了对比：

标准训练： 没有任何帮助地直接进行猜测。
掩码输入（Masked Input）： 只向机器人展示身体部位并隐藏其余部分（但这可能会无意中隐藏重要的线索）。
严格对齐（Strict Alignment）： 强迫机器人的输出与图书管理员的绘画完全一致（这过于僵化）。

结果显示：
Locus 方法始终胜出。在皮肤癌数据集中，它的准确率达到了 86.53%（而标准方法为 83.99%）。在骨肿瘤数据集中，它达到了 87.54% 的准确率。在心脏 MRI 视频中，它达到了 83.15% 的准确率。

但真正的胜利不仅在于分数，还在于机器人的“眼睛”。当作者观察机器人的关注点时，标准机器人经常盯着阴影或图像边缘看；而 Locus 机器人则紧盯着肺部、肿瘤或心肌，就像人类医生一样。

为什么这很重要

作者认为，这种方法使机器人更加可靠。当他们使用模糊或带有噪声的图像（例如在光线较差的情况下拍摄的照片）进行测试时，标准机器人的表现会大幅下降并感到困惑。然而，Locus 机器人却能保持稳定。因为它们被训练去忽略背景噪声并专注于解剖结构，所以不会被模糊现象所迷惑。

他们并未声称的事

需要注意的是，这篇论文并没有做出某些过度承诺。他们并没有说这是治愈癌症的方法，也没有说它能取代医生。他们也没有说它对每一种疾病都完美适用（他们特别排除了那些诊断并非基于特定形状的情况，例如 X 光片中的“无发现”）。他们也没有说机器人是完美的，只是证明了它比之前的机器人更擅长聚焦。

总结

作者提出了一种通过借用预训练模型的“眼睛”来教导医学 AI “看该看的地方”的方法，而无需支付高昂的人力成本去绘制轮廓。这是一个“即插即用”的工具，它让机器人变得更聪明、更专注，且不易被背景分心。他们认为，这可以成为让医学 AI 变得更可靠的重要一步，但也承认仍有许多工作要做，比如研究如何处理“图书管理员”可能也会产生困惑的情况。

简而言之：他们教会了机器人停止盯着阴影看，转而开始盯着肿瘤看，于是机器人完成了它的工作，并且做得更好。

技术摘要：Locus —— 用于医学图像分类的解剖引导注意力正则化

1. 问题陈述

医学图像分类模型通常仅使用图像级标签进行训练，缺乏显式的空间监督。因此，这些模型往往会学习依赖于与解剖结构无关区域的统计相关性，例如成像伪影、周围组织或特定数据集的上下文线索，而非具有诊断意义的解剖结构。这种行为限制了模型的可解释性和泛化能力。

虽然以往的方法尝试通过引入解剖形状信息（如分割掩码）来解决这一问题，但它们面临着显著的局限性：

人工标注： 依赖专家绘制的掩码成本高昂且难以扩展。
联合训练： 在分类器旁边训练一个分割分支会引入优化挑战，例如竞争梯度和可能破坏引导作用的噪声预测。
基于 CAM 的伪掩码： 虽然避免了标注成本，但这些方法往往只激活与标签相关的判别性区域，而非完整的相关解剖结构。
专用分割模型： 从头开始训练一个新的分割模型会重新引入标注负担和计算开销。

2. 方法论：Locus 框架

作者提出了 Locus，一个利用预训练的分割基础模型 (SFMs)（如 Medical SAM、BiomedParse）来引导分类器注意力，而无需专门的分割训练或人工标注的框架。

2.1 以解剖为中心的注意力正则化

Locus 并没有强制要求分类器的注意力图与解剖掩码之间进行严格的像素级对齐（这可能过于严格），而是引入了一个基于铰链的正则化项 ( $R$ )。

机制： 该框架计算来自 SFM 掩码的解剖前景 ( $A_{fg}$ ) 和背景 ( $A_{bg}$ ) 内的加权平均注意力能量。
损失函数： 正则化项定义为 $R(M, A) = \max(0, A_{bg} - A_{fg})$ 。
逻辑： 该项仅在背景注意力主导前景注意力时才会进行惩罚。如果前景注意力已经足够（ $A_{fg} \geq A_{bg}$ ），则正则化项保持不活跃。这种方法避免了过度抑制潜在的具有诊断意义的上下文信息，同时确保模型不会主要依赖背景噪声。

2.2 分块解剖提示 (Patch-wise Anatomical Prompting)

对全图进行标准的 SFM 提示往往无法捕捉到所有相关的解剖结构，特别是当这些结构较小或不连续时（例如分散的病灶或双侧器官），通常只会返回最主要的区域。

策略： Locus 将输入图像划分为一系列互不重叠的网格块（patches）。每个块都独立地使用相同的类别衍生文本描述符（例如“肺”、“肿瘤”）进行提示。
聚合： 生成的块级掩码通过并集 (union) 进行聚合，以形成全分辨率的解剖掩码 ( $M$ )。
目标： 这种策略最大化了解剖覆盖范围，以确保所有相关区域都能为注意力监督做出贡献，即使生成的掩码较为粗糙。作者强调，并不需要精确的像素级分割；目标是提供足够的解剖依据来引导注意力。

2.3 网络损失

总网络损失结合了标准的任务损失（交叉熵）与以解剖为中心的正则化项：
$L_{net} = L_{task} + \lambda \cdot R(M, A)$

训练策略： 采用热身 (warm-up) 策略，即网络先仅使用 $L_{task}$ 进行训练若干个 epoch，然后逐渐增加正则化强度 ( $\lambda$ )。
灵活性： 该框架与特定的注意力提取方法（如 Grad-CAM、Grad-CAM++、Vanilla CAM）以及 SFM 的选择都是无关的（agnostic）。

3. 核心贡献

新型正则化框架： 提出了一种以解剖为中心的注意力正则化器，能够自适应地平衡前景与背景之间的注意力，仅在背景注意力占主导时进行惩罚，从而消除了对专门分割训练的需求。
即插即用适配性： 该框架可以轻松适配各种分类器骨干网络（CNN 和 Transformer）以及不同的 SFM，而无需修改分类器架构或微调基础模型。
全面的验证： 在八个多样化的医学影像数据集（皮肤镜、X射线、组织病理学、超声和心脏 MRI）上进行了验证，展示了持续的性能提升和改进的可解释性。

4. 实验结果

作者将 Locus 与三个基准模型进行了对比：标准交叉熵 (CE)、掩码输入（使用 SFM 掩码丢弃背景）以及 MGA（需要专家标注的基于 Dice 的注意力对齐）。

分类性能： 在六个基准数据集（HAM10000、PneumoniaMNIST、BTXRD、PanNuke、ChestX-ray8、BUSI）和一个心脏电影 MRI 数据集上，Locus 在几乎所有设置下均实现了最高的准确率和 F1 分数。它始终优于无约束训练和掩码输入基准。
注意力质量： 可视化（Grad-CAM）显示，Locus 产生了更集中且在解剖学上连贯的注意力图。值得注意的是，对于容易出现背景主导现象的架构（如 ConvNeXt、ViT），与标准 CE 训练相比，Locus 显著地将注意力锐化到了相关的结构上（如肺野、病灶）。
鲁棒性： 在测试时扰动（亮度、对比度、高斯模糊、噪声）下，使用 Locus 训练的模型比仅使用 CE 的基准模型保持了更高的准确率，这表明正则化抑制了对易受干扰特征的依赖。
泛化性： 正则化的收益在不同的注意力提取方法（Grad-CAM、Grad-CAM++、Vanilla CAM、Gradient Norm）和不同的网络骨干（ResNet、ConvNeXt、ViT）中均保持一致。

5. 意义与主张

论文声称，Locus 为解决医学图像分类器的“黑盒”性质提供了一个实用的解决方案，它能在不需要高昂的人工标注成本或复杂的联合分割-分类训练的情况下，引导模型转向具有诊断意义的解剖结构。

通过利用基础模型的“开箱即用”定位能力并采用灵活的基于铰链的正则化器，该框架实现了：

提高可解释性： 模型专注于正确的解剖区域（例如心脏 MRI 中的心肌）而非伪影或背景。
增强泛化能力： 在不同模态下表现更好，并对图像扰动具有更强的鲁棒性。
高效性： 它避免了训练专用分割模型的计算开销，同时提供了可靠的解剖引导。

作者总结道，这种方法代表了向使医学 AI 更加可靠和临床可解释迈出的重要一步，特别是在缺乏像素级标注的情况下。未来的工作建议探索不确定性感知权重以及分块配置的端到端学习。