💻 computer science

GazeLT: Visual attention-guided long-tailed disease classification in chest radiographs

本文介绍了 GazeLT，这是一个通过集成-解构机制利用放射科医师的时间视觉注意力模式，从而显著提升胸部 X 光片中长尾疾病分类性能的新型框架，其在大型公开数据集上的表现优于现有方法。

原作者： Moinak Bhattacharya, Gagandeep Singh, Shubham Jain, Prateek Prasanna

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Moinak Bhattacharya, Gagandeep Singh, Shubham Jain, Prateek Prasanna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

侦探的目光：教计算机如何像人类一样观察

想象一下，你正试图教一个机器人如何在间巨大的、凌乱的房间里发现隐藏物品。如果你只是给机器人看一千张房间的照片，它可能会非常擅长寻找那些显眼的大件物品，比如一张红色的扶手椅或一块蓝色的地毯。但如果你让它去寻找藏在衣物堆下的一个微小且罕见的银币，它很可能会每次都漏掉。这是人工智能领域一个经典的难题，被称为“长尾分类”（long-tailed classification）。这种情况发生在某些事物极其常见（即“尾部”的头部），而另一些事物却极其罕见（即“尾部”）时，这使得计算机很难学习那些稀有的事物。

为了解决这个问题，科学家们经常借鉴人类解决问题的方式。在医学领域，被称为放射科医生的医生通过观察 X 光片来寻找疾病。但他们不仅仅是盯着一张图片进行猜测；他们的眼睛会进行一种特定的“舞蹈”。他们会扫描整幅图像，放大可疑部位，瞥一眼边缘，有时还会看向那些最终证明是无害的地方。这种被称为“注视”（gaze）的眼球运动，蕴含了一份专家思维的秘密地图。核心问题在于：我们能否教会计算机模仿这种眼球舞蹈，让它不仅能看到显而易见的事物，还能搜寻那些它通常会漏掉的、罕见且棘手的疾病？

论文的核心思想：GazeLT

这篇论文介绍了一种名为 GazeLT（注视引导的长尾分类）的新方法。研究人员利用胸部 X 光片进行实验，旨在观察是否可以通过利用放射科医生的眼球运动来帮助 AI 成为一名更出色的侦探。他们并没有仅仅向 AI 展示 X 光片，而是展示了 X 光片加上一段视频，视频记录了真实医生在诊断时眼睛注视的位置。

其核心思想是，观察医学图像并不是一个静态、冻结的瞬间；这是一个随时间发生的过程。作者意识到，以往的 AI 模型将医生的注意力视为一个单一、模糊的快照。但在现实中，医生的注视是变化的。起初，他们可能会进行快速、广泛的扫视（寻找大的、明显的问题）。随后，他们可能会放大到微小的、具体的细节（寻找罕见、微妙的问题）。

为了捕捉这一点，团队将医生的观看时间分成了四个相等的窗口。他们创建了两种特殊的“注意力模式”：

整合（Integration）： 这就像医生通过放大来连接特定、详细线索的各个点。
解构（Disintegration）： 这就像医生退后一步，以获得对整体画面的全局视野。

他们构建了一个“教师-学生”系统来教授 AI。教师是一个能够直接从放射科医生眼球注视数据中学习的智能 AI。它通过那四个时间窗口练习观察 X 光片，学习如何整合精细细节以及如何解构为宏观视角。一旦教师训练完成，它就不再需要眼球注视数据了。然后，它会教导学生（一个更简单、更快速的 AI）如何观察 X 光片。学生学习模仿教师的焦点，但它只需要 X 光片图像即可工作。这意味着最终的 AI 可以在医院中使用，而无需实时追踪医生的眼睛。

研究发现

团队在两个大规模胸部 X 光片数据集上测试了 GazeLT：NIH-CXR-LT 数据集（包含 89,237 张图像）和 MIMIC-CXR-LT 数据集（包含 111,898 张图像）。这些数据集具有“长尾”特性，即拥有许多常见的疾病（如肺炎）和极少数罕见的疾病（如气胸/纵隔气肿）。

结果非常令人振奋。GazeLT 不仅表现良好，而且显著优于现有的最佳方法。

平均而言，GazeLT 比顶尖的“长尾损失”方法高出 4.1%。
它以 21.7% 的巨大优势碾压了之前的“视觉注意力”基准模型。

最重要的是，AI 在发现罕见疾病方面变得更加出色。在 NIH 数据集上，它对罕见“尾部”类别的检测率提高了 10.9%；而在 MIMIC 数据集上，提高了 12.2%。虽然它在识别最常见疾病方面的准确率略有下降（下降了约 5%），但由于错过这些罕见且危险的状况往往是医学中最关键的错误，因此在发现罕见病症方面的提升被视为一次重大胜利。

他们如何证明其有效性

研究人员并非仅仅凭直觉认为这行得通，而是进行了一系列实验来证明这一点。他们将 Gaze-LT 与使用基础数学方法处理稀有类别的标准 AI 模型，以及其他尝试使用眼球注视数据但未将其分为时间窗口的模型进行了对比。

他们还进行了“消融实验”（ablation studies），这是一种高级说法，即拆解他们机器的一部分，以观察哪些部分在发挥主要作用。他们发现：

仅使用“整合”部分或仅使用“解构”部分的效果都不如两者结合使用。
将时间分为 4 个窗口 是“黄金分割点”。分为 2 个窗口不够详细，而分为 8 个窗口则会造成过多的混乱和冗余。4 窗口设置完美平衡了观察宏观图景与微观细节的需求。

局限性与未来

论文非常明确地指出了一个局限性：为了训练“教师”AI，你实际上需要一位放射科医生佩戴眼球追踪眼镜并观察 X 光片。这在现实世界中很难实现，因为这需要专门的硬件和配合的医生。然而，作者强调，一旦教师被训练好并完成了对学生的教学，学生完全可以在没有任何眼球追踪数据的情况下正常工作。你只需输入一张 X 光片，它就能给出诊断。

研究人员建议，这种方法最终可以用于其他类型的医学影像，如 CT 扫描或 MRI，而不局限于胸部 X 光片。他们还指出，他们尚未将医生对诊断的信心程度纳入考量，这可能是他们未来会探索的方向。

简而言之，GazeLT 表明，如果我们教会 AI 像人类专家那样去“观察”——即通过时间的推移进行广泛扫描，然后深入挖掘细节——我们就能构建出更聪明的医疗工具，从而不会漏掉那些隐藏在噪声中的罕见、救命的线索。

技术摘要：GazeLT —— 基于视觉注意力引导的胸部 X 光片长尾疾病分类

问题陈述

由于常见（头部）与罕见（尾部）疾病病理之间存在固有的类别不平衡，医学影像中的长尾分类仍然是一个重大挑战。在胸部 X 光片中，诸如气胸（Pneumothorax）或肺不张（Atelectasis）等常见病症出现频繁，而诸如气性纵隔气肿（Pneumomediastinum）或皮下气肿（Subcutaneous Emphysema）等罕见病症的出现率不足 1%。标准的深度学习模型往往在头部类别上表现良好，但在识别尾部类别时表现挣扎，通常会学习到捷径特征或关注与疾病无关的特征。虽然现有方法通过损失重加权、重采样或解耦策略来解决这一问题，但它们通常忽略了临床专家视觉搜索模式的潜力。此外，以往尝试整合眼动注视（eye gaze）数据的研究将视觉注意力视为静态的、聚合的图谱，未能捕捉到放射科医生如何随时间解释图像的动态、时序特性。

方法论：GazeLT

作者提出了 GaveLT，一种创新的教师-学生深度学习框架，该框架整合了放射科医生视觉注意力的时序动态性，以改进长尾分类。其核心假设是：放射科医生的注视模式在诊断过程中会发生演变，从粗略的全局搜索转向细粒度的检查；通过将这些模式分解为时间窗口，可以同时捕捉集成（细粒度）和解构（粗略/全局）的注意力机制。

1. 注意力的时序分解

该方法将放射科医生观察图像的总时长分为 $n$ 个相等的时序窗口（在实验中设定为 $n=4$ ）。在每个窗口内，模拟了两种不同的注意力机制：

时序窗口集成 (TW-I)： 捕捉细粒度注意力。将特定距离阈值内的注视点进行聚类以形成“主要”注意力区域，其余点则形成“替代”区域。这些区域被结合并平滑处理，以创建集成热图。这模拟了放射科医生对特定异常情况的聚焦搜索。
时序窗口解构 (TW-D)： 捕捉粗略的全局注意力。直接对原始注视点应用高斯滤波，而不进行聚类，代表了一种更广泛的全局搜索模式，类似于人类心理学中的“解构（disintegration）”。

2. 教师-学生知识蒸馏

该框架分为两个阶段运行：

教师训练 (t-HVA)： 教师网络由 TW-I 和 TW-D 模块组成，利用放射科医生的眼动注视数据进行训练。
- TW-I 模块利用 FocalNet Transformer 架构来学习集成注意力。
- TW-D 模块利用 GC-ViT（全局上下文视觉 Transformer）架构来学习解构注意力。
- 两个模块均受时序视觉注意力损失 (tVAL) 函数（ $L_{I-tVAL}$ 和 $L_{D-tVAL}$ ）的监督，该函数旨在最小化模型中间特征图与基于地面真值（ground-truth）的注视衍生注意力热图之间的距离。
学生训练： 学生模型（ResNet-50）针对下游的长尾分类任务进行训练。此时教师网络的权重被冻结。学生模型通过知识蒸馏 (KD) 进行学习，其中来自教师的 TW-I 和 TW-D 模块的融合特征 ( $J(f_I, f_D)$ $J (f_{I}, f_{D})$ ) 被转移到学生模型中。
- 蒸馏损失 ( $L_{BD}$ ) 最小化学生特征分布与教师联合表示之间的 Bhattacharyya 距离。
- 学生模型还使用 标签分布感知边缘 (LDAM) 损失 ( $L_{LDAM}$ ) 来直接处理类别不平衡问题。
- 最终的学生损失为： $L_s = L_{LDAM} + \lambda L_{BD}$ 。

3. 推理

在推理阶段，学生模型仅根据输入的胸部 X 光片进行操作。不需要眼动注视数据和教师网络，从而确保系统可以在缺乏额外硬件的临床环境中部署。

核心贡献

时序注意力分解： 本文引入了一种新颖的方法，将静态视觉注意力分解为时序窗口集成与解构机制，捕捉了放射科医生从全局到局部搜索模式的动态转变。
新型损失函数： 作者提出了专门用于训练教师网络以模拟人类注视演变的视觉注意力损失 (VAL) 函数。
用于长尾学习的教师-学生框架： 这是首个专门利用放射科医生注视行为来缓解长尾分类问题的研究，通过使用蒸馏策略将时序诊断先验知识转移给学生模型。
实证验证： 该方法在两个大规模公开的长尾数据集上得到了验证：NIH-CXR-LT ( $n=89,237$ ) 和 MIMIC-CXR-LT ( $n=111,898$ )。

结果

作者报告了 GazeLT 相较于最先进基准模型的显著性能提升，包括标准的长尾损失函数（Softmax, Focal, LDAM, RW LDAM-DRW）以及基于视觉注意力的基准模型（RadioTransformer, GazeRadar）。

NIH-CXR-LT： GazeLT 在平衡测试集上的平均准确率达到 0.410，不仅优于最佳长尾损失基准（LDAM）4.1%，也优于视觉注意力基准（RadioTransformer）21.7%。值得注意的是，它将尾部类别的准确率提高了 10.9%。
MIMIC-CXR-LT： GazeLT 达到了 0.418 的平均准确率，比最佳基准模型提升了 8.01%。尾部类别准确率提升了 12.2%。
消融实验： 实验证实，结合 TW-I 和 TW-D（时序窗口）的表现优于单一的集成或解构模块，验证了建模两种时序注意力类型的必要性。敏感性分析表明，4 个时间窗口在时序细节与冗余度之间提供了最佳平衡，优于 2 个或 8 个窗口。
多类别性能： 在 NIH-CXR-LT 不平衡测试集上，GazeLT 实现了 0.421 的平衡准确率、0.391 的 MCC 和 0.829 的 AUC，显著超越了 GazeRadar 和 RadioTransformer。

重要性与主张

论文声称，通过将放射科医生的时序视觉注意力模式整合进深度学习框架，GazeLT 代表了一项重大进展。作者认为：

动态 vs. 静态： 将注意力分解为时间窗口，比静态聚合图能更好地捕捉诊断推理中的“富含上下文”的特性。
临床医生在环（Clinician-in-the-Loop）： 该方法通过使模型关注点与专家的视觉搜索策略保持一致，增强了模型的可解释性和临床相关性，特别是在数据稀缺的罕见疾病领域。
实际部署： 虽然在训练教师阶段需要注视数据，但最终的学生模型在推理时不需要注视输入，这使得它在缺乏眼动追踪硬件的临床环境中也具有可行性。
模态无关性： 尽管在 2D 胸部 X 光片上进行了演示，但作者认为只要能够获取注视数据，该框架可以扩展到其他模态（如 CT、MRI、超声）及 3D 数据。

作者承认存在局限性，主要是训练阶段对高质量眼动追踪数据的依赖，以及目前仅侧重于 2D 胸部 X 光片。他们总结道，融入专家时序动态对于开发鲁棒、准确且可解释的长尾医学影像诊断工具至关重要。