FixationFormer: Direct Utilization of Expert Gaze Trajectories for Chest X-Ray Classification

本文提出了 FixationFormer，一种基于 Transformer 的架构，通过将专家眼动轨迹直接建模为序列令牌并与图像特征进行交叉注意力交互，有效解决了传统 CNN 难以直接利用稀疏且多变的眼动数据的问题，从而在胸部 X 光分类任务中实现了最先进的性能。

要点

这篇论文介绍了一种名为 FixationFormer 的新方法，旨在让计算机像经验丰富的放射科医生一样“看”X 光片。

为了让你更容易理解，我们可以把这项技术想象成教一个新手侦探（AI）如何像老练的侦探（专家医生）一样破案。

1. 核心问题：新手侦探的困惑

在医疗领域，分析胸部 X 光片（Chest X-Ray）就像让侦探在一张复杂的犯罪现场照片里找线索。

• 难点：X 光片是平面的，但人体是立体的，骨头、器官和病变组织都重叠在一起，就像把一堆透明的玻璃纸叠在一起，很难看清哪张纸上有问题。
• 传统做法：以前的 AI 主要靠“死记硬背”图片特征（就像新手侦探只盯着照片看，试图找出哪里颜色不对）。
• 专家的优势：真正的放射科医生在看片子时，眼睛会移动，他们会先盯着心脏看，再扫视肺部，最后检查肋骨。这种眼球的移动轨迹（Gaze Trajectory），其实包含了医生诊断时的“思考逻辑”和“关注重点”。

2. 过去的尝试：把“思考过程”画成地图

以前，研究人员也想利用专家的眼球移动数据来教 AI，但他们通常把专家看过的地方画成一张热力图（Heatmap）。

• 比喻：这就像把侦探在案发现场走过的路线，用红笔在地图上涂成一个模糊的红圈。
• 缺点：热力图虽然告诉 AI“这里很重要”，但它丢失了时间顺序。它不知道医生是“先看心脏，再看肺部”，还是“先看肺部，再看心脏”。而且，这种模糊的地图计算起来也很慢，不够精细。

3. 新方案 FixationFormer：把“思考过程”变成“剧本”

这篇论文提出了一个全新的思路：不要画地图，直接把专家的“眼球移动剧本”给 AI 看。

• 核心创新：作者发现，Transformer（一种目前最先进的 AI 架构，擅长处理语言序列）和眼球移动天生就是绝配。
  • 语言是一句话接一句话（序列）；
  • 眼球移动是一个点接一个点（序列）。
• 具体做法：
  1. 分词（Tokenization）：把专家眼球停留的每一个点（Fixation），看作剧本里的一句“台词”或一个“单词”。
  2. 编码：不仅记录这个点在哪里（空间），还记录专家在这里看了多久、什么时候看的（时间和时长）。
  3. 融合：把这些“眼球剧本”直接喂给 AI，让 AI 在分析 X 光片的同时，同步阅读专家的“思考剧本”。

4. 两种“师徒对话”模式

为了让 AI 更好地吸收专家的“剧本”，作者设计了两种互动模式：

• 模式一：单向指导（Cross-Attention）

  • 比喻：就像老师（专家眼球）在指导学生（AI 看图）。老师指着哪里，学生就重点看哪里。学生的注意力被老师的视线引导，但老师不需要看学生怎么看。
  • 效果：这种方法非常稳定，AI 能迅速学会专家的关注点，表现最好。

• 模式二：双向交流（Two-Way Attention）

  • 比喻：就像老师和学生互相讨论。老师看学生关注的地方，学生也看老师关注的地方，试图互相理解。
  • 效果：理论上更完美，但在实际实验中，这种“互相讨论”反而让 AI 有点“晕头转向”，不如单向指导来得稳定和高效。

5. 实验结果：青出于蓝

研究人员在三个公开的胸部 X 光数据集上测试了这个方法：

• 成绩：FixationFormer 的表现达到了最先进水平（State-of-the-Art）。在两个数据集上它是最强的，在第三个数据集上也和最好的方法持平。
• 关键发现：
  • 即使没有 X 光片，只给 AI 看专家的“眼球剧本”，AI 也能猜出大概的病情（虽然不如看图准，但说明剧本里真的有信息）。
  • 如果给 AI 配一个“普通老师”（普通的预训练模型），加上“专家剧本”后，AI 的成绩提升巨大。这说明专家的眼球轨迹是极其宝贵的“作弊器”，能帮 AI 在资源有限时也能看得很准。

总结

这篇论文就像是在说：“别只让 AI 死盯着照片看，让它学会像专家一样‘扫视’照片。”

通过将专家的眼球移动轨迹转化为一种特殊的“语言序列”，并直接喂给 AI，FixationFormer 成功地将人类的诊断直觉（先看点 A，再看点 B）融入了机器的大脑中。这不仅提高了诊断的准确率，也为未来让 AI 更像人类专家提供了新的思路。

技术摘要

FixationFormer 技术总结

1. 研究背景与问题 (Problem)

在医学图像分析领域，尤其是胸部 X 光（Chest X-Ray）诊断中，专家的眼动轨迹（Gaze Trajectories）蕴含了丰富的诊断推理知识。然而，将这种数据直接整合到基于卷积神经网络（CNN）的传统系统中面临巨大挑战：

• 数据特性不匹配：眼动数据是序列化的、时间密集但空间稀疏的，且存在噪声和专家间的变异性。
• 现有方法的局限性：大多数现有模型将眼动数据转换为静态的热力图（Heatmaps）作为辅助输入。这种方法虽然便于 CNN 处理，但丢失了眼动模式的时间动态信息（Temporal Dynamics），且计算成本较高。
• 架构不匹配：CNN 并非处理序列数据的最佳架构，而眼动数据天然具有序列性。

2. 方法论 (Methodology)

本文提出了 FixationFormer，一种基于 Transformer 架构的新型模型，旨在将专家眼动轨迹作为序列 Token直接整合到医学图像分析中。

核心组件：

1. 图像编码器 (Image Encoder)：

   • 采用标准的 Vision Transformer (ViT) 作为骨干网络。
   • 为了克服医学数据量较小的问题，使用在大规模 MIMIC-CXR 数据集上预训练的 MGCA（多粒度跨模态对齐）框架进行初始化。

2. 眼动表示 (Gaze Representation)：

   • 预处理：将原始高频眼动数据转换为“注视点序列”（Fixation Sequence），以去噪并保留时空信息。
   • Token 化：每个注视点被编码为一个 Token，包含三个部分：
     • 空间坐标：通过可学习的线性层投影。
     • 持续时间：通过可学习的线性层投影。
     • 起始时间：使用 Transformer 的位置编码（Positional Encoding）来编码相对时间位置。
   • 最终形成与图像 Patch Token 并行的眼动 Token 序列。

3. 融合模块 (Gaze Integration Module)：
   该模块由堆叠的 Transformer 解码器层组成，提出了两种注意力机制来融合图像和眼动特征：

   • Image-to-Gaze Cross-Attention (单向交叉注意力)：
     • 仅更新图像特征，使其关注眼动 Token。
     • 在每一层重新引入空间位置编码，确保图像区域与注视点的空间关系被保留。
   • Two-Way Attention (双向注意力)：
     • 扩展了单向机制，增加了 Gaze-to-Image 的交叉注意力。
     • 允许眼动 Token 也根据图像特征进行更新，实现更深度的双向融合。
     • 关键设计：不同于 NLP 中的 Masked Attention，这里不使用掩码，允许每个图像 Token 访问整个眼动轨迹，反之亦然。

3. 主要贡献 (Key Contributions)

1. 架构创新：首次提出将专家眼动轨迹直接表示为 Token 序列并整合进 Transformer 架构，替代了传统的静态热力图方法，保留了宝贵的时间动态信息。
2. 融合机制：设计了两种互补的注意力机制（单向 Cross-Attention 和双向 Two-Way Attention），实现了图像特征与专家诊断线索的细粒度、直接融合。
3. 性能突破：在三个公开的胸部 X 光基准数据集上实现了最先进的（State-of-the-Art）分类性能，证明了将眼动作为序列处理的优越性。
4. 消融研究：验证了即使在没有图像上下文的情况下，Transformer 也能从眼动 Token 序列中提取有意义的语义信息；同时证明了该方法在弱骨干网络（如 ImageNet 预训练的 ViT）上也能显著提升性能。

4. 实验结果 (Results)

作者在三个数据集上进行了评估：CXR-Gaze、SIIM-ACR 和 Reflacx。

• CXR-Gaze 数据集：
  • FixationFormer 的两个变体均超越了现有的最先进方法（如 GazeGNN）。
  • Cross-Attention 变体表现最佳，准确率高达 84.11%（重现实验对比中甚至达到 87.96%），优于 GazeGNN 的 83.18%。
• SIIM-ACR 数据集：
  • Two-Way Attention 变体取得了 86.40% 的准确率，略优于 EG-ViT（85.60%）。
  • 在 AUC 指标上，FixationFormer 显著优于 EG-ViT。
• Reflacx 数据集（最具挑战性，类别不平衡严重）：
  • Cross-Attention 变体表现最稳定，准确率为 70.06%，优于 GazeGNN。
  • Two-Way 变体在此数据集上训练不稳定，方差较大。
• 消融实验发现：
  • 仅眼动模型：虽然性能不如结合图像，但准确率远高于随机猜测，证明眼动序列本身包含诊断语义。
  • 骨干网络影响：当使用较弱的 ImageNet 预训练 ViT 而非 MGCA 预训练骨干时，引入眼动数据带来的性能提升幅度更大，表明 FixationFormer 能有效弥补图像特征的不足。
  • 机制对比：实验表明，单向 Cross-Attention 通常比双向 Two-Way Attention 更稳定且效果更好，特别是在数据不平衡或任务较难时。

5. 意义与结论 (Significance)

• 范式转变：本文展示了在医学图像分析中，利用 Transformer 处理序列化的专家眼动数据比传统的 CNN+ 热力图方法更具优势。
• 可解释性：可视化分析（GradCAM）显示，引入眼动信息的模型其注意力图更聚焦于解剖学相关区域，与专家的实际注视轨迹高度一致，提升了模型的可解释性。
• 通用性潜力：该方法不仅适用于分类任务，其“序列 Token"的表示方式也为未来的分割、检测等任务提供了新的思路。
• 未来展望：随着眼动追踪数据的增加，FixationFormer 有望在更多医学影像模态和任务中发挥作用，特别是在数据稀缺或模型复杂度受限的场景下，利用专家先验知识提升诊断性能。

代码地址：https://zivgitlab.uni-muenster.de/cvmls/fixation_former