🤖 AI

A World Model of Radiologist Reading for Medical Image Representation Learning

GazeWorld 是一个医学影像世界模型，它利用放射科医生的眼动追踪数据自回归地预测潜在图像表征，通过学习专家如何解读图像而非仅仅关注其结论，实现了最先进的诊断准确率和零样本性能。

原作者： Yiwei Li, Zihao Wu, Huaqin Zhao, Yifan Zhou, Chao Cao, Dajiang Zhu, Tianming Liu, Lin Zhao

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiwei Li, Zihao Wu, Huaqin Zhao, Yifan Zhou, Chao Cao, Dajiang Zhu, Tianming Liu, Lin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一台计算机如何阅读 X 光片。通常，我们会向计算机展示成千上万张图片，并告诉它：“这张有肺炎，这张是清晰的。”但这就像只向某人展示目的地来教他们开车，却从不解释他们是如何到达那里的。计算机或许能碰巧猜对，但它实际上并不理解发现问题的过程。

本文介绍了一种名为GazeWorld的新方法来教计算机。与仅仅关注最终答案不同，GazeWorld 试图理解人类专家（放射科医生）是如何观察图片的。

以下是使用简单类比进行的分解说明：

1. 问题：“黑箱”与“数据短缺”

医疗人工智能面临两大难题：

数据不足：由于患者隐私法规严格且医生工作繁忙，很难获得数百万张带有标签的 X 光片。
“黑箱”：当前的 AI 模型往往直接抛出诊断结果（“这是肺炎！”），却不展示其推理过程。如果医生不知道机器为何做出该决定，就无法信任它。

2. 关键要素：眼动追踪

放射科医生并非随机地凝视 X 光片。他们有一套特定的观察方式。他们可能会先看左上角，然后跳到右下角，再放大到某个特定点。这被称为扫描路径（scanpath）。

旧方法：以前的 AI 模型将这种眼动视为静态的“热力图”（显示医生注视区域的模糊红色斑块）。这丢弃了注视的顺序。这就像知道侦探去过犯罪现场，却不知道他们发现线索的先后顺序。
新方法（GazeWorld）：该模型将 X 光片视为一个世界，将医生的眼动视为穿越该世界的旅程。

3. GazeWorld 的工作原理：“讲述者”与“想象者”

该模型通过两种同步方式进行学习，就像一个既在阅读故事又在想象缺失页面的学生：

讲述者（下一注视点预测）：
想象你在读一本书，但只能看到前几段。GazeWorld 试图根据你已经读过的内容，猜测下一段会是什么。
- 在 AI 的案例中，它观察医生首先查看的 X 光片区域，然后是第二个区域，并尝试预测医生接下来会查看的区域的潜在表示（即“含义”）。
- 通过这样做，它学习了医生搜索的逻辑。它学会了“如果我在这里看到了阴影，那么下一个合乎逻辑的观察点就是那里”。
想象者（空间补全）：
那么医生没有查看的 X 光片部分呢？也许他们跳过了这些部分，因为它们看起来正常，或者因为它们远离病灶。
- GazeWorld 拥有第二个分支，充当富有想象力的艺术家。它根据医生确实查看过的区域所构成的“故事”，尝试“填补空白”，以推断他们跳过的部分。
- 它问道：“基于医生收集的证据，这个未被访问的图像空白角落可能包含什么？”

4. 结果：更智能、更可信的 AI

作者在三个主要的胸部 X 光数据集（CheXpert、RSNA 和 SIIM-ACR）上测试了该方法。结果如下：

更准确的诊断：当他们使用“冻结”（预训练）的 GazeWorld 特征来诊断疾病时，即使只给予极少量的标注数据（1% 或 10%），其表现也超过了所有其他现有方法。
零样本成功：即使在没有针对特定疾病进行专门训练的情况下，它在预测新疾病时表现依然最佳。
更优的眼动预测：他们测试了该模型能否预测人类接下来会看向哪里。尽管 GazeWorld 并未显式地训练用于预测眼动，但其内部“大脑”在理解阅读过程方面表现出色，以至于一个简单的解码器就能比专门为此任务构建的模型更准确地预测医生的眼动路径。
视觉证据：当他们可视化 AI 的“注视”位置（使用热力图）时，与其他通常分散且混乱的模型相比，它更紧密地聚焦于实际的医疗问题（如肺炎病灶）。

核心结论

GazeWorld 不仅学习疾病看起来像什么，它更学习如何寻找它。通过模仿放射科医生眼睛的逐步旅程，它建立了对医学图像更智能、更高效且更具可解释性的理解。这证明了教导 AI如何像专家一样思考，与教导他们得出什么结论同样重要。

技术摘要：GazeWorld——用于医学图像表示学习的放射科医生阅片世界模型

1. 问题陈述

医学影像人工智能的临床转化面临两大主要挑战：一是由于隐私法规导致的大规模、多样化标注数据集稀缺，以及专家标注成本高昂；二是当前模型缺乏可解释性，往往仅输出诊断标签而未揭示底层证据。虽然放射科医生的眼动追踪数据通过编码专家先验知识和证据收集的时序序列提供了一种有前景的解决方案，但现有方法仅部分利用了这一信号。当前方法通常将注视点视为静态空间先验（例如热力图），或将其视为与诊断推理过程解耦的辅助预测目标。因此，专家如何搜索、比较和积累证据的时序结构在改善诊断表示方面仍未得到充分利用。

2. 方法论：GazeWorld

作者提出了GazeWorld，这是一种医学影像世界模型，它将放射科医生的诊断过程重新框架化为在由图像定义的感知世界中的轨迹。GazeWorld 不再将注视点视为静态地图，而是将阅片过程建模为自回归序列，其中放射科医生在图像中导航，在每次注视时提取局部证据以指导下一个感兴趣区域。

核心架构

GazeWorld 由三个主要组件构成（如图 1 所示）：

图像块表示与注视序列：
- 一个在线视觉编码器（ $\phi$ ）将医学图像 $X$ 映射为一组图像块级别的语义表示 $Z$ 。
- 放射科医生的注视序列 $F$ 被映射为唯一的、有序的图像块索引 $S = (s_1, \dots, s_L)$ ，在保留访问时序的同时合并了对同一图像块的重复访问。
下一注视点预测分支（自回归）：
- 遵循联合嵌入预测架构（JEPA）范式，该模型基于所有先前访问过的图像块，预测下一个被注视图像块的潜在表示。
- 注视嵌入器（ $\psi$ ）将已访问图像块的视觉令牌与空间嵌入、时序排名和停留时长相结合。
- 一个实现为因果 Transformer 的自回归预测器（ $g_\theta$ ）处理注视令牌的前缀，以预测下一个图像块的表示（ $\hat{z}_{s_i}$ ）。
- 预测目标源自动量目标编码器（ $\bar{\phi}$ ），即在线编码器的指数移动平均（EMA）副本，确保在不通过目标反向传播梯度的情况下获得稳定的表示空间目标。
空间补全分支：
- 为了解决未访问区域（这些区域可能具有临床信息量，例如因正常而被跳过）的问题，空间补全分支并行预测所有未访问图像块的表示。
- 一个轻量级的交叉注意力解码器利用完整的注视上下文表示（自回归预测器的输出）来推断未访问图像块的表示。

预训练目标

该模型使用组合损失函数进行预训练：
$L_{pre} = L_{AR} + \lambda L_{SC}$
其中 $L_{AR}$ 是用于下一注视点预测的自回归损失， $L_{SC}$ 是用于未访问区域的空间补全损失。该目标是自监督的，不需要诊断标签，仅需图像 - 文本对和眼动轨迹。

3. 主要贡献

本文概述了三个主要贡献：

注视世界模型公式化： 作者提出了一种新颖的公式，将放射科医生的阅片过程表述为在感知世界中的轨迹。这种方法充分利用了专家注视的时序结构作为自监督信号，超越了静态热力图和解耦的扫描路径预测。
GazeWorld 架构： 他们将此公式实例化为 GazeWorld，该架构在潜在空间中独特地结合了注视有序的自回归预测与空间补全分支。这塑造了表示，使其能够同时捕捉诊断内容和专家推理的序列结构。
表示的双重效用： 学习到的表示证明，单一模型可以同时支持准确的诊断和可解释的扫描路径解码。在冻结的 GazeWorld 特征上训练的通用解码器优于专门构建的扫描路径预测器，表明该表示内在编码了专家视觉搜索的序列结构。

4. 实验结果

作者在胸部 X 光诊断和扫描路径预测方面评估了 GazeWorld，涉及三个基准测试：CheXpert、RSNA 肺炎和 SIIM-ACR 气胸。

诊断性能

监督设置： 冻结的 GazeWorld 特征在所有九个监督设置（三个数据集 × 三种标签比例：1%、10%、100%）中均实现了最先进的（SOTA）AUROC。值得注意的是，在与 EGMA 进行受控比较（匹配骨干网络、初始化和数据）的情况下，GazeWorld 将 CheXpert 1% 标签下的 AUROC 从 71.21 提升至 78.37。
零样本性能： GazeWorld 在所有三个基准测试中实现了最高的零样本准确率，并在 CheXpert 和 SIIM-ACR 上实现了最高的 F1 分数，优于 MedCLIP、EGMA 和 GLoRIA 等模型。
定性分析： Grad-CAM 可视化表明，与基线模型相比，GazeWorld 在临床相关的解剖结构上产生了更集中的激活。

扫描路径预测

探测实验： 在 GazeSearch 基准测试（ChestSearch 协议）上评估了在冻结的 GazeWorld 特征上训练的通用解码器。
性能： 尽管未显式训练以预测注视点，但 GazeWorld 特征使解码器在 ScanMatch 指标上比专门构建的 LogitGaze-Med 高出16%，在 SED（扫描路径欧几里得距离）上高出22%。
启示： 这表明世界模型预训练成功地将专家阅片的序列结构编码到了视觉表示中。

消融研究

排序： 用光栅扫描或随机顺序替换专家扫描路径显著降低了性能，证实了证据收集的时序顺序至关重要。
组件： 仅自回归（AR）组件提供了强大的性能，但添加空间补全进一步改善了结果。仅空间补全效果较弱，表明其依赖于自回归上下文才能发挥作用。
骨干网络： 当应用于不同的医学视觉骨干网络（MGCA、EGMA、MedCLIP）之上时，该方法一致地提高了零样本性能，表明其具有通用性。

5. 意义与主张

本文声称，GazeWorld 通过建模专家如何阅读而不仅仅是他们得出什么结论，展示了医学影像人工智能的一种有前景的预训练范式。通过将图像视为世界，将注视序列视为轨迹，该模型学习预测诊断推理中的下一步。

作者断言，这种方法：

通过利用眼动追踪数据丰富的自监督信号，减少了对大规模标注数据集的依赖。
提供了静态注意力图无法提供的可解释性基础，因为学习到的表示保留了专家推理的序列结构。
为现有的医学基础模型提供了一种互补的细化目标，将放射科医生的阅片动态注入预训练编码器，而无需从头开始完全重新训练。

该研究适度地局限于胸部 X 光和单一的眼动追踪语料库（MIMIC-EYE），作者指出未来的工作应探索更大的多读者数据集和更广泛的成像模态。