GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans

本文介绍了 GazeXPErT 数据集,该数据集通过收集专家在 346 例 FDG-PET/CT 肿瘤扫描中的眼动追踪数据,旨在提升 AI 模型在肿瘤分割、定位及意图预测方面的可解释性与性能,从而推动其在肿瘤学临床诊断中的应用。

Joy T Wu, Daniel Beckmann, Sarah Miller, Alexander Lee, Elizabeth Theng, Stephan Altmayer, Ken Chang, David Kersting, Tomoaki Otani, Brittany Z Dashevsky, Hye Lim Park, Matteo Novello, Kip Guja, Curtis Langlotz, Ismini Lourentzou, Daniel Gruhl, Benjamin Risse, Guido A Davidzon

发布于 2026-03-03
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一个名为 GazeXPErT 的新项目,你可以把它想象成是给癌症扫描图像(PET/CT)装上了一个“超级透视眼”,专门用来记录专家医生在看片子时,眼睛到底是怎么“动”的。

为了让你更容易理解,我们可以用几个生活中的比喻来拆解这项研究:

1. 核心问题:为什么现在的 AI 还不够聪明?

想象一下,你正在教一个刚毕业的学生(AI)如何在一堆杂乱的仓库(PET/CT 扫描图)里找失窃的贵重物品(肿瘤)。

  • 目前的 AI:就像是一个拿着放大镜死板地扫描每个角落的机器人。它虽然能看见东西,但它不知道为什么要看这里,也不知道怎么看才最有效。它只是机械地计算像素,一旦遇到没见过的情况,就容易出错,而且医生不敢完全信任它,因为不知道它是怎么得出结论的(缺乏“可解释性”)。
  • 人类的专家:就像经验丰富的老侦探。他们看片子时,眼睛会像探照灯一样,有策略地扫视,先找可疑的,再确认细节。他们知道哪里容易藏东西,哪里只是光影干扰。这种“搜索策略”和“直觉”是 AI 目前学不会的。

2. 解决方案:GazeXPErT 是什么?

GazeXPErT 就是一个巨大的“眼动数据库”。

  • 怎么做到的? 研究人员给 13 位经验丰富的放射科专家(包括资深医生和实习生)戴上了特殊的“智能眼镜”(眼动追踪设备)。
  • 记录了什么? 当这些专家在电脑上阅读 346 个癌症患者的全身扫描图时,设备以每秒 60 次的速度,精准记录了他们的眼球轨迹
  • 比喻:这就像是在老侦探的探案过程中,不仅录下了他看到的画面,还录下了他视线移动的每一个微小动作、他在哪里停留最久、他先看了哪里后看了哪里。这就把专家脑子里的“搜索地图”给画出来了。

3. 这个数据库有什么用?(三大实验成果)

研究人员用这个“眼动地图”去训练新的 AI,结果发现效果惊人:

  • 实验一:给 AI 装上“专家导航”

    • 比喻:以前 AI 找肿瘤像无头苍蝇乱撞。现在,把专家的“视线热力图”(哪里看得多,哪里就是重点)作为额外线索喂给 AI。
    • 结果:AI 找肿瘤的准确率(DICE 分数)从 60% 提升到了 68%。虽然专家看肿瘤的时间只占总时间的 8%,但这 8% 的“关键视线”包含了巨大的诊断智慧。
  • 实验二:修正“手抖”的瞄准

    • 比喻:有时候专家想指某个点,但眼睛稍微偏了一点(就像你想指苹果,手稍微偏到了梨上)。
    • 结果:AI 学习了专家之前的视线移动规律,能自动预测并修正这个偏差,把“指歪”的地方自动拉回到真正的肿瘤中心。这让廉价的普通眼动仪也能达到很高的精度。
  • 实验三:读懂专家的“心思”

    • 比喻:专家在看片子时,有时候是在“漫无目的地搜索”,有时候是“锁定目标准备确认”。
    • 结果:AI 通过学习眼动轨迹,能猜出专家此刻是在“随便看看”还是“已经发现了目标”。这就像 AI 能读懂你的意图,知道什么时候该递给你放大镜,什么时候该闭嘴让你自己思考。

4. 为什么这很重要?

  • 不仅仅是找病:这个项目的目标不是让 AI 取代医生,而是让 AI 变成医生的“超级副驾驶”。
  • 可解释性:以前的 AI 像个黑盒子,医生不知道它为什么报警。现在的 AI 因为学习了专家的视线,它的判断逻辑变得透明了——“我之所以认为这里有肿瘤,是因为我也像专家一样,在这个位置停留并聚焦了”。
  • 未来愿景:想象一下,未来的医生在看片子时,AI 会像一位默契的助手,根据医生的视线移动,自动高亮显示可疑区域,或者提示“您刚才好像漏看了这个角落”。

总结

GazeXPErT 就像是把人类专家几十年的“看片经验”和“搜索直觉”,通过眼动数据“数字化”了。它把这种宝贵的直觉变成了 AI 可以学习的教材,让未来的医疗 AI 不仅算得准,而且看得懂,最终能真正融入医生的工作流程,成为值得信赖的伙伴。

这项研究不仅发布了一个数据集,更开启了一种新思路:让 AI 学会像人类专家一样“思考”和“观察”。