Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

Gaze2Report 是一个通过视觉 - 注视提示微调大语言模型来生成放射学报告的框架，它利用扫描路径预测模块和图神经网络在无需推理阶段真实眼动数据输入的情况下，模拟放射医生的视觉注意力以提升报告质量。

要点

这篇论文介绍了一个名为 Gaze2Report（从目光到报告） 的新系统，它的目标是帮助电脑像经验丰富的放射科医生一样，看懂 X 光片并写出专业的诊断报告。

为了让你更容易理解，我们可以把整个过程想象成**“教一个聪明的学生（AI）如何像老专家一样看片子”**。

1. 现有的问题：学生只看了图，没看懂“重点”

以前的 AI 写报告，就像是一个刚毕业的学生拿着 X 光片。

• 做法：它只是盯着图片看，试图描述上面有什么。
• 缺点：它不知道医生在看哪里。医生看片子时，眼睛会先在心脏位置停留很久，然后扫过肺部，最后盯着肋骨看。这种**“视线停留”**（Eye Gaze）其实包含了医生认为哪里最重要、哪里可能有病的“潜台词”。
• 结果：以前的 AI 虽然能写出通顺的句子，但经常抓不住重点，或者漏掉关键病情，就像学生只看到了“这里有块白影”，却写不出“这是肺炎引起的积液”。

2. 核心创新：Gaze2Report 的“三招”

为了解决这个问题，作者们设计了一套新系统，主要做了三件事：

第一招：给 AI 装上“透视眼” (视觉 + 目光融合)

• 比喻：想象你在教学生看地图。以前的方法只给他看地图（图片）；现在，我们不仅给他看地图，还给他看**“专家走过的路线”**（目光轨迹）。
• 做法：系统利用一种叫图神经网络 (GNN) 的技术，把 X 光片切成很多小块，然后结合医生看这些块时的“停留时间”和“顺序”。
• 效果：这就像告诉 AI：“嘿，别光看整体，医生在这里看了很久，说明这里有问题！”这让 AI 生成的报告更精准，更像真人医生写的。

第二招：让 AI 学会“边看边想” (大语言模型微调)

• 比喻：以前 AI 是“看图说话”，现在它是**“带着任务去观察”**。
• 做法：作者把“图片信息”、“目光信息”和“写作指令”（比如：“请写一份详细的诊断报告”）打包在一起，喂给一个超级聪明的语言模型（LLM，就像现在的 ChatGPT 级别的大模型）。
• 效果：AI 不再只是机械地翻译图片，而是学会了像医生一样思考，把看到的异常和医学知识结合起来，写出逻辑严密、术语专业的报告。

第三招：解决“没有目光数据”的难题 (模拟视线)

• 痛点：在现实医院里，医生看病时不会戴眼动仪，所以 AI 在真正工作时，是没有“专家视线”这个数据的。如果 AI 只靠训练时的数据，一上岗就“傻眼”了。
• 比喻：这就像学生考试时，老师没在旁边盯着他看。怎么办？
• 做法：作者给 AI 加了一个**“预测模块”。在训练时，AI 不仅学写报告，还学“预测医生会看哪里”**。
• 效果：到了真正工作（推理）时，虽然没人盯着看，但 AI 能自己模拟出医生可能会关注的区域，然后基于这个模拟的视线去写报告。这就好比学生虽然没人盯着，但他脑子里已经记住了专家的观察习惯，自己就能找重点。

3. 实验结果：真的更好用吗？

作者在三个著名的医疗数据集上做了测试，结果很亮眼：

• 写得更好：相比以前的方法，Gaze2Report 写出的报告在语言流畅度、专业术语的准确性上都有显著提升。
• 更懂医学：在检查关键病情（如肺炎、心脏肥大等）的准确率上，它比那些只用图片的 AI 强很多，甚至接近或超过了那些专门针对特定疾病优化的模型。
• 即使没有“目光”也能行：即使在没有真实眼动数据的情况下（靠模拟），它依然表现优异，证明了这套方法的实用性。

总结

Gaze2Report 就像是给 AI 请了一位**“影子导师”。
它不仅让 AI 看 X 光片，还让 AI 学习医生“怎么看”**（目光轨迹）。即使在实际工作中没有导师在旁边，AI 也能通过自己学到的“观察习惯”，写出既专业又准确的诊断报告。这大大减轻了放射科医生的工作负担，让诊断更快速、更可靠。

技术摘要

GAZE2REPORT 技术总结

1. 研究背景与问题 (Problem)

现有的医学影像报告生成（Radiology Report Generation）深度学习方法虽然提高了诊断效率，但存在以下核心问题：

• 缺乏医学先验知识：现有方法往往忽略了放射科医生基于经验的医学先验（Medical Priors），导致生成的结构化解释与疾病表现之间的对齐不够优化。
• 临床准确性不足：传统的图像描述（Image Captioning）架构侧重于生成简洁的视觉场景描述，难以捕捉放射学报告中所需的深度上下文和长篇幅细节，导致自然语言生成（NLG）指标虽高，但临床事实准确性（Clinical Accuracy）不足。
• 眼动数据应用的局限性：虽然放射科医生的眼动数据（Eye Gaze）能反映其视觉注意力，对疾病诊断至关重要，但将其整合到 AI 流程中面临两大挑战：
  1. 多模态融合复杂：难以有效整合图像、眼动和文本数据。
  2. 推理阶段数据缺失：在实际临床部署中，模型推理时通常无法获取医生的实时眼动数据，限制了其实际应用价值。

2. 方法论 (Methodology)

论文提出了 Gaze2Report 框架，旨在通过视觉 - 眼动提示微调（Visual-Gaze Prompt Tuning）大型语言模型（LLM）来生成高质量的放射学报告。该框架主要包含两个核心组件：

A. 视觉 - 眼动 Token 生成模块

该模块负责将图像和模拟的眼动数据转化为 LLM 可理解的联合 Token：

1. 视觉特征提取：使用 Vision Transformer (ViT) 将输入图像（如胸部 X 光片）分块（Patchify），提取空间特征向量 $V_i$。
2. 眼动 Token 生成（扫描路径预测）：
   • 利用 MedGaze 模型模拟扫描路径（Scanpath），预测注视点的位置和持续时间。
   • 对每个图像分块内的注视持续时间进行聚合，生成反映医生注意力分布的眼动向量 $G_i$。
   • 关键点：此步骤使得模型在推理阶段无需真实眼动数据即可工作。
3. 图神经网络（GNN）多模态交互：
   • 构建图结构：节点代表图像分块，包含视觉特征、眼动特征和位置编码。
   • 利用 $k$-近邻（k-NN）基于相对位置构建边。
   • 通过 GNN 迭代更新节点嵌入，融合视觉与眼动信息，生成融合后的图表示 $h_{graph}$。
4. 投影：通过线性层将图嵌入投影到 LLM 的高维特征空间。

B. LLM 提示微调与报告生成

• 多模态提示构建：将生成的“视觉 - 眼动 Token" ($H_{proj}$)、指令 Token ($T_I$，如“生成详细的诊断报告”) 和报告 Token 拼接，形成统一的多模态提示。
• LoRA 微调：使用 Llama2-7B 作为基础模型，仅对低秩适配器（LoRA）层进行微调，而非更新所有参数，以保证计算效率。
• 训练策略：采用自回归（Autoregressive）损失函数，仅对报告部分的 Token 进行监督训练。

3. 主要贡献 (Key Contributions)

1. 引入 GNN 增强多模态交互：首次利用图神经网络在放射学报告生成框架中增强视觉与眼动模态的交互。通过结合视觉 - 眼动 Token 与生成指令，显著提升了 LLM 评估模态相关性的能力。
2. 解决推理阶段眼动缺失问题：提出了一种辅助的扫描路径预测模块。在训练时利用真实眼动数据，在推理时利用预测的眼动数据，使得模型在实际临床应用中无需真实眼动输入即可保持高性能，并增强了模型的可解释性。
3. 全面验证：在多个数据集（REFLACX, IU-XRAY, MIMIC-CXR）上，结合自然语言生成指标（NLG）和临床疗效指标（CE）进行了全面评估，证明了该方法的有效性。

4. 实验结果 (Results)

实验在 REFLACX、IU-XRAY 和 MIMIC-CXR 三个数据集上进行，对比了包括 SOTA 模型（如 R2GenGPT, EGGCA-Net, MET）及多种基线模型。

• 自然语言生成指标 (NLG)：

  • 在 MIMIC-CXR 数据集上，Gaze2Report 在 BLEU-1 至 BLEU-4、ROUGE-L 和 METEOR 指标上均优于所有竞争对手。
  • 例如，BLEU-4 分数比第二好的方法提高了 0.03，METEOR 提高了 0.07。
  • 消融实验表明，引入 GNN 融合模块（Base-3 vs Base-2）和扫描路径预测（Gaze2Report vs Base-1）均带来了显著提升。

• 临床疗效指标 (CE)：

  • 使用 CheXbert 评估临床异常描述的准确性。Gaze2Report 在准确率 (Acc)、精确率 (Prec)、召回率 (Rec) 和 F1 分数上均优于 R2GenGPT。
  • 虽然在部分指标上略低于 EGGCA-Net（后者使用了专门的多标签分类损失），但 Gaze2Report 在 BERTScore (0.241) 和 RadGraph F1 (0.117) 上表现优异，证明了其生成的报告在语义相似性和临床术语精确性上的优势。

• 定性分析：

  • 生成的报告包含更多关键临床术语（如“双侧少量胸腔积液”、“主动脉弥漫性钙化”），而基线模型（Base-1）往往遗漏这些细节或描述不准确（如将“轻度肺水肿”误述为“轻度液体积聚”）。

• 推理阶段无眼动数据的鲁棒性：

  • 即使在没有真实眼动输入的情况下（仅使用预测扫描路径），Gaze2Report 的表现仍优于那些在推理阶段拥有真实眼动数据但采用简单注意力机制的基线模型。

5. 意义与影响 (Significance)

• ** bridging the gap**：Gaze2Report 成功弥合了 AI 生成报告与放射科医生实际诊断思维之间的差距，通过模拟医生的视觉注意力机制，使报告生成更符合临床逻辑。
• 临床实用性：通过引入扫描路径预测模块，解决了眼动数据在临床推理中不可得的痛点，使得该框架具备在真实医疗场景中部署的潜力。
• 技术范式创新：展示了将 GNN 用于多模态特征融合以及利用 LLM 进行提示微调（Prompt Tuning）在医学 NLP 任务中的巨大潜力，为未来的医学影像分析提供了新的思路。

综上所述，Gaze2Report 不仅提升了放射学报告生成的文本质量和临床准确性，还通过创新性的架构设计解决了数据获取的实际限制，具有重要的学术价值和临床应用前景。