Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study

本研究通过微调 InternVL2-4B 视觉语言模型，利用 2 万张冠状动脉造影关键帧实现了狭窄检测、解剖标注及报告生成，展示了该模型在辅助诊断、提升报告效率及支持资源匮乏地区医疗方面的潜力，同时也指出了当前性能尚未达到专家水平及单纯依赖机器学习指标评估临床 AI 系统的局限性。

要点

这篇论文讲述了一个关于人工智能（AI）如何学习阅读心脏血管造影图片并写医疗报告的故事。

想象一下，心脏血管造影（Coronary Angiogram）就像是用 X 光给心脏里的“高速公路”（冠状动脉）拍视频。医生需要看这些视频，找出哪里堵车了（血管狭窄），然后写一份详细的报告告诉病人该怎么做。但这工作非常累人，需要极高的专业技巧。

这篇论文的研究团队想：能不能让 AI 来帮忙看视频、找堵车点，甚至直接帮医生写报告呢？

他们尝试使用了一种叫**“视觉 - 语言模型”（VLM）的 AI，你可以把它想象成一个“既懂看图又懂写字的超级实习生”**。

以下是用通俗易懂的比喻对论文核心内容的解读：

1. 任务一：从视频里挑出“精华片段” (关键帧选择)

• 挑战：心脏造影视频很长，但大部分时间血管还没显影（像还没倒进墨水的透明管子），或者墨水已经流走了。只有中间一小段是真正能看清血管的。
• AI 的做法：团队先训练了一个小 AI（ViT 模型），让它像**“视频剪辑师”**一样，从几千帧画面中快速挑出最清晰、最有用的那一帧。
• 结果：这个“剪辑师”非常优秀，准确率高达 86% 以上。它知道什么时候该按暂停键，什么时候该跳过。

2. 任务二：找出哪里“堵车”了 (狭窄检测)

• 挑战：血管里哪里变细了（狭窄），变细了多少？
• AI 的做法：让那个“超级实习生”（VLM 模型）在挑好的图片上画框，指出哪里堵了。
• 结果：
  • 它找得挺准的，能发现大部分明显的堵塞（召回率 64%）。
  • 有趣对比：研究人员还拿它和专门做这个的“老手”（传统的 YOLOv8x 模型）比。虽然“老手”在像素级分割上很强，但这个“超级实习生”在找位置上也毫不逊色，而且它还能“说话”（生成文字），这是老手做不到的。

3. 任务三：给血管“贴标签” (解剖结构识别)

• 挑战：心脏血管分很多条（左主干、前降支、回旋支等），AI 得知道它看的是哪一条。
• AI 的做法：让 AI 识别图片里的大血管和小分支。
• 结果：
  • 大血管（像高速公路主干道）：AI 认得很准，得分很高。
  • 小分支（像乡间小路）：AI 就有点晕了，经常认错或找不到。这就像让一个刚学开车的人认主干道没问题，但让他认复杂的乡间小路就容易迷路。

4. 任务四：写一份完整的“体检报告” (报告生成)

• 挑战：这是最难的一步。AI 需要看完所有角度的视频，综合判断，然后像医生一样写出一段通顺的文字报告，告诉病人“左前降支有中度狭窄，建议……"。
• AI 的做法：把多张图片一起喂给 AI，让它写报告。
• 结果：这里翻车了。
  • AI 写的报告错误率很高。它经常“胡说八道”（幻觉），比如明明没有侧支循环，它却写有；或者明明有严重堵塞，它却写没事。
  • 原因分析：这就好比让一个实习生看了一堆散乱的病历和 X 光片，然后让他写总结，但没有告诉他哪张图对应哪句话。实习生只能靠猜，或者死记硬背训练数据里的套话，导致逻辑混乱。

5. 为什么会有这些问题？（讨论与反思）

作者很诚实地指出了目前的局限：

• 数据太杂：训练数据里，有病的血管图片太多，没病的太少，导致 AI 容易“疑神疑鬼”，把正常的也当成有病的。
• 标注不统一：不同医生画“堵塞范围”的框大小不一样，AI 学糊涂了。
• 缺乏“一对一”指导：在写报告任务中，AI 面对的是“一堆图 + 一段总报告”，它不知道哪句话是描述哪张图的。这就好比老师给一堆课文，只给一个总读后感，让学生去猜每句话对应哪段课文，太难了。

6. 未来展望：这个 AI 有什么用？

虽然现在的 AI 还写不出完美的报告，但它已经展示了巨大的潜力：

• 辅助医生：它可以像**“副驾驶”**一样，先帮医生圈出可疑的堵塞点，提醒医生重点看哪里，减少漏诊。
• 提高效率：在医疗资源匮乏的地区（比如发展中国家），没有那么多专家医生，这个 AI 可以作为**“初级助手”**，帮助普通医生快速筛查。
• 自动算分：未来它可以自动计算复杂的“_syntax 评分”（一种评估心脏手术难度的分数），帮医生省时间。
• 审计工具：保险公司或监管机构可以用它来检查医疗记录，看看有没有过度治疗。

总结

这篇论文就像是在说：“我们造了一辆很棒的自动驾驶原型车（VLM）。它在识别路标（找血管）和画路线（找堵塞）上表现不错，但在‘写行车日记’（写报告）上还像个新手，经常写错别字或逻辑不通。但这没关系，只要给它更清晰的指令和更多的练习，它未来一定能成为医生的得力助手，让看病更快、更准、更便宜。”

这项研究是**“从 0 到 1"**的突破，证明了用这种新一代 AI 来解读心脏血管是可行的，虽然离完全替代医生还很远，但方向是对的。

技术摘要

以下是基于该论文《Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study》的详细技术总结：

1. 研究背景与问题 (Problem)

• 临床痛点：冠状动脉疾病（CAD）是全球主要的死亡原因，冠状动脉造影（Coronary Angiography）是其诊断的金标准。然而，造影图像复杂多变，解读需要高度专业的训练，且生成详细的临床报告耗时费力。
• 现有 AI 局限：现有的深度学习模型（如 CathAI, DeepCoro）虽然在分类、定位和狭窄程度预测上取得了一定进展，但大多仅输出结构化数值或简单的分割结果，缺乏自然语言的可解释性。它们难以生成包含解剖异常、侧支循环描述等临床细微差别的完整叙事性报告。
• 研究缺口：缺乏能够同时处理多视角造影图像、进行狭窄检测、解剖标注并自动生成综合文本报告的视觉 - 语言模型（VLM）。

2. 方法论 (Methodology)

本研究采用分阶段微调策略，利用开源数据集和私有数据集训练模型：

2.1 数据集 (Datasets)

整合了四个数据集，涵盖 1987 名患者的 20,000 张关键帧：

• 公开数据集：CADICA（西班牙）、ADSD（俄罗斯）、ARCADE（哈萨克斯坦），提供狭窄和血管解剖的边界框标注。
• 私有数据集 (AIMx)：新加坡国家心脏中心收集（2021-2024），包含原始造影视频和对应的诊断文本报告，用于报告生成任务。

2.2 模型架构与训练流程

• 关键帧选择 (Keyframe Selection)：
  • 使用 Google ViT (vit-large-patch32-384) 进行微调，从视频流中筛选出具有诊断价值的关键帧（血管清晰、造影剂充盈）。
  • 目标：减少计算负载，去除无诊断信息的帧。
• 核心模型微调 (Core VLM Fine-tuning)：
  • 基座模型：InternVL2-4B（开源多模态大模型）。
  • 微调技术：采用 LoRA (Low-Rank Adaptor) 权重微调，在 2 张 NVIDIA RTX 4090 GPU 上运行，降低了计算复杂度。
  • 训练任务：
    1. 狭窄检测 (Stenosis Detection)：基于边界框的目标检测任务。
    2. 解剖标注 (Anatomy Labelling)：识别冠状动脉分段（基于 SYNTAX 定义）。
    3. 报告生成 (Report Generation)：输入多张关键帧，输出综合诊断文本报告。

2.3 评估指标

• 检测/分割：精确率 (Precision)、召回率 (Recall)、F1 分数、IoU（交并比）。针对狭窄检测，引入了非标准的 60% 重叠度判定以容忍边界框大小的差异。
• 报告生成：将模型输出与金标准报告对比，评估狭窄严重程度（无/轻度、中度、重度）的分类准确性，计算准确率、特异性、阴性预测值等。

3. 关键结果 (Key Results)

3.1 关键帧选择

• ViT 分类器表现稳健，准确率达到 0.86，召回率 0.93，F1 分数 0.91。
• 有效识别了非关键帧，为后续流程提供了高质量输入。

3.2 狭窄检测 (Stenosis Detection)

• 微调后的 InternVL2-4B 在测试集上取得了 0.56 精确率、0.64 召回率 和 0.60 F1 分数。
• 虽然与专用分割模型（如 YOLOv8x）的指标定义不同（边界框 vs 像素级），但证明了 VLM 在狭窄检测任务上具有与传统神经网络相当的性能。

3.3 解剖标注 (Anatomy Labelling)

• 加权平均 F1 分数为 0.46（精确率 0.50，召回率 0.43）。
• 表现差异：在主要血管段（如左主干、前降支近端）表现较好（部分得分>0.7），但在细小分支（如对角支、钝缘支）上表现较差（部分得分为 0），这主要归因于训练数据中这些细小血管的样本较少。

3.4 报告生成 (Report Generation)

• 表现不佳：准确率仅为 0.42，精确率 0.19，召回率 0.23。
• 主要问题：
  • 存在大量假阳性（0.48）和假阴性（0.77）。
  • 模型未能识别出测试集中左主干的严重狭窄。
  • 出现“幻觉”现象（Hallucination），即描述了训练数据中存在的解剖变异或侧支循环，但在实际图像中并不存在。
• 原因分析：训练样本量小（仅约 300 例），且缺乏针对单张图像与具体诊断语句的显式对齐标注（弱监督学习），导致模型难以从多帧图像中推理出具体的诊断逻辑。

4. 主要贡献 (Key Contributions)

1. 首创性探索：首次尝试利用 VLM（InternVL2-4B）对冠状动脉造影进行多任务处理，特别是从多视角图像生成综合文本报告。
2. 技术验证：证明了通过 LoRA 微调，VLM 可以在狭窄检测和血管解剖标注任务上达到与专用深度学习模型相当的性能。
3. 评估反思：深入讨论了 IoU 等传统指标在医学狭窄检测中的局限性（如扩散性狭窄的标注差异），并指出了当前 VLM 在复杂多模态推理（报告生成）中的瓶颈。
4. 应用前景：提出了该技术在资源受限地区辅助诊断、自动化 SYNTAX 评分计算、医疗审计及医学教育中的潜在应用价值。

5. 意义与局限性 (Significance & Limitations)

意义

• 工作流优化：有望大幅缩短造影报告生成时间，减轻心脏科医生负担。
• 可及性提升：为缺乏资深介入专家的医疗环境提供辅助诊断工具，提高诊断一致性。
• 自动化审计：可辅助监管机构审查医疗决策的适当性（如不必要的支架植入）。

局限性与未来方向

• 报告生成能力不足：目前的 VLM 尚无法达到专家级的报告生成水平，主要受限于数据标注粒度（缺乏图像 - 语句级对齐）和样本量。
• 数据偏差：训练集中病变图像远多于正常图像，可能导致假阳性率高；且缺乏对正常造影的准确评估。
• 未来改进：
  • 引入更细粒度的标注（将诊断语句与特定图像帧对齐）。
  • 利用 DICOM 元数据（如投照角度）辅助模型推理。
  • 增加正常造影图像和细小血管分支的样本。
  • 探索更大参数量的模型（如 InternVL2-26B）进行像素级分割。

总结：该研究是一个重要的概念验证（Proof of Concept），展示了 VLM 在冠状动脉造影分析中的巨大潜力，特别是在结构化任务（检测、标注）上。尽管在生成式任务（报告撰写）上仍有显著差距，但研究明确了改进路径，为未来实现全自动、可解释的 AI 辅助介入心脏病学奠定了基础。