Fine-Tuning SAM2 for Coronary Artery Segmentation in X-Ray Fluoroscopy

技术摘要：针对 X 射线荧光透视冠状动脉分割的 SAM2 微调

问题陈述
尽管像 SAM2 这样的基础模型提供了强大的通用分割能力，但将其直接应用于医学影像（特别是用于冠状动脉分割的 X 射线荧光透视）仍受到领域特定挑战的阻碍。这些挑战包括来自患者运动的噪声、基于投影的 X 射线特性，以及血管与背景之间较低的对比度。此外，现有的计算机视觉模型通常需要针对特定应用进行大规模的一对一训练，且缺乏大量公开的、具有帧级标注的介入心脏病学程序数据集。MedSAM2 在该领域的零样本（zero-shot）应用效果极差（Dice 分数仅为 0.033），表明存在显著的领域差异。

方法论
作者提出了一种针对 MedSAM2（SAM2 的医学适配版本）的微调策略，旨在利用静态血管造影数据集进行训练，并使用视频数据集进行定性评估，以应对上述挑战。

• 模型架构： 该方法利用了 MedSAM2，它采用了 Hiera-Tiny 主干网络、FPN 颈部和双向 Transformer 掩码解码器。对于视频处理，它利用了一个 6 帧 FIFO（先进先出）内存模块，在无需重新提示的情况下实现掩码传播。
• 数据集：
  • 训练集： ARCADE 数据集（包含 1,000 张训练图像，200 张验证图像），其包含冠状动脉的多边形标注。
  • 评估集： CoronaryDominance 数据集（10 个视频研究），用于定性视频追踪评估，因为该数据集缺乏逐帧的地面真值（ground truth）掩码。
• 微调策略：
  • 部分编码器解冻（Partial Encoder Unfreezing）： 作者并未训练整个网络，而是仅解冻了最后两个 Hiera 躯干块和 FPN 颈部（约占编码器参数的 10%），以及掩码解码器。这种做法保留了预训练的医学特征，同时适应了高层表示。
  • 数据增强： 应用几何变换（翻转、旋转）以保持掩码的完整性，避免使用可能导致边界失准的基于强度的增强手段。
  • 提示（Prompting）： 训练使用从带有抖动（jitter）的地面真值导出的单个质心点击；推理时则从提示帧中最亮的像素点自动计算质心。
• 损失函数： 采用了一种复合损失函数来处理血管特定的拓扑结构：
  • Dice 损失 ($L_{Dice}$) 和 加权二元交叉熵损失 ($L_{wBCE}$)，用于处理类别不平衡问题。
  • clDice 损失 ($L_{clDice}$): 一种保持拓扑结构的损失函数，作用于掩码的软骨架（soft skeleton）。它惩罚中心线连接性的断裂，解决了标准重叠指标可能会接受解剖学上错误、破碎的血管段的问题。clDice 的权重在前 8 个 epoch 中线性增加，以稳定训练过程。
• 视频推理： 模型选择具有最高像素方差（峰值对比度）的帧作为提示帧，并利用流式内存架构进行掩码的前向和后向传播。

关键结果

• 静态分割（ARCADE 验证）：
  • 零样本（Zero-Shot）： MedSAM2 的 Dice 分数仅为 0.033，证实了领域差异的存在。
  • 冻结编码器微调： 仅解冻解码器使得分提升至 0.727。
  • 全量微调（本文方法）： 通过部分解冻编码器、引入 clDice 损失并使用增强数据，实现了 Dice 分数 0.767 ± 0.082（IoU 为 0.629）。这一性能与专门为 X 射线冠状动脉造影（XCA）设计的模型相当。
• 视频推理（CoronaryDominance）：
  • 微调后的模型能够在无需重新提示的情况下，在各帧之间连贯地追踪主冠状动脉干。
  • 特异性： 在 10 个视频研究中的 9 个 中，微调后的模型成功避免了在肋骨、手术支架、搭桥血管和植入设备上的假阳性。相比之下，零样本模型一致地将这些高对比度的管状结构误标为血管。
  • 局限性： 当对比剂在注射周期之间消退时，两种模型都会失效，因为内存模块会丢失目标。需要在每个注射周期开始时进行重新提示。

意义与主张
本文声称，通过极少量的数据（1,000 张图像）且无需对整个主干进行大规模重训，MedSAM2 可以有效地适应 X 射线荧光透视。其主要意义在于微调模型的特异性：它学习了该模态下冠状血管的真实外观，而非仅仅检测通用的管状形状。这减少了临床上危险的假阳性情况（例如，将支架识别为血管），且无需显式的负监督。

作者指出，虽然静态分割结果是定量的，但由于可用公开数据集中缺乏帧级地面真值，视频评估仍属于定性分析。他们承认，当前的基于内存的架构在对比剂注射周期开始时会引入追踪延迟，未来的工作应探索在无标签视频上的自监督预训练，以及在资源受限的临床硬件上的部署。