技术摘要：人类与人工智能在肺结节分割中的协作 (Hi-Seg)

问题陈述

本研究旨在解决训练鲁棒性人工智能（AI）医学影像模型中的关键瓶颈：高质量分割掩码（mask）的稀缺以及专家级医学标注人员的有限可用性。虽然深度学习模型和像 Segment Anything Model (SAM) 这样的基础模型加速了分割进程，但全自动方法在实际临床场景中的泛化能力仍然不足。具体而言，全自动深度学习模型往往难以区分与健康组织纹理相似的病灶（例如磨玻璃结节），而基础模型（如 SAM）对提示词（prompt）的质量高度敏感。在临床实践中，实现高水平 SAM 性能所需的理想提示词（源自地面真值掩码）是无法获得的，这导致了显著的性能下降（例如，对于缺乏理想提示词的肺结节，Dice 系数会降至约 42%）。此外，盲目依赖 AI 可能会产生误导，因此需要专家进行审查，但这既耗时又低效。核心挑战在于：如何在支持鲁棒 AI 训练的同时，快速生成高质量的病灶分割掩码，并兼顾专家标注人员稀缺的问题。

方法论

作者提出了 Hi-Seg，这是一个基于 Segment Anything Model (SAM) 构建的、专为肺结节分割设计的“人机协同”（human-in-the-loop）分割框架。

框架设计

Hi-Seg 将人类语义推理与迭代式的试错学习相结合，利用 SAM 快速描绘边界的能力。其工作流程如下：

1. 初始化： 标注者（范围涵盖资深放射科医生到非医学专业人员）在轴状面、冠状面和矢状面查看胸部 CT 扫描图像。
2. 提示（Prompting）： 标注者提供一个初始提示（在结节内部进行左键单击）以生成候选掩码。
3. 迭代优化： 如果掩码不理想，标注者通过额外的提示进行优化：
   • 左键单击： 向掩码中添加区域（如果结节分割不足）。
   • 右键单击： 从掩码中移除区域（如果掩码溢出到背景中）。
4. 反馈循环： SAM 根据新的提示和先前的预测更新掩码。标注者观察反馈，学习哪些提示位置能产生高质量的掩码，并逐步优化其策略，从而以最少的交互实现准确的分割收敛。
5. 技术优化： 为确保低延迟交互，Hi-Seg 预计算并复用了由 SAM 的 Vision Transformer (ViT) 编码器生成的图像嵌入（embeddings），避免了迭代过程中的冗余计算。

实验设置

• 数据集： 研究使用了来自 12 个中心的 1,179 名患者数据。
  • 训练/内部验证： 公开数据集 LIDC-IDRI（1,010 名患者）。
  • 外部测试： 单中心队列（904 名患者）和多中心队列（来自 12 家机构的 275 名患者）。
• 地面真值（Ground Truth）： 掩码由经验丰富的放射科医生按照标准化工作流生成，包括共识投票和手动精修。
• 参与者： 招募了五名具有不同专业知识的标注者：一名资深放射科医生（12 年经验）、一名初级医学生和三名非医学专业人员（接受了 1.5 小时的放射学培训）。
• 对照组： 将 Hi-Seg 与以下对象进行了比较：
  • 五种最先进的深度学习模型（U-Net, U-Net++, Attention U-Net, TransU-Net, nnU-Net）。
  • 13 种基于 SAM 的变体模型（包括 SAM, HQ-SAM, MedSAM, MedSAM2），这些模型使用的是伪人类提示（即自动从地面真值掩码中生成，用以模拟人类交互）。
  • 无提示的 SAM（无提示自动分割）。
  • 同组参与者进行的手动描绘。

核心贡献

1. 人机协同框架： 引入了 Hi-Seg，它利用真实的交互式人类提示和迭代反馈，而非依赖于源自地面真值的静态伪人类提示。
2. 试错学习机制： 证明了标注者可以通过迭代交互快速学习有效的提示策略，从而使非专业人员也能达到专家级的表现。
3. 大规模外部验证： 首次针对多样化的临床数据集和不同背景的标注者，对协作式人类-SAM 分割进行了大规模外部验证。
4. 提示策略消融研究： 系统地解构了人类提示、迭代交互以及基于反馈的优化对分割性能的具体贡献。

结果

• 性能准确度： 在所有标注者组中，Hi-Seg 实现了约 85% 的平均 Dice 系数（单中心数据集为 84.47%，多中心数据集为 87.00%）。
  • 这比五种深度学习模型高出 10–22%。
  • 比使用伪人类提示的 13 种 SAM 变体高出 1–29%。
  • 表现最好的伪人类模型（MedSAM2 配合提示 #4）达到了约 83% 的 Dice 系数，但仍逊于 Hi-Seg。
• 专业知识的独立性： Hi-Seg 显著缩小了专家与非专家之间的性能差距。
  • 使用 Hi-Seg 的非医学专业人员达到了与初级医学生手动表现相当的准确度。
  • 使用 Hi-Seg 的初级医学生达到了与资深放射科医生手动表现相当的准确度。
  • 即使是资深放射科医生，在使用 Hi-Seg 时也比手动标注实现了统计学意义上的显著提升（+1.43% Dice）。
• 效率：
  • 对于初级医学生和非医学专业人员，Hi-Seg 将标注时间减少了约 30%。
  • 对于资深放射科医生，由于认知任务从直接描绘转向提示优化，且存在专家手动表现的“天花板效应”，其标注时间略有增加（+3.46%）。
• 亚组分析： Hi-Seg 在各种结节特征（大小、密度、毛刺征等）下均表现出稳健的性能。然而，磨玻璃结节仍是最具挑战性的亚组，在此类情况下，全自动模型和非医学专业人员的失败率较高，表明需要专家监督。
• 消融研究发现： 研究证实，性能提升不仅源于人类提示，更源于迭代、反馈驱动的工作流。无提示的 SAM 仅达到约 45% 的 Dice 系数，而单次人类提示达到约 65%。完整的 Hi-Seg 框架（迭代 + 反馈）达到了约 85%，凸显了持续纠错和知识积累的价值。

意义与主张

本文主张，人机协同分割代表了将基础模型整合进常规临床实践的一种变革性方法。通过使初级受训人员和经过短期培训的非医学人员能够有效地与 AI 协作，Hi-Seg 为以下路径提供了可能：

• 减轻临床医生负担： 通过加速标注并提高准确性，甚至能提升专家的效率。
• 实现可扩展的众包： 在结构化的人机协作工作流下，促进非专业人员进行大规模的医学影像标注。
• 增强安全性与可靠性： 通过将 AI 的速度与人类的语义推理及上下文理解相结合，特别是在全自动模型失效的复杂病例中。

作者总结道，虽然盲目依赖 AI 具有误导性且专家资源匮乏，但像 Hi-Seg 这样的协作框架可以促进基础模型的安全高效部署，有望改变临床工作流并提高医疗服务的可及性。研究也承认了局限性，包括侧重于 2D 切片、人类参与者数量相对较少以及学习交互的短期性质，并建议未来的工作应探索 3D 交互和长期学习效应。