Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

该研究通过在四个解剖区域对 11 种可提示基础模型进行非迭代 2D 和 3D 提示策略评估，揭示了模型性能差异显著、人类提示会导致性能下降且模型对人类输入变化高度敏感，表明在真实人机交互场景下选择最优模型仍具挑战性。

要点

这篇论文就像是在给一群“超级智能的医疗 AI 助手”做一场压力测试，看看它们在真正由人类医生（或学生）操作时，到底靠不靠谱。

我们可以把这项研究想象成一场"自动驾驶汽车的试驾大赛"。

1. 背景：完美的“理论课”vs. 混乱的“实战课”

过去，很多研究在测试这些 AI 模型（称为“基础模型”）时，就像是在模拟驾驶舱里考试。

• 以前的做法：研究人员给 AI 一个“完美提示”（比如用电脑自动生成的、严丝合缝的方框或点），告诉它：“看，这就是骨头，把它圈出来。”在这种“理想状态”下，AI 的成绩通常好得惊人，仿佛它是神。
• 现实的问题：但在医院里，医生或学生是人，不是机器。人画框会手抖，点位置会偏一点，甚至有时候会画得有点大或有点小。以前的研究忽略了这种“人为的误差”，导致我们以为 AI 很完美，结果一上临床就“翻车”。

这篇论文的核心就是：我们要把 AI 从“模拟舱”里拉出来，让 20 个医学学生拿着鼠标，像真正做手术规划一样，去给骨骼画框、打点，看看 AI 在真实的人类操作下表现如何。

2. 实验设计：一场“找茬”游戏

• 选手：研究团队挑选了 11 个当时最火的 AI 模型（比如著名的 SAM 系列及其医疗版）。
• 考题：让他们在 CT 扫描图上分割（圈出）四个部位的骨骼：手腕、肩膀、髋部（屁股）和小腿。有些骨头旁边还有金属植入物（比如人工关节），这就像在画图上还要把“金属零件”和“血肉”区分开，难度极大。
• 裁判：20 名医学学生。他们被要求像医生一样，在 CT 图上画出框（Bounding Box）或点（Center Point）来告诉 AI 要分割哪里。
• 对比：
  1. 理想模式：用电脑生成的“完美框”测试 AI。
  2. 人类模式：用学生画的“有点歪的框”测试 AI。

3. 主要发现：AI 的“玻璃心”

研究结果揭示了一些有趣但也让人警惕的现象：

• 发现一：AI 很“娇气”
  就像有些自动驾驶汽车在完美天气下开得飞快，但一遇到雨刮器稍微歪一点就报警。研究发现，当提示框稍微偏离一点点（哪怕只是人类手抖了一下）

  • 比喻：这就好比你教一个机器人走直线，你稍微把路标挪了 1 厘米，它可能就撞墙了。

• 发现二：简单的地方行，复杂的地方崩

  • 手腕（简单）：手腕骨头圆圆的、结构清晰，AI 表现很好，人类画得也比较准。
  • 髋部和小腿（复杂）：这里骨头形状不规则，还有金属植入物（会产生伪影）。人类在这里画框时，误差很大，导致 AI 直接“迷路”，分割结果一团糟。
  • 比喻：让 AI 在空旷的操场上跑步很容易，但让它穿过拥挤且形状怪异的菜市场，它就晕头转向了。

• 发现三：2D 和 3D 的“维度之争”

  • 2D 模型（像看单张幻灯片）：表现最好，最接近“完美提示”的效果。
  • 3D 模型（像看整部视频）：虽然理论上更高级，但在处理人类不精准的提示时，错误容易像滚雪球一样在切片之间传播，导致整个 3D 模型崩得更厉害。
  • 例外：有一个叫 nnInteractive 的模型，像是一个“老练的向导”，即使人类指路指得稍微有点偏，它也能自我修正，保持较好的结果。

• 发现四：之前的成绩“注水”了
  论文最扎心的结论是：以前那些用“完美提示”测出来的高分，可能严重高估了 AI 在真实医院里的能力。如果只盯着“理想数据”看，我们会误以为 AI 已经准备好了，但实际上它可能还经不起人类手抖的考验。

4. 总结与启示

这篇论文就像给医疗 AI 行业泼了一盆清醒的冷水，但也指明了方向：

1. 别只看“理论分”：评价 AI 好不好，不能只看它在完美数据上的表现，必须看它在人类真实操作下的稳定性。
2. AI 需要“抗干扰”训练：未来的 AI 开发，不能只追求在完美数据上刷榜，而要训练它们容忍人类的“不完美”，学会在人类指路稍微不准时，依然能猜对意图。
3. 人机协作是关键：在复杂的骨科手术规划中，AI 目前还不能完全替代人类，它更像是一个需要人类不断微调的“副驾驶”。

一句话总结：
这篇论文告诉我们，AI 在“考试”时是满分学霸，但在“实战”中可能会因为人类的一点小失误而手忙脚乱。要想让 AI 真正走进医院，我们不仅要提升 AI 的智商，更要提升它的“情商”（抗干扰能力），让它能包容人类的不完美。

技术摘要

1. 研究背景与问题 (Problem)

背景：
可提示的基础模型（Promptable Foundation Models, FMs），如 Segment Anything Model (SAM) 及其医疗变体，正在彻底改变医学图像分割领域。它们允许用户通过简单的交互（如点、框、 scribbles）来引导分割，旨在减少标注负担并提高临床可用性。

核心问题：
尽管现有研究众多，但大多数评估存在以下关键缺陷，导致难以选择最适合特定临床任务（如骨科植入物或骨骼分割）的模型：

1. 提示符的“理想化”偏差： 现有评估多使用基于参考掩膜（Reference Masks）算法生成的“完美”提示符（Ideal Prompts）。这忽略了真实世界中人类标注的固有变异性（如标注位置的不确定性、经验差异）。
2. 缺乏对人类输入敏感性的评估： 目前缺乏对模型在**人类驱动（Human-driven）**设置下，面对提示符微小变化时的鲁棒性（敏感性）的系统评估。
3. 评估标准不统一： 数据集、指标和对比模型各异，且缺乏针对特定临床任务（如复杂的骨骼结构或金属植入物）的深度验证。

研究目标：
填补上述空白，通过引入真实的人类标注数据，评估可提示基础模型在肌肉骨骼（MSK）CT 分割任务中的真实性能，特别是模型对提示符变异的敏感性。

---

2. 方法论 (Methodology)

本研究采用了一种两阶段的评估策略，结合了私有和公开数据集，并进行了专门的观察者研究。

2.1 数据集与实验设计

• 数据源： 结合了阿姆斯特丹大学医学中心（Amsterdam UMC）的私有骨科 CT 数据（手腕、下肢、肩部）和公开数据集 TotalSegmentator 的测试集（髋部）。
• 解剖区域： 涵盖四个区域：手腕（Wrist）、下肢（Lower Leg）、肩部（Shoulder）和髋部（Hip），共 49 个 CT 扫描，404 个轴向切片。
• 模型选择： 筛选了 11 种 可提示的基础模型（截至 2025 年 7 月），分为四类：
  • 2D 自然图像训练模型（SAM, SAM2.1）
  • 2D 医学图像训练模型（Med-SAM, SAM-Med2D, ScribblePrompt 等）
  • 3D 自然图像训练模型（SAM2.1 3D）
  • 3D 医学图像训练模型（SAM-Med3D, SegVol, nnInteractive, Med-SAM2 等）

2.2 观察者研究 (Observer Study)

• 参与者： 20 名阿姆斯特丹大学医学院的医学生。
• 任务： 在 CT 切片上对骨骼和植入物进行标注，提供中心点（Center Point）和边界框（Bounding Box）。
• 流程：
  • 参与者经过培训，遵循严格的标注指南。
  • 每个样本被标注两次（一次用于边界框，一次用于中心点，顺序随机），以评估组内一致性（Intra-rater）。
  • 不同参与者对同一对象进行标注，以评估组间一致性（Inter-rater）。
  • 引入重复切片以盲测一致性。

2.3 评估流程

1. 阶段一（帕累托最优筛选）： 使用算法生成的“完美”提示符（基于参考掩膜提取）对所有 11 个模型进行基准测试。根据分割性能（DSC, NSD, HD95）和参数量，筛选出**帕累托最优（Pareto-optimal）**模型。
2. 阶段二（人类提示评估）： 仅对筛选出的最优模型，使用观察者研究收集的真实人类提示符进行重新评估。
3. 敏感性分析：
   • 量化人类提示符的变异性（点的位置误差、框的 IoU 差异）。
   • 计算提示符变异性与分割结果一致性之间的斯皮尔曼等级相关系数（Spearman's rank correlation）。
   • 分析模型对组内和组间提示符波动的敏感性。

2.4 评价指标

• 分割性能： Dice 相似系数 (DSC), 归一化表面 Dice (NSD), 95% Hausdorff 距离 (HD95)。
• 提示符质量： 欧几里得距离（点）、IoU（框）、召回率。
• 敏感性： 提示符变异与分割性能下降之间的相关性。

---

3. 关键贡献 (Key Contributions)

1. 首次系统性评估人类提示符变异性对 FMs 的影响： 突破了以往仅使用“完美”提示符的局限，揭示了“理想”基准测试往往高估了模型在真实临床环境（人类驱动）中的性能。
2. 建立了混合数据评估框架： 巧妙结合了私有数据（确保任务独立性和公平性）和公开数据（确保可复现性），解决了医疗 AI 评估中的数据污染和公平性难题。
3. 提出了“模型敏感性”作为关键指标： 证明即使性能优秀的模型，也可能对人类输入的微小波动极其敏感。敏感性分析应成为基础模型评估的补充指标。
4. 开源基准与工具： 提供了完整的代码库，用于提示符提取、模型推理及观察者研究数据，促进了社区的可复现性。

---

4. 主要结果 (Results)

4.1 人类提示符的变异性

• 定位误差： 人类中心点相对于参考点的中位欧几里得距离为 1.50mm。
• 边界框一致性： 人类边界框与参考框的中位 IoU 为 90.56%。
• 一致性差异： 组内一致性（Intra-rater）显著高于组间一致性（Inter-rater）。复杂结构（如骨盆、胫骨、植入物）的标注变异性远高于简单结构（如腕骨）。

4.2 分割性能对比（完美提示 vs. 人类提示）

• 性能下降： 从“完美”提示切换到“人类”提示后，所有模型的性能均出现统计学显著下降。
  • 2D 模型： DSC 平均下降 2.07%，NSD 下降 0.87%。
  • 3D 模型： DSC 平均下降 1.06%，NSD 下降 0.47%。
• 结论： 基于参考掩膜提取的提示符所报告的性能可能高估了实际临床应用中人类操作所能达到的效果。

4.3 帕累托最优模型表现

• 2D 领域： SAM 和 SAM2.1（特别是 SAM2.1 Tiny 版本）表现最佳，优于大多数医疗专用模型。
• 3D 领域： nnInteractive 和 Med-SAM2 表现最佳。
  • 值得注意的是，在 3D 任务中，基于医学数据训练的模型（如 nnInteractive）在人类提示下表现优于基于自然图像训练的 SAM 变体。

4.4 模型敏感性分析

• 普遍敏感性： 所有模型均对提示符变异表现出不同程度的敏感性。
• 组内 vs. 组间：
  • 大多数模型在组内提示符波动下即表现出显著的相关性（即输入微变导致输出大变）。
  • 仅有 nnInteractive（组合提示） 和 SAM2.1 T（点提示） 在组内波动下表现出一定的鲁棒性（无显著相关性）。
  • 关键发现： 即使是上述两个鲁棒性较好的模型，在面对组间（不同标注者之间）的较大波动时，也失去了鲁棒性，表现出显著的敏感性。
  • nnInteractive 在组合提示下对组间波动的容忍度最高（直到第 6 个最低变异的标注者才出现显著敏感性），是综合表现最好的模型。

4.5 常见错误模式

• 解剖学歧义： 模型难以区分皮质骨和松质骨，或无法确定是分割整个骨骼还是特定层。
• 过分割（Over-segmentation）： 3D 模型容易将误差传播到相邻切片，导致跨越关节间隙的错误连接。
• 欠分割（Under-segmentation）： 在强度值模糊区域，模型过早停止预测。

---

5. 意义与结论 (Significance & Conclusion)

核心结论：

1. 提示符放置至关重要： 从“理想”提示到人类输入的过渡会导致性能显著下降，且这种下降在不同模型间差异巨大。
2. 现有基准的局限性： 仅依赖算法生成的完美提示符进行评估会误导模型选择，无法反映真实临床场景。
3. 敏感性是核心指标： 模型对提示符变异的敏感性应作为基础模型开发和评估的关键补充指标。一个高 DSC 但高敏感性的模型在实际应用中可能不可靠。
4. 模型选择建议：
   • 对于2D任务，SAM2.1 系列表现优异。
   • 对于3D任务，nnInteractive（特别是使用组合提示时）和 Med-SAM2 在人类驱动设置下表现更稳健。
   • 没有任何模型能完全免疫人类标注者之间的巨大差异，因此在实际部署中，可能需要结合迭代修正（Iterative Refinement）或负向提示（Negative Prompts）来纠正错误。

未来展望：
研究呼吁未来的评估应更多关注人类在环（Human-in-the-loop）的交互流程，并探索如何通过迭代修正机制来缓解模型对初始提示符的敏感性，从而真正 bridging 理论潜力与实际临床应用之间的差距。