💻 computer science

UltraSAM3: A Concept-Driven Foundation Model for Universal Ultrasound Image Segmentation

UltraSAM3 是一个概念驱动的基础模型，它利用基于文本的目标规范和指令引导的智能体，在多种器官和病变中实现了鲁棒且通用的超声图像分割，其性能超越了现有的特定任务型和基于视觉提示的方法。

原作者： Bo Xu, Quanhao Zhu, Rui Lin, Boling Zhu, Chenyuan Wang, Hongfei Lin, Feng Xia, Chenhua Ji

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Xu, Quanhao Zhu, Rui Lin, Boling Zhu, Chenyuan Wang, Hongfei Lin, Feng Xia, Chenhua Ji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个巨大的、杂乱的沙坑里寻找一个特定的玩具。如果你只是说“找红色的车”，一个乐于助人的机器人可能会扫描整个沙坑并指出来。但如果沙子在旋转，光线昏暗，而且那辆红色的车看起来有点像一个红色的水桶呢？这正是医生在超声成像中面临的问题。超声波就像是一种神奇的、实时的 X 光，它使用声波而不是辐射。它便宜、安全且便携，使其成为检查从婴儿心跳到肌肉劳损等各种情况的首选工具。然而，它生成的图像是出了名的棘手。图像通常有很多颗粒感（就像旧电视上的静电噪声）、边缘模糊，并且根据持探头的人不同，看起来也会大不相同。

多年来，旨在“识别”这些图像的计算机程序就像是专门的机器人：一个机器人只知道如何寻找婴儿头部，另一个只知道如何寻找肝脏，而第三个只寻找甲状腺结节。如果医生想要切换任务，他们必须更换机器人。最近，科学家们构建了“基础模型”——这些是经过数百万张图像训练的、能够理解通用概念的超级智能 AI 大脑。但即使是这些巨头，在面对超声波时也会感到吃力，因为图像中的“噪声”会让它们感到困惑。它们可能理解“肾脏”这个词，但由于它们主要是在清晰的 CT 扫描或 MRI 上进行训练，因此无法在颗粒感十足的超声图像中找到肾脏。一个大问题是：我们能否构建一个单一的、聪明的机器人，它既能理解医学概念，又能通过听取简单的描述，在充满噪声的超声图像中找到任何器官或病变？

于是，由研究团队开发的名为 UltraSAM3 的新发明诞生了，它充当了超声图像的通用翻译官。把它想象成一个超级侦探，它不仅仅是看一张图片，它还会倾听一段简短、具体的线索，比如“寻找左心室”或“标出甲状腺结节”，然后立即在即使是最混乱、颗粒感最强的超声扫描图中画出一个完美的轮廓。

旧机器人的问题

在 UltraSAM3 出现之前，这类工作的最佳工具要么是“特定任务型”，要么是“基于提示型”。

特定任务模型 就像一把只能打开一扇门的钥匙。如果训练一个模型去寻找乳腺肿块，它就无法突然寻找婴儿头部。医生必须为每个身体部位使用不同的模型，这既缓慢又笨拙。
基于提示的模型（如著名的 SAM 系列）是一个进步。它们允许用户在屏幕上画一个框或一个点来表示“看这里”。但在真实的诊所里，医生并不总是有时间画一个完美的框。他们只想说，“请向我展示颈动脉。”如果医生必须先在模糊的图像上手动点击，那么这个系统就没那么有用了。

UltraSAM3 的解决方案

开发 UltraSAM3 的研究人员决定教一个强大的 AI 模型（称为 SAM3）同时说“超声波语言”和“医学概念语言”。他们没有仅仅向它展示图片和方框，而是喂给了它一个包含 37 个不同超声数据集 的庞大库，涵盖了 13 个不同的身体部位（如心脏、肝脏、胎儿和神经）。

这就是其中的魔术技巧：他们使用 三元组（triplets） 来教导模型。想象一张闪卡，上面有三样东西：

超声图像（颗粒感的图片）。
掩码（Mask）（物体的完美轮廓）。
概念（一个简单的文本标签，如“胎头”或“肾脏”）。

通过观察数百万个这样的三元组，UltraSAM3 学会了将杂乱、多噪的视觉模式与医学词汇的清晰含义联系起来。它学会了即使“甲状腺”在每一张扫描图中看起来都不同，但“甲状腺”这个词总是指向噪声中的特定形状。这使得模型可以跳过“画框”这一步。医生只需输入“分割甲状腺”，AI 就会准确执行。

“指令引导代理”（Instruction-Guided Agent）

研究人员意识到，有时医生可能会输入长而复杂的句子，例如：“你能看看这张图片并找到乳房里的可疑肿块吗？”虽然 UltraSAM3 很聪明，但长句子有时会令它困惑。为了解决这个问题，他们构建了一个名为 指令引导代理（Instruction-Guided Agent） 的小助手。

把这个代理想象成一个翻译员或秘书。当医生输入复杂的请求时，代理会快速阅读它，找出最重要的部分（例如“乳腺病变”），并将其重写为一个简短、有力的命令给 UltraSAM3。这就像代理在说：“好的，我知道你想找乳腺肿块。我会告诉机器人去寻找‘乳腺病变’。”这使得整个过程更加流畅和准确，尤其是当医生的指令冗长或模糊时。

他们的发现

该团队在各种各样的超声图像上测试了 UltraSAM3，其中包括一些它从未见过的图像。结果令人印象深刻：

优于竞争对手： 在 13 个不同的身体部位上，UltraSAM3 始终优于其他顶尖模型。例如，在甲状腺图像上，它比排名第二的模型在准确度（以 Dice 分数衡量）上大幅提升了 0.8297，而后者几乎接近于零。
处理噪声： 即使在对比度低或颗粒感重的困难图像上，它也表现良好，这证明了专门针对超声“噪声”进行训练的做法是正确的。
代理的作用： 当他们使用指令引导代理将复杂句子翻译成简单概念时，准确度进一步提升，在所有器官上的平均得分提高了 0.161。这表明，将复杂的请求分解为简单的概念确实有助于 AI 集中注意力。

为什么这很重要

论文指出，UltraSAM3 的意义在于它标志着一个重要的转变：我们不再需要为每个身体部位准备一个不同的机器人。相反，它提供了一个通用工具，可以通过听取文本来处理多种不同的任务。它表明，通过教 AI 理解超声图像特有的“语言”（噪声、阴影、颗粒感），我们可以让这些工具在实际医院中变得更加有用。

研究人员谨慎地指出，虽然结果很强，但这是一种需要进行临床实测的新工具。他们并不声称它是完美的，也不认为它会取代医生，而是强调它提供了一种灵活且交互式的方式，帮助医生更快、更准确地看到他们需要看到的东西。通过将复杂的医学问题转化为简单的、可执行的命令，UltraSAM3 旨在让超声成像对每个人来说都变得更加触手可及且功能强大。

技术摘要：UltraSAM3

问题陈述
超声成像由于其便携性、成本效益和实时能力，已成为临床实践的基石。然而，与 CT 或 MRI 等模态相比，超声图像的分割仍然是一个重大挑战。超声图像具有斑点噪声、低对比度、声影、边界模糊以及强烈的操作依赖性等特征。现有的分割方法存在两个主要局限性：

任务特定模型： 传统方法（如 U-Net、nnU-Net、基于 Transformer 的变体）针对固定的标签空间和特定的成像分布进行了优化。它们需要为不同的器官或病变（例如，区分胎儿头部与甲状腺结节）使用单独的模型，这限制了在多样化临床场景中的可扩展性和灵活性。
视觉提示的局限性： 最近的基座模型（如 SAM 和 SAM2）允许进行可提示分割，但过度依赖视觉提示（点、框、掩码）。在临床实践中，要求用户通过框选或点击来手动定位目标，意味着系统预设了目标已被识别，这降低了系统的自主性，并且无法支持如“分割胎儿头部”之类的自然语言请求。

虽然概念驱动的模型（如 SAM3、MedSAM3）已经出现以支持基于文本的分割，但它们通常是为多模态或通用生物医学成像设计的。它们往往难以将语义概念与超声特有的噪声、低对比度和易产生伪影的视觉模式对齐。

方法论
作者提出了 UltraSAM3，这是一个专门为通用超声图像分割而适配的概念驱动基座模型。该框架由两个主要部分组成：

UltraSAM3 模型架构：
- 基础： 该模型构建于 SAM3 架构之上，SAM3 将分割从视觉提示推进到了基于概念的提示。
- 训练策略： 与冻结编码器的方法不同，UltraSAM3 经历了全参数微调。这包括更新图像编码器、文本编码器、检测器、追踪器和分割模块。
- 数据构建： 模型在包含 37 个公开超声数据集、涵盖 13 个解剖类别（肺、肌肉、腹部、卵巢、心脏、前列腺、甲状腺、肝脏、胎儿、神经、乳腺、颈动脉和肾脏）的大规模语料库上进行训练。
- 三元组学习： 每个训练样本被构建为一个图像–掩码–概念三元组 $(I, M, q)$ 。文本概念 $q$ 源自器官、病变或解剖标签。这种构建方式迫使模型学习超声特有的视觉模式与标准化医学概念之间的关联，而不依赖于诸如真实边界框之类的特权空间线索。
指令引导智能体（Instruction-Guided Agent）：
- 为了解决复杂自然语言指令导致性能下降的问题，作者引入了一个作为前端解析器的指令引导智能体。
- 功能： 给定一个复杂的用户查询 $u$ 、一张超声图像 $I$ 和一个器官领域 $o$ ，该智能体（使用 Gemini 3.1 Pro 实现）会识别目标器官，从候选池中选择最相关的概念，并将指令重写为简洁的、与 SAM3 兼容的概念提示 $q^*$ 。
- 流水线： 智能体将任务分解为高层语义理解和底层掩码预测，随后将精炼后的提示传递给 UltraSAM3 进行分割。

核心贡献

首个超声专用概念驱动基座模型： UltraSAM3 被呈现为首个专门为超声进行适配并实现基于文本的目标指定的 SAM3 类模型。
指令引导智能体： 开发了一种将复杂临床查询解析为鲁棒概念提示的机制，增强了基座模型在现实交互设置中的可用性。
全面评估： 在 37 个数据集和 13 个解剖类别上的广泛实验证明了其最先进的性能和强大的泛化能力。

实验结果
论文将 UltraSAM3 与具有代表性的概念驱动和文本驱动基准模型（UniBiomed、BiomedParse、SAM3、Medical SAM3）以及视觉提示增强设置进行了对比评估。

在代表性数据集上的表现： 在 13 个解剖类别中，UltraSAM3 实现了平均 0.6342 的 IoU 和 0.7144 的 Dice。相比最强的基准模型，其 IoU 提升了 +0.3088，Dice 提升了 +0.3132。在极具挑战性的类别（如甲状腺、肌肉、前列腺和心脏结构）中观察到了显著增益。
泛化能力： 在四个未参与训练的外部数据集（BrEast、CCAUI、105US_tumor、KFGNet）上，UltraSAM3 始终优于所有基准模型，展示了对未知超声领域的强大迁移能力。
视觉提示的鲁棒性： 当提供视觉提示（文本 + 图像）时，UltraSAM3 仍然保持了优于其他模型的性能，表明其超声专用适配即使在有额外视觉引导的情况下也能带来收益。
智能体的有效性： 指令引导智能体提高了分割的鲁棒性，相比直接将复杂指令输入模型，平均 Dice 增益为 +0.161。该智能体在乳腺、肝脏、甲状腺、肺部和神经图像方面表现尤为出色。
定性分析： 视觉对比显示，与基准模型相比，UltraSAM3 生成的掩码在空间上与真实值更一致，能更好地捕捉解剖范围，并能更有效地处理微小结构和模糊边界。

意义与主张
作者声称，UltraSAM3 证明了超声特定概念适配对于构建可泛化且具有交互性的分割基座模型是有效的。通过将超声视觉模式与跨越不同器官和采集条件的临床意义概念相对齐，该模型克服了任务特定模型的局限性以及通用基座模型对视觉提示的依赖。这项工作表明，为了处理超声独特的声学伪影和低信噪比，专门的领域适配策略是必要的，从而实现更灵活、更自主的临床辅助。代码已公开，以促进该领域的进一步研究。