💻 computer science

ENSAM: an efficient foundation model for interactive segmentation of 3D medical images

ENSAM 是一个用于交互式 3D 医学图像分割的轻量级基础模型，它通过将基于 SegResNet 的架构与归一化注意力（normalized attention）和 Muon 优化器等先进训练技术相结合，在有限的数据和计算预算下实现了最先进的性能，并在 CVPR 2025 交互式 3D 生物医学图像分割基础模型挑战赛中超越了多个预训练基准模型。

原作者： Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机在 3D 医学扫描（如 CT 或 MRI）中寻找特定的器官。通常，这需要一台庞大、昂贵的超级计算机和数千小时的训练时间。

这篇论文的作者 Elias、Agnar 和 Arian 构建了一个名为 ENSAM 的新工具。把 ENSAM 想象成一个“智能、轻量级的助手”，它只需通过观察几个示例并根据人类提供的少量提示，就能学会分割（勾勒出轮廓）任何 3D 医学图像中的部分。

以下是他们构建 ENSAM 的故事，用简单的语言进行了解释：

1. 目标：“单人军队”

该团队想要创建一个能够胜任庞大、沉重的基础模型工作，但能在单台标准图形处理器（32 GB GPU）上运行的模型。他们想要证明，不需要超级计算机也能获得出色的结果。

名称： 他们将它命名为 ENSAM（等变、归一化、分割一切模型/Equivariant, Normalized, Segment Anything Model）。这个名字是一个微妙的冷笑话：在瑞典语和日耳曼语中，“ensam”意为“孤独”或“独自”。这反映了他们的目标——在没有其他预训练巨头帮助的情况下，独自训练出一个强大的模型。

2. 配方：他们是如何构建它的

他们不仅仅是复制现有的模型；他们调制了一个包含三种特殊成分的新配方：

大脑（图像编码器）： 他们没有使用最新、最复杂的“Transformer”大脑（这就像一个沉重且耗油的发动机），而是使用了 SegResNet。把这想象成一个可靠、高效的“劳模引擎”，已被证明能很好地处理 3D 医学数据。
GPS（相对位置编码）： 当你告诉计算机“点这里”时，它需要知道“这里”在哪里。旧模型使用“绝对定位”（就像给出一个街道地址：“大街 123 号”）。如果房子移动了，地址就错了。ENSAM 使用的是 相对定位（就像说“在公园北边两个街区处”）。这就像是给了计算机一张灵活的地图，无论器官在身体的什么位置，地图都适用。这让模型的学习速度大大加快。
教练（Muon 优化器）： 训练 AI 就像教学生。通常，你会使用一个标准的老师（一种被称为 Adam 的优化器）。作者将其更换为一个更快的、名为 Muon 的新教练。想象一下，这位教练不仅是告诉学生“再努力一点”，而是会立即重新组织整个教学计划，以找到最佳路径。这帮助模型以创纪录的速度完成了学习。

3. 挑战：“核心集（Coreset）”测试

论文描述了一场比赛（CVPR 2025 挑战赛），参赛团队必须构建这些模型。

转折点： 有一个特殊的赛道叫做 “Coreset 赛道”。参赛团队只能使用 10% 的可用训练数据。这就像是要求你在只用一本口袋词典而不是一座图书馆的情况下，去学习一门完整的语言。
约束条件： 他们还必须在仅用一台 GPU 的情况下，在 6 小时 内完成训练。

4. 结果：以弱胜强

尽管使用了极小比例的数据和单台计算机，ENSAM 的表现依然非常出色：

得分： 它在 Coreset 赛道中排名 第 5 名（共 10 支队伍）。
重大胜利： 它是 唯一一个没有使用任何预训练权重 的顶尖团队。（许多其他团队都是从已经在大规模数据集上训练过的模型开始的；而 ENSAM 是从零开始，像一张白纸一样）。
对比： 尽管 ENSAM 使用的计算能力少得多，但它击败了另外两个著名的模型（VISTA3D 和 SAM-Med3D），并非常接近第三个模型（SegVol）。

5. 实际应用中它是如何工作的（“交互式”部分）

想象一位医生正在观察一份肝脏的 3D 扫描图像。

医生在肝脏周围画一个框。
模型猜出轮廓。
医生在肝脏上点击“是”，并在附近的肾脏上点击“否”来纠正模型。
模型会立即更新轮廓。
ENSAM 被设计为能够非常快速地处理这种往复对话，通过每一次点击来不断精炼其答案。

6. 它的局限性（不足之处）

作者坦诚地说明了他们的模型目前还不完美的地方：

微小细节： 在非常细小的、高密度的图像（如显微成像）中，模型有时会丢失微小细节或被噪声干扰。
“模拟”差距： 该模型是通过模拟计算机点击来进行测试的。作者承认，真实的医生点击方式可能会有所不同，他们尚未在真实人类身上进行过测试。
一次一个： 目前，该模型一次只能处理一个物体（比如一个肾脏）。它无法自然地理解：如果你点击了“肾脏”，那么你肯定指的不是“肝脏”。

总结

简而言之，ENSAM 是一个概念验证，证明了你可以无需庞大的预算或超级计算机，构建出一个高效的、交互式的 3D 医学分割工具。通过使用“相对地图”系统和用于训练的“快速通道教练”，他们创建了一个学习迅速、在单台计算机上运行良好，并且能与更大、更昂贵的系统相抗衡的模型。

技术摘要：ENSAM —— 一种高效的交互式 3D 医学图像分割基础模型

问题陈述

准确的 3D 医学图像分割对于诊断和治疗规划等临床任务至关重要。虽然深度学习模型已经实现了这些任务的自动化，但像 SAM（Segment Anything Model）和 SAM2 这样为自然图像设计的最新基础模型，在没有进行显著适配的情况下，难以泛化到医学模态。现有的医学专用模型往往面临权衡：有些缺乏迭代优化支持（例如 MedSAM），有些则需要庞大的计算资源和预训练权重，许多模型也无法在多种不同模态（CT、MRI、PET、超声、显微镜）之间实现泛化。此外，此前缺乏一个用于在标准化隐藏测试集上比较这些模型的统一基准。

本研究解决的具体挑战是 CV CVPR 2025 交互式 3D 生物医学图像分割基础模型挑战赛。目标是开发一个通用的、可提示的模型，能够在模拟的交互设置中，根据用户提示（边界框或点击）分割任何解剖或病理结构。一个关键约束是“核心集赛道”（coreset track）的限制：仅限使用 10% 的总训练数据，并要求从头开始训练而不利用外部预训练权重，同时在严格的计算预算（单张 32 GB GPU）下运行。

方法论：ENSAM 架构

作者提出了 ENSAM（Equivariant, Normalized, Segment Anything Model，等变归一化分割一切模型），这是一个基于 U-Net 风格架构的轻量级、可提示模型。它由三个主要部分组成：图像编码器、提示编码器和掩码解码器。

1. 图像编码器

不同于在特定分割基准测试中表现往往不如 CNN 的视觉 Transformer，ENSAM 使用了基于 SegResNet 的编码器。该架构包含由下采样层（StridedConv3D）交错排列的残差块级联。它将单通道输入转换为多通道特征图，保持了体积一致性。

2. 提示编码器与交互机制

提示编码器处理 3D 边界框、前景点击和背景点击。关键创新包括：

Lie 旋转位置编码 (LieRE)： 为了保持等变性并提高效率，模型使用相对位置编码取代了绝对位置编码。这是通过对键（key）和查询（query）向量应用位置相关的旋转矩阵来实现的。旋转矩阵 $R(p)$ 源自 Lie 代数 $so(n) $，确保注意力分数仅取决于相对位置$ p_j - p_i$。
归一化注意力 (Normalized Attention)： 受近期归一化 Transformer 研究的启发，ENSAM 将标准的 LayerNorm 和权重衰减替换为在每次优化步骤后应用于所有权重矩阵和激活值的 $\ell_2$ 归一化。这使输出被约束在单位超球面上，并利用改进的残差更新策略：
$x \leftarrow \text{Norm}(\text{Norm}(x) + \lambda(\text{Norm}(\text{nBlock}(x)) - \text{Norm}(x)))$
其中 $\lambda$ 是一个可学习的特征学习率（eigen learning rate）。其目的是加速收敛并提高数值稳定性。
交互流程： 用户提示和之前的分割逻辑图（通过步长卷积降采样）通过四个步骤与图像嵌入进行交互：(1) 提示的归一化自注意力，(2) 提示到图像的注意力，(3) MLP 处理，以及 (4) 图像到提示的注意力。此循环重复两次。

3. 掩码解码器

解码器镜像了编码器的结构，但在每个上采样层使用单个残差块。它连接跳跃连接（skip connections），将其通过 ResBlock3D 进行处理，并应用三线性上采样以输出分割逻辑图。

4. 训练策略

优化器： 作者采用了 Muon 优化器，它通过对 2D 权重矩阵使用高效的奇异值分解（SVD）近似进行更新，而非标准的梯度下降。对于 1D 参数，则使用 AdamW。
数据处理： 训练涉及模拟交互，其中初始边界框是通过在真实标签基础上带有随机偏移生成的，随后是五个迭代点击，这些点击放置在最大的误差区域（针对欠分割为前景，针对过分割为背景）。
损失函数： 使用广义 Dice 损失（Generalized Dice Loss）和交叉熵（Cross-Entropy）的复合损失（权重比例为 1:2）。
核心集选择： 对于核心集赛道，训练集被限制在约 4,471 个样本（总量的 10%），通过筛选确保了不同模态间的均匀表示，排除了存在归一化或标注问题的数据集。

核心贡献

高效的基础模型： ENSAM 在通用 3D 医学分割方面实现了具有竞争力的性能，且仅需在单张 32 GB GPU 上从头训练 6 小时，使用的体积数据不足 5,000 个。
架构创新： 将 Lie 旋转位置编码 (LieRE) 和 归一化注意力 (Normalized Attention) 集成到 SegResNet 主干网络中，显著加速了收敛速度，并相比绝对位置编码和标准注意力提高了分割质量。
优化器的应用： 本文展示了 Muon 优化器 在 3D 医学分割任务中的有效性，证明其在训练速度和最终损失方面优于 AdamW。
基准测试： 该工作在一个隐藏的多模态测试集上进行了严格评估，在受限的数据和计算条件下，提供了与最先进基准模型（VISTA3D, SAM-Med3D, SegVol）的公平比较。

结果

定量性能

在隐藏测试集（核心集赛道）上，ENSAM 取得了：

DSC AUC: 2.404
NSD AUC: 2.266
最终 DSC: 0.627
最终 NSD: 0.597

对比情况：

ENSAM 在所有四个指标上均优于 VISTA3D 和 SAM-Med3D。
它在 DSC AUC 和 NSD AUC 上与 SegVol 持平，但在 最终 DSC 上超越了 SegVol（0.627 对比 0.622），尽管在最终 NSD 上略逊一筹。
在整体挑战赛排名中，ENSAM 位列 10 支队伍中的第 5 名，并且是表现最好的未使用预训练权重的模型。

消融实验

实验证实，将绝对位置编码切换为相对位置编码（LieRE）提高了训练效率。此外，将 LieRE 与 Muon 优化器结合使用，可以获得最快的收敛速度和最佳的最终损失，优于基准配置（绝对 PE + Adam）。

定性分析

成功案例： ENSAM 展示了对大型结构（如 CT 中的肝脏、脾脏、肾脏；MRI 中的椎体）的精确描绘，并能有效处理 2D+t 超声序列。
失败案例： 模型在显微镜图像（细血管）中的精细细节处理上表现挣扎，有时在 PET 图像中出现过分割现象，这可能是由于预处理过程中的强度裁剪导致的。此外，由于运动伪影，它在超声图像中表现出锯齿状边缘。

重要性与主张

作者主张，ENSAM 证明了可以在不依赖大规模计算资源或外部预训练权重的情况下，高效地从头训练高性能的医学影像基础模型。论文强调，结合相对位置编码和 Muon 优化器是实现这种高效性的关键驱动力。

该工作强调，虽然该模型在某些指标上（特别是当基准模型使用更多数据和计算资源时）尚未优于所有基准模型，但它实现了性能与资源效率之间的强有力平衡。作者谦虚地指出，目前的架构可能并非最优，未来的工作可以探索更深的网络、通过物理坐标处理各向异性间距，以及集成更多样化的提示类型（如涂鸦、套索工具）。

论文总结道，ENSAM 代表了实现医学影像基础模型民主化的重要一步，证明了在严格的约束条件下实现有效的交互式分割是完全可行的。