💻 computer science

OpenWell: Energy-Based Interactive Discovery for Open-World Medical Segmentation

OpenWell 是一个基于能量的框架，它将解剖类别建模为概率能量阱，从而在无需基于梯度的重新训练的情况下，实现用于开放世界医学分割的鲁棒分布外检测以及实时、单样本的交互式自适应。

原作者： Luisa Vargas, Zdravko Marinov, Eleonora Poeta, Maria A. Zuluaga

发布于 2026-10-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Luisa Vargas, Zdravko Marinov, Eleonora Poeta, Maria A. Zuluaga

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在医疗影像这一高风险领域，计算机在读取扫描图像方面已变得异常熟练。它们可以勾勒出肝脏的轮廓，计数心脏的腔室，或者绘制大脑中复杂的血管网络，其精度往往能与人类专家相媲美。这些系统通过学习数以千计的范例来工作，记忆健康肾脏或特定肿瘤的形态。然而，这种优势也是一种局限。因为这些模型是基于固定的已知结构列表进行训练的，它们在一个封闭的假设下运行：它们只能识别被教导过识别的内容。当扫描图像中出现罕见的异常、不寻常的解剖变异或训练数据中未包含的病理区域时，计算机往往会失效。它可能会自信地将一种奇特的生长物错误标记为已知器官，或者更糟的是，完全忽略它，从而在诊断中留下危险的空白。

这个问题在现实世界中尤为突出，因为患者的解剖结构差异巨大，且医疗状况难以预测。医生需要的工具不仅要能识别熟悉的结构，还要能识别出“不同之处”。挑战在于如何教会机器在说出“这是肝脏”时，也能以同样的信心说出：“我不知道这是什么。”此外，如果机器确实发现了一些未知物，它应该能够从医生的快速输入中学习，并立即理解如何在未来的扫描中分割出这种新的结构，而无需从头开始进行完全的重新训练。这就是开放世界医疗分割（open-world medical segmentation）的前沿领域：构建能够发现未知并能即时适应的系统。

一个研究小组引入了一种名为 OpenWell 的新方法来应对这些挑战。他们没有强迫计算机去死记硬背僵化的固定形状，而是设计了一个将解剖结构视为高维空间中灵活的、概率性区域的系统。想象一下，计算机对解剖学的理解不是一份静态模板的清单，而是一个能量井（energy wells）构成的景观。在这个景观中，像心脏或肺部这样熟悉的器官位于深而窄的谷底，在那里计算机感到最为笃定。这些谷底并非单一的点，其形状经过设计，以考虑到不同个体之间肝脏形态的自然变化。当来自扫描图像的一个新体素（voxel，即微小的 3D 像素）进入这个空间时，系统会测量将其放入其中一个已知谷底所需的能量。如果该体素舒适地落在某个谷底中，它就被识别为一个已知器官。如果它落在高能区域，远离任何已知谷底，系统就会将其标记为一个潜在的新奇物（novelty）。

研究人员在多种复杂的医学数据集上测试了这个想法，包括腹部、胰腺和全身磁共振成像扫描。他们发现，该方法在发现未知结构方面明显优于以往的模型。旧系统往往难以区分罕见肿瘤与正常组织，或是在新解剖变异与背景噪声之间做出辨别，而 OpenWell 则成功识别了这些异常。它通过计算一个反映组织与已知器官学习模式契合程度的分数来实现这一点。如果契合度较差，系统就会发出警报。至关重要的是，研究人员还内置了一个安全机制，以确保系统不会被空隙或空气所迷惑，因为这些东西在计算机看来也可能显得很奇怪。他们添加了一个过滤器，用于检查那个看起来奇怪的区域是否确实是生物组织，然后再进行标记。

然而，最重大的突破在于系统如何向医生学习。在传统模型中，如果计算机遇到一种从未见过的肿瘤类型，它无法通过简单的学习来掌握，除非进行漫长且昂贵的重新训练过程，而这可能会导致它忘记已经掌握的知识。OpenWell 改变了这种动态。当系统将某个区域标记为未知时，医生只需点击那个位置。随后，计算机会立即分析该特定区域的特征，并为它创建一个新的能量井。这一过程在几分之一秒内即可完成，无需任何复杂的数学重训或对计算机核心大脑的更新。新的结构会立即被添加到系统的词汇表中。在测试中，这种“即时入册”（instant enrollment）使得系统能够高精度地分割出整个扫描图像中的这些新发现的结构。此外，一旦从一名患者身上学习了某种新结构，系统就可以将该知识应用于其他患者，在不同的扫描中识别出相同的结构，而无需再次点击。

研究人员在四个主要的医学影像基准测试中验证了他们的发现，并将他们的系统与包括旨在进行通用图像识别的大型基础模型在内的现有最佳模型进行了对比。OpenWell 在识别已知器官和检测未知目标方面均持续优于这些竞争对手。在包含数千份扫描图像的数据集中，该系统在发现未见异常（如罕见肿瘤或微小腺体）方面的准确度高于测试过的任何其他方法。它还表现出了鲁棒性，无论医生点击结构的中心还是边缘，系统都能保持高性能。这项研究表明，通过将解剖学建模为灵活的能量景观而非僵化的模板，并允许交互式学习，医疗 AI 可以更接近临床实践所需的适应性。

尽管结果令人鼓舞，但研究人员也承认该系统尚未达到完美。单次点击可能无法始终捕捉到分散或高度不规则的病理情况的全貌。此外，系统的性能取决于一个控制背景“噪声”允许宽度的特定设置，尽管他们发现系统在广泛的此类设置下仍能保持稳定。目前的实验主要集中在腹部解剖结构上，团队指出，需要进一步的研究来观察这种方法在人体其他部位或不同成像技术中的适用性。尽管如此，OpenWell 代表了一个意义深远的进步，它为能够与临床医生持续学习、发现未知并适应每位患者独特现实情况的医疗 AI 提供了一份蓝图。

技术摘要：OpenWell：面向开放世界医学分割的基于能量的交互式发现

1. 问题陈述

体积医学分割目前过度依赖于闭集假设，即语义类别在训练期间是固定且完全已知的。这种范式在现实临床场景中表现不佳，因为这些场景中的图像包含训练分布中不存在的未见解剖变异、罕见病理或伪影。当面对**分布外（OOD）**数据时，标准的分割网络往往会失效或产生不安全的预测。

现有的处理新结构的方案通常涉及使用新标注的数据对网络进行重训练或微调，这是一个计算成本高昂、耗时且容易导致已学习类别发生灾难性遗忘的过程。此外，许多现有的 OOD 检测方法是在为闭集任务学习到的表示之上进行事后评分机制，这会导致语义重叠，即未见类别的嵌入落入了已知类别所占据的区域。目前迫切需要一种既能识别先前未见的解剖结构，又能继续分割已知结构，并且无需基于梯度的重训练即可适应这些新结构的系统。

2. 方法论：OpenWell

OpenWell 是一个基于能量的框架，它架起了开放世界发现与交互式自适应之间的桥梁。它通过将解剖表示建模为单位超球面上的概率能量阱（而非欧几里得空间中的确定性原型），重新定义了解剖表示学习。

2.1 超球面特征表示

OpenWell 采用混合架构（Swin-UNETR 主干结合 U-Net 解码器），将体素嵌入投影到单位超球面（ $S^{F-1}$ ）上。这消除了特征范数的自由度，通过方向（余弦相似度）来编码体素身份，从而对多中心医学影像中常见的全局对比度和强度扰动具有不变性。

双头设计： 该框架使用专门的二元前景头（ $g_\phi$ ），用于独立于 vMF 嵌入空间训练，以实现解剖结构与空气的分离（利用强度阈值）。这防止了背景语义污染用于类别判别的能量景观。

2.2 概率能量阱 (vMF 分布)

不同于确定性的均值向量，每个解剖类别 $c$ 被建模为一个 von Mises-Fisher (vMF) 分布：
$p(z | \mu_c, \kappa_c) = C_F(\kappa_c) \exp(\kappa_c \mu_c^\top z)$

$\mu_c$ (均值方向)： 代表该类别的语义中心。
$\kappa_c$ (集中度)： 编码反向方差（类内变异性）。高 $\kappa$ 表示形态一致的器官（深而窄的阱）；低 $\kappa$ 表示异质性结构（浅而宽的阱）。
动态记忆库： 通过指数移动平均（EMA）更新充分统计量 $(\mu_c, \kappa_c)$ 来维护记忆库。这使得系统能够自适应地从数据中学习类紧凑性，而无需端到端的原型优化。
背景约束： 对背景类别施加硬上限 $\kappa_0 \le \tau_{bg}$ ，以防止“语义坍缩”，确保背景阱保持浅而宽，从而确保真正的解剖学新颖性不会被错误地吸收进背景中。

2.3 学习与训练

该框架采用两阶段训练课程：

分割预热： 模型使用仅由 Dice-Cross Entropy (Dice-CE) 损失进行收敛，以建立稳定的分割方案。
联合几何微调： 引入带有余弦退火权重的 vMF-对比损失。该损失最小化已知类别的能量，同时显式建模类内变异性，从而塑造超球面几何形状，使已知流形与潜在的新颖性分离。

2.4 通过门控自由能进行开集检测

为了区分未知器官与一般的背景噪声，OpenWell 引入了一种门控自由能评分机制：

原始自由能 ( $F(z)$ )： 衡量体素与已知器官流形的相容性。
自适应阈值： 根据已知类别体素的自由能第 95 百分位数设置动态阈值 $\lambda(t)$ 。
门控： 最终的新颖性得分 $S(z_v)$ 是前景概率 $p_{fg,v}$ 与整流自由能的乘积：
$S(z_v) = p_{fg,v} \cdot \text{ReLU}(F(z_v) - \lambda(t))$
该门控机制抑制了被高度分类为背景的区域中的高能噪声，从而隔离出真正的解剖学新颖性。

2.5 交互式单样本注册

在检测到新颖区域时，临床医生提供单次用户点击。OpenWell 将自适应视为一个景观修改问题：

即时注册： 系统聚合来自点击区域的局部充分统计量（通过高斯引导图和前景概率进行加权），以计算新的 $(\mu_{new}, \kappa_{new})$ 。
无需重训练： 这个新的元组会被立即添加到记忆库中，“挖掘”出一个新的能量阱。模型随后可以在当前及未来的扫描中全局分割这一新结构，而无需任何基于梯度的重训练或主干参数更新。

3. 核心贡献

概率能量框架： OpenWell 使用 vMF 分布将解剖类别建模为超球面上的概率能量阱，捕捉了语义身份和类内变异性。
基于能量的表示学习： 引入了 vMF-对比训练目标，显式建模类内变异性，以支持基于自由能的新颖性检测。
热力学新颖性检测： 提出了一种统一的门控自由能评分机制，取代了启发式的距离度量阈值法，提供了一种具有概率基础的相容性度量，有效地过滤了背景噪声。
交互式单样本自适应： 开发了一种即时注册机制，通过将单次用户交互转化为向记忆库注入新的能量阱，实现对未见结构的全局分割，消除了重训练的计算成本和风险。

4. 实验结果

OpenWell 在涵盖 CT 和 MRI 模态的四个 3D 医学影像基准数据集（AMOS, BTCV, MSD-Pancreas, TotalSegmentator-MRI）上进行了评估。

闭集分割： OpenWell 在已知结构上实现了极具竞争力的 Dice 分数（例如 AMOS 为 91.85，BTCV 为 89.45），优于之前的确定性原型方法 (MedOpenSeg) 1.3–1.7 个百分点。这表明几何约束起到了有效的正则化作用。
开集检测： OpenWell 在检测未见结构方面显著优于闭集基线、开集基线以及基础模型 (MedSAM, SAM-Med2D)。
- 在 AMOS 上，它达到了 80.40 AUROC，超过 MedOpenSeg 1.2 个百分点，超过 MedSAM 超过 10 个百分点。
- 在 BTCV 上，它达到了 71.20 AUROC，比 MedOpenSeg 提升了 3.07。
- 在 MSD-Pancreas 上，肿瘤检测达到了 77.50 AUROC。
交互式注册： 在一次模拟点击后，OpenWell 在无需梯度更新的情况下，对未见结构的 Dice 分数范围在 44.8 到 57.6 之间。
跨扫描迁移： 注册的能量阱在应用于新的目标体积且无需进一步交互时，保留了源体积 91.5% 至 94.6% 的 Dice 性能。
消融研究：
- 去除超球面投影和 vMF 损失会导致 AUROC 出现灾难性下降（从 71.20 降至 50.25）。
- 去除背景浓度限制 ( $\kappa_0 \le \tau_{bg}$ ) 会使 AUROC 降至 55.30，证实了防止语义坍缩的必要性。
- Gated Free Energy 机制明显优于原始 Free Energy 和仅基于余弦距离的基线。

5. 意义与主张

论文声称 OpenWell 从根本上将医学分割从确定性原型映射转变为热力学能量景观。通过在训练期间显式塑造嵌入空间并利用包含概率分布的记忆库，该系统可以：

高保真检测 OOD 结构，区分真实的解剖新颖性与背景噪声。
通过单次用户交互实现即时自适应，绕过了与重训练相关的计算成本和灾难性遗忘风险。
弥合开放集识别与持续学习之间的鸿沟，为能够与临床医生协同持续学习的分割系统提供蓝图。

作者指出了一些局限性，包括使用单次点击处理复杂、分散病理的可能性，背景上限的超参数性质（尽管在测试范围内表现稳健），以及目前主要集中在腹部解剖结构。然而，这项工作为开放世界医学图像分割建立了一个新的范式，该范式既有统计学依据，又具备实用交互性。