🤖 machine learning

Augmented Equivariant Mesh Networks for Anatomical Segmentation

本文介绍了 EAMS，这是一种轻量级的等变网格网络，通过在现有非等变方法失效的几何扰动下保持稳定性，从而在各种任务和监督级别中实现鲁棒的解剖分割。

原作者： Daniel Saragih

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Saragih

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教计算机识别人体特定部位，比如肝脏、牙齿或血管，但计算机并非查看平面照片或块状的 3D 模型，而是查看一个网格。将网格想象成渔网或测地线穹顶：它由成千上万个在点（顶点）和线（边）处相连的微小三角形组成。医生通常就是这样查看人体 3D 扫描的。

问题在于，这些网格往往杂乱无章。一位患者的肝脏网格可能包含 3,000 个三角形，而另一位患者的则可能有 20,000 个。更糟糕的是，患者可能是仰卧、侧卧，或是以奇怪的倾斜角度躺着。

问题所在：“困惑的学生”

目前大多数分析这些 3D 网格的计算机程序，就像那些只以一种特定方式备考的学生。如果你向他们展示一个倾斜了 40 度的肝脏，他们会完全困惑。他们可能会认为肝脏是倒置的，或者把一颗牙齿误认为是一块牙龈。在论文中，作者表明，当他们仅仅稍微倾斜扫描图像时，这些现有程序的工作效率就下降了约25%。这就像一个在考试中得 A 的学生，一旦你把试卷转个方向，他就不及格了。

解决方案：EAMS（“变形专家”）

作者创建了一个名为EAMS（等变解剖网格分割器）的新系统。

将 EAMS 想象成一个理解物体形状而非仅仅理解其位置的学生。

等变（Equivariant） 是一个复杂的数学术语，意思是：“如果我旋转物体，我对它的理解也会随之旋转，但我仍然确切地知道它是什么。”
如果你向 EAMS 展示一个侧躺的肝脏，它不会惊慌。它会说：“啊，这是肝脏，只是转了个向。韧带相对于肝脏自身的形状仍然在左侧，即使肝脏在房间里是侧躺的。”

工作原理：三大秘密要素

论文解释说，EAMS 利用三个巧妙的技巧来保持智能：

1. “身体地图”（解剖感知特征）
EAMS 不只是查看三角形，而是为每个身体部位构建自定义地图。

对于牙齿： 它计算下颌中间的“脊柱”（使用一种称为 PCA 的数学技巧），并为每颗牙齿赋予一个坐标，例如“距离后部 3 英寸，向上 2 英寸”。这样，即使下颌旋转，牙齿也知道它仍然是“臼齿”，因为它相对于下颌脊柱的位置没有改变。
对于肝脏： 它做了类似的事情，基于肝脏自身的曲线而非房间的墙壁来创建地图。

2. “全局记忆”（增强消息传递）
通常，查看网格的计算机只与其直接邻居交谈（就像一个人只与紧挨着的人交谈）。这对于大型器官来说太短视了。
EAMS 添加了两种“超级联系人”来帮助网格进行长距离交流：

软区域聚合器： 想象将网格分成 32 个模糊的社区。计算机总结每个社区发生的情况，并将该总结分享给所有人。这就像一位城镇传令官为不同区域总结新闻。
虚拟节点： 想象在网格中心添加几个漂浮的“幽灵”点。网格的每一部分都可以与这些幽灵交谈，而幽灵也可以与每一部分回话。这赋予了整个网格关于整体形状外观的“全局记忆”，而不仅仅是局部社区的记忆。

3. “平滑度”规则（正则化）
为了防止计算机变得不稳定，作者添加了规则，规定：“如果两条边紧挨在一起，它们很可能应该具有相同的标签。”这使肝脏或牙齿的边界保持平滑和真实，而不是嘈杂和锯齿状。

结果：“坚不可摧”的模型

作者在三个截然不同的医疗任务上测试了 EAMS：

脑动脉瘤： 发现血管中的凸起。
牙齿： 在 3D 口腔扫描中分离单个牙齿和牙龈。
肝脏： 在肝脏表面发现特定的韧带和脊。

重大胜利：

在正常扫描上： EAMS 的表现与现有最佳模型一样好。
在倾斜/旋转扫描上： 当旧模型崩溃并表现糟糕（准确率下降）时，EAMS 几乎保持不变。无论肝脏是倒置的，还是口腔是倾斜的，EAMS 都知道它看到了什么。

局限性

论文指出了一个权衡。由于 EAMS 拒绝将患者的“倾斜”作为线索（因为它希望在任何方向上都能工作），它在处理完全笔直、标准的扫描时，有时比旧模型表现稍差一点。这就像一位侦探拒绝根据嫌疑人的衣着（这可能是一个线索）进行猜测，而是完全依赖其面部特征。这使得他们在标准列队指认中识别嫌疑人的速度稍慢，但在嫌疑人伪装或换装时，他们的识别能力要强得多。

总结

简而言之，作者构建了一个轻量级、智能的计算机程序，可以查看人体器官的 3D 模型并识别其组成部分，无论患者如何定位或扫描的精细程度如何。这是通过学习形状的内在“骨架”而不是仅仅记忆从特定角度看到的外观来实现的。

技术摘要：用于解剖分割的增强等变网格网络

问题陈述

解剖网格分割在临床应用中日益关键，例如肝脏表面标记、口腔内牙齿分割以及颅内动脉瘤描绘。这些任务需要直接在非规则三角网格几何（许多临床重建流程的原生输出）上运行的模型。然而，现有方法面临两个主要挑战：

缺乏等变性：当前的网格和点云分割方法对刚体变换不具备等变性。因此，它们在测试时扰动（例如患者体位变化）下会出现严重的性能下降。论文引用了一种具体的失效模式：在 40°倾斜下，口腔内分割的交并比（IoU）下降了 25–26 个点。
分辨率和拓扑变异性：医学数据集在网格分辨率（例如，肝脏表面为 3,000 至 20,000 条边）和噪声方面表现出巨大差异。现有的点云方法忽略了拓扑结构，而当前的基于网格的方法往往缺乏不变性，使其容易受到与患者体位相关的虚假相关性影响。

方法论

作者提出了EAMS（等变解剖网格分割器），这是一个建立在**等变网格神经网络（EMNN）**之上的框架。该架构旨在直接在网格图上运行，同时保持对适当对称群的等变性（颅内动脉瘤为 $E(3)$ ，肝脏和牙科网格为$SE(3)$以保留手性）。

核心架构

该模型利用 EMNN 骨干网络，使用以下方式更新顶点特征和坐标：

不变标量：边长的平方和面面积作为标量特征更新的输入。
等变向量：边位移和面法线仅用于坐标更新，以保持几何等变性。
消息传递：网络聚合来自相邻顶点（边消息）和相邻面（感知表面的面消息）的消息。

解剖感知特征化

为了在不破坏等变性的情况下处理具有强空间先验的任务，作者引入了特定于数据集的全局坐标先验：

内在描述符：热核签名（HKS）和逐点面积被用作 $E(3)$ 不变形状描述符。
PCA 导出的帧：对于牙科和肝脏数据集，通过对网格形状本身进行主成分分析（PCA）构建了一个标准解剖帧。顶点位置相对于该帧以圆柱坐标表示。由于该帧在$SE(3)$变换下与网格一致旋转，生成的标量特征保持近似不变。

增强消息传递

为了在不加深网络的情况下将感受野扩展到局部一环邻域之外，提出了两种增强策略：

软区域聚合器（SRA）：通过可微的软分配将网格划分为 $K$ 个可学习的区域原型。区域令牌通过加权池化形成，由轻量级 Transformer 处理，然后散射回节点。这为语义总结创建了一个结构化瓶颈。
虚拟节点（VN）：一组 $V$ 个虚拟节点充当全局记忆库。真实节点与这些虚拟节点交换消息，后者聚合来自整个图的信息。这提供了非结构化的全局上下文。

正则化与损失

训练目标将标准预测损失与特定正则化器相结合：

边界感知损失：用于预测的边界差异并集（bDoU）损失，以及用于潜在嵌入的对比边界损失（CBL）。
增强正则化：对于 SRA，多样性和等分损失确保平衡的区域分配。对于虚拟节点，基于核的能量目标防止节点坍塌并鼓励靠近网格表面。
肝脏特定连续性：局部连续性损失鼓励在相邻边上的平滑预测，以解决肝脏标志物识别所需的细微几何线索。

主要贡献

鲁棒的多任务基准：作者在四个临床截然不同的任务（颅内动脉瘤、口腔内扫描和肝脏表面分割）上评估了 EAMS，涵盖了边缘、顶点和面级别的监督。该框架轻量级（< 200 万参数），与特定任务的基线相比，在高扰动条件下表现出卓越的鲁棒性。
解剖感知特征化：将 PCA 导出的解剖帧集成到等变架构中，使模型能够在保持近似不变性的同时利用全局空间先验，持续提高了所有任务的性能。
增强消息传递：软区域聚合器和虚拟节点的提出与评估表明，使用可学习的全局令牌扩展感受野显著提高了各种分割范式的性能。

实验结果

该模型在 IntrA 数据集（动脉瘤）、3DTeethSeg 和 3D-IOSSeg（口腔内）以及肝脏表面数据集上进行了评估。

颅内动脉瘤：EAMS 变体在未扰动输入上实现了最先进性能（例如，VN+EAMS 的 Dice 为 98.90%），并在 40°旋转和反射下保持了这些分数，而 DGCNN 和 PTv3 等基线则显著下降（例如，DGCNN 在 40°旋转下 Dice 降至 94.34%）。
口腔内分割：在 3D-IOSSeg 和 Teeth3DS 基准测试中，尽管 VN+EAMS 的参数数量几乎减少了 10 倍（190 万 vs. 1980 万），但其性能接近最强基线（Fast-TGCN）。关键在于，虽然 Fast-TGCN 在旋转下性能下降（在 40°时降至约 52% IoU），但 VN+EAMS 保持稳定（约 83% IoU）。
肝脏分割：EAMS 家族表现出一种权衡：在未扰动网格上，它落后于非等变基线（基线可以利用标准扫描对齐），但在 40°旋转下几乎保持不变。相比之下，基线遭受了严重的性能下降（例如，MeshGraphCNN 的韧带 Dice 在旋转下从 47% 降至 4.66%）。

意义与主张

论文声称，轻量级等变框架可以在无需特定任务架构的情况下，跨多种监督类型提供鲁棒的解剖网格分割。其主要意义在于证明在未经扰动的数据上，体位鲁棒性不必以牺牲基线精度为代价。

作者指出，虽然 EAMS 实现了近乎完美的旋转鲁棒性，但在肝脏分割等任务中，它在标准体位精度上付出了适度的代价，因为非等变模型隐式地利用了一致的扫描对齐作为强方向先验。论文得出结论，在不牺牲不变性的情况下弥合这一差距，可能需要更丰富的内在描述符或学习到的体位感知聚合，且不能破坏等变性。这项工作被视为减少手动标注负担并改善临床工作流一致性的步骤，在这些工作流中，扫描仪方向和患者体位各不相同。