💻 computer science

SAMamba3D: adapting Segment Anything for generalizable 3D segmentation of multiphase pore-scale images

本文介绍了 SAMamba3D，这是一个参数高效的框架，它通过基于 Mamba 的体素上下文建模来适配冻结的 Segment Anything 模型，从而在无需大量重新训练的情况下，实现对不同地质和扫描条件下的多相孔隙尺度岩石图像具有泛化能力且高性能的三维分割。

原作者： Rui Zhang, Xianzhi Song, Linqi Zhu, Branko Bijeljic, Gensheng Li, Martin J. Blunt

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rui Zhang, Xianzhi Song, Linqi Zhu, Branko Bijeljic, Gensheng Li, Martin J. Blunt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个由岩石构成的巨大且极其精细的三维拼图。在这块岩石内部，存在着充满不同流体（如油、水或气体）的微小隧道（孔隙）。科学家利用特殊的 X 射线相机拍摄这些岩石的图像，以了解流体在地下如何运移，这对于二氧化碳封存或石油勘探等任务至关重要。

问题在于，这些 X 射线图像仅是灰度图。若要利用它们进行科学研究，计算机必须对图像进行“颜色编码”：将岩石标为绿色，水标为蓝色，油标为红色。这一过程被称为分割。

旧方法：“定制裁缝”的困境

迄今为止，生成这些彩色图谱就像为每一件服装聘请一位定制裁缝。如果你更换了岩石类型、流体类型，甚至拍摄图像的相机，旧的计算机程序就会陷入混乱。它需要针对每一种新情况从头开始完全重新训练。这种方法既缓慢又昂贵，而且常常在流体与岩石接触的微小且棘手的区域出现错误。

新解决方案：SAMamba3D

本文作者开发了一种名为SAMamba3D的新工具。不妨将其视为这些岩石图像的“通用翻译器”。

以下是其工作原理，借助一个简单的类比：

专家之眼（SAM）：该系统始于一个预训练的“大脑”，称为SAM（Segment Anything Model，分割一切模型）。想象 SAM 是一位世界级的艺术家，它已见过数百万张二维绘图，并确切知道如何围绕物体画出完美的线条。然而，SAM 仅擅长观察扁平的二维图像。
三维语境（Mamba）：岩石图像是三维的，流体以复杂的方式相互缠绕。为了帮助 SAM 理解三维形状，研究人员引入了第二个“大脑”，称为Mamba。将 Mamba 想象为一位结构工程师，它理解建筑物（或在此例中为岩石孔隙）如何在三维空间中保持结构完整。
协同合作：SAMamba3D 并非让艺术家（SAM）和工程师（Mamba）各自为战，而是让它们持续对话。
- SAM 说：“我在此处看到了清晰的边缘！”
- Mamba 说：“我看到这个边缘连接到那边的一个隧道，因此它必然是水层的一部分。”
- 两者共同决定，即使在最微小、最混乱的区域，水与油的界限究竟在哪里。

为何意义重大

本文声称，这种新的组合在以下三个主要方面具有变革性：

无需重新训练：通常，若向计算机展示一种新型岩石，你必须重新教导它。SAMamba3D 则像一位智能助手，它已习得了岩石和流体形状的原理。你可以向它展示一种全新的岩石类型、一种新流体（例如用氢气代替石油），或新的相机设置，它无需新的课程即可直接工作。
快速且轻量：由于它使用了一位“冻结”的（预训练的）艺术家，并仅添加了一个小型高效的助手（Mamba），因此它比旧有的笨重方法更快，且所需的计算能力更少。这就像从一辆耗油巨大的巨型卡车升级为一辆能完成同样任务的高性能 sleek 电动汽车。
符合物理规律：最重要的主张是，其结果不仅仅是“漂亮的图片”。计算机对流体进行颜色编码的方式符合现实世界的物理规律。例如，在亲水岩石中，水会自然地附着在岩石颗粒上。SAMamba3D 能正确识别这些薄而附着的液层，而旧方法往往会遗漏它们或将其割裂。这意味着科学家可以信任他们计算出的数据（例如实际被困住的石油量），而无需手动修正计算机的错误。

核心结论

本文证明，通过将强大的预训练二维图像专家与智能的三维语境构建者相结合，他们创造了一个系统，能够观察各种复杂的地下岩石图像，并准确地将岩石与流体分离开来。该系统无需针对每一次新实验重新训练，从而节省了时间，并为理解地下流体运移提供了更可靠的数据。

技术摘要：SAMamba3D

问题陈述

可靠的多相孔隙尺度 X 射线显微计算机断层扫描（micro-CT）图像分割对于量化多孔介质中的流体饱和度、连通性和界面几何形态至关重要。然而，当前的 3D 分割方法通常针对特定数据集，每当岩石类型、流体配置、扫描硬件或采集条件发生变化时，都需要重新训练或进行大量微调。虽然像 Segment Anything Model (SAM) 这样的基础模型提供了强大的 2D 边界先验，但由于图像的单调性、低对比度、重建伪影以及对体积连续性的关键需求，它们无法直接应用于 3D 孔隙尺度数据。现有方法在跨不同领域应用时，往往无法保持连通的孔隙结构、薄润湿层和界面拓扑。

方法论

数据集与预处理

本研究利用了一个经过策划的多源数据集，包含砂岩、碳酸盐岩和玻璃珠堆积样品，具有不同的流体系统（油 - 盐水、超临界 CO2-盐水、H2-盐水）、润湿状态和扫描分辨率。为了在不造成信息泄露的情况下解决领域偏移问题，作者采用了一个包含以下步骤的预处理流程：

去噪：使用非局部均值（NLM）滤波抑制噪声，同时保持边界完整。
基于百分位的强度对齐：将源体积对齐到仅从训练数据导出的固定参考范围。
全局标准化：使用训练集计算的全局均值和标准差对体积进行标准化。

SAMamba3D 架构

SAMamba3D 是一个参数高效的框架，旨在通过将 SAM 编码器与基于 Mamba 的分支耦合以进行全局结构建模，从而将其适配到 3D 体数据中。该架构由五个模块组成：

3D 适配的 SAM 编码器：使用细粒度的 $4 \times 4 \times 4$ 补丁嵌入（以捕捉薄润湿层）、用于参数高效微调的低秩自适应（LoRA）以及各向异性感知的位置编码，将 2D SAM 骨干网络扩展至 3D。
分层 Mamba 分支：一个状态空间模型分支，提取多尺度体积上下文（ $s_0$ 到 $s_3$ ），并生成全局描述符和空间重要性图。
自适应跨尺度融合：实现 SAM 分支与 Mamba 分支之间的双向交互。早期层采用单向注入（Mamba 到 SAM），而深层允许双向交换。门控机制选择性地对高重要性区域（界面）进行全注意力处理，而对低信息区域使用轻量级路径。
Mamba 控制器：将全局 Mamba 特征转换为调制参数（FiLM），以调节解码器。
FiLM 调制的多尺度解码器：逐步融合来自 SAM 分支、Mamba 跳跃连接和全局调节信号的特征，以生成最终分割结果。

损失函数与训练

为了解决类别不平衡和相边界附近的不确定性，作者提出了一种边界感知复合损失，包括：

加权 Dice 损失：处理类别不平衡。
Tversky 损失：对遗漏的小结构施加比虚假体素更重的惩罚。
置信度加权焦点损失：将优化集中在困难体素上，同时根据与最近手动标注边界的距离降低不确定边界标签的权重。

训练遵循两阶段渐进式解冻策略：

阶段 A（预热）：仅训练 3D 特定组件（Mamba 分支、适配器、解码器）；SAM 骨干网络保持冻结。
阶段 B（适配）：解冻 SAM 层（LayerNorm、LoRA、适配器），以允许其逐渐适应体积域。

主要贡献

参数高效适配：提出了一种方法，利用 LoRA 和轻量级 3D 模块将冻结的 SAM 编码器适配到 3D 多相孔隙尺度 micro-CT 分割，避免了完全重新训练。
体积上下文融合：开发了一种混合架构，通过双向跨尺度交互，将局部边界感知表示（SAM）与更广泛的结构性推理（Mamba）相结合。
泛化性与物理保真度：不仅评估了分割精度（Dice/IoU），还评估了该方法在未见数据集上对下游物理描述符（孔隙度、饱和度、欧拉数、接触角、曲率）的保持能力。

结果

精度与效率：SAMamba3D 在未见测试数据集（Bentheimer 砂岩和 Estaillades 碳酸盐岩）上实现了 0.94 的平均 Dice 分数，优于包括 U-Net、nnU-Net、UNETR、SwinUNETR 和 U-Mamba 在内的基线模型。值得注意的是，与 nnU-Net 相比，其计算成本降低了近 40 倍（16 GFLOPs 对比 622 GFLOPs），同时精度提高了 15%。
物理描述符保持：在水润湿的 Bentheimer 砂岩上，该模型纠正了基线分割中的拓扑错误，产生的盐水欧拉数为 -1384（表明连通网络），而基线为 +1931（表明破碎）。这与水润湿系统的预期物理特性一致。
跨域泛化：无需重新训练或微调，该模型成功分割了多种未见数据集，包括：
- 不同岩石类型：从均质砂岩到具有微孔隙的异质碳酸盐岩。
- 不同润湿性：水润湿、混合润湿和油润湿条件，正确捕捉了流体形态（例如，水润湿时盐水位于角落，油润湿时油位于角落）。
- 不同流体：成功泛化到 scCO2-盐水和 H2-盐水系统，这些系统与训练用的油 - 盐水数据相比具有不同的灰度统计特征和低对比度。
界面细化：该模型表现出卓越的解析薄润湿层和复杂界面几何形态的能力，产生的曲率和接触角分布比基线方法更符合混合润湿的物理预期。

意义与主张

该论文主张，多相孔隙尺度 micro-CT 分割应被视为一种可重复使用的基础模型适配问题，而非特定数据集的训练任务。作者断言，SAMamba3D 提供了一条通往可扩展且物理可靠的分割的可行途径，该途径：

减少了对重新训练的依赖：消除了当岩石类型、流体或扫描条件变化时进行特定案例重新训练的需求。
保持了物理意义：生成了保持物理意义描述符（连通性、界面形态）的分割结果，这对于孔隙网络提取和流动模拟至关重要。
提供了计算效率：与完全重新训练的 3D 基线相比，以显著更低的推理成本实现了最先进的精度。

作者承认了局限性，指出在代表性不足的岩性（如有机质丰富的页岩）中性能可能会下降，并且当前框架未编码明确的物理约束（例如 Young-Laplace 一致性）或处理时间分辨的 4D 成像。然而，他们总结认为，这种方法大大减少了孔隙尺度分析对人工修正和重复模型开发的依赖。