💻 computer science

Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models

本文提出了 Mantis，这是首个专为 3D 点云基础模型设计的 Mamba 原生参数高效微调框架，该框架利用状态感知适配器与双重序列化一致性蒸馏技术，在仅使用 5% 可训练参数的情况下实现了具有竞争力的性能，同时克服了现有基于 Transformer 的参数高效微调方法在 Mamba 骨干网络上的局限性。

原作者： Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比，对论文《Mantis：Mamba 原生微调对 3D 点云基础模型高效》的解释。

宏观视角："3D 大脑”难题

想象你拥有一个才华横溢、训练有素的3D 大脑（计算机模型），它已经研习了数百万个 3D 物体——椅子、飞机、汽车和建筑物。这个大脑在理解形状方面表现出色。然而，要教会它一项新的具体任务（例如在杂乱的房间中识别特定类型的椅子），通常需要耗费巨大的工作量。

传统上，要教会这个大脑一个新技巧，你必须重新连接整个大脑。这就像为了更换一个灯泡而拆解一台巨型超级计算机。这不仅耗时漫长，而且耗费巨资（计算能力），还需要巨大的存储空间。

为了解决这个问题，科学家们发明了“参数高效微调”（PEFT）。你可以将其想象为给大脑加装一个小型、智能的耳机，而不是重新布线。你保持大脑冻结（不受干扰），只训练这个耳机。这既便宜又快速。

问题在于：
大多数现有的“耳机”都是为一种特定的大脑架构——Transformer——设计的。但一种新的、更快的大脑架构——Mamba——已经出现。Mamba 就像一列高速列车，以特定的、顺序的方式处理信息。

如果你试图将"Transformer 风格的耳机”戴在"Mamba 大脑”上，它们并不匹配。这就像试图用自行车座来驾驶一级方程式赛车。结果会非常糟糕：赛车（Mamba）会感到困惑，行驶会颠簸（不稳定），甚至会发生碰撞（准确率下降）。

解决方案：认识"Mantis"

作者们创造了Mantis，这是第一款专为适配Mamba大脑而设计的耳机。他们意识到，Mamba 不仅仅是逐个查看单独的“令牌”（如单词或点），它还维持着一个隐藏状态（一种运行中的记忆），随着它穿过数据而不断演变。

Mantis 拥有两大主要超能力：

1. 状态感知适配器（SAA）：指挥家

类比：想象 Mamba 大脑是一个正在演奏乐曲的管弦乐队。音乐按照特定的顺序流动。旧的耳机试图通过向个别乐手（令牌）大喊指令来改变音乐。但 Mamba 是一位指挥家，它管理着整个乐队的流动。
Mantis 的做法：Mantis 没有向个别乐手大喊，而是将一根指挥棒（SAA）交到了乐队手中。这根指挥棒会根据特定任务，轻轻推动音乐的流动（状态演变）。
结果：它允许冻结的大脑在不破坏其原本精心构建的、高速的序列的前提下，调整其内部的“记忆流”以适应新任务。

2. 双重序列化一致性蒸馏（DSCD）：“双视角检查”

类比：想象你在观察一座雕塑。如果你顺时针绕着它走，你会按一种顺序看到特征；如果你逆时针走，你会按另一种顺序看到它们。Mamba 大脑对这种顺序非常敏感；如果你改变绕着物体行走的路径，它可能会感到困惑。
问题：由于 3D 点没有天然的“起点”或“终点”，计算机必须人为地发明一种顺序来处理它们。如果它随机选择一种顺序，大脑可能会变得 jittery（抖动）且不稳定。
Mantis 的做法：Mantis 迫使大脑同时以两种不同的方式（绕着雕塑的两条不同路径）观察物体。然后，它像一位严格的老师一样说道：“嘿，尽管你是从两个不同的角度观察它的，但你对这个物体的理解必须是一致的。”
结果：这稳定了大脑，使其即使在数据杂乱或点的顺序奇怪时也能保持稳健。

结果：小改动，大胜利

该论文在几个具有挑战性的 3D 数据集（如 ScanObjectNN 和 ModelNet40）上测试了 Mantis。

效率：Mantis 仅需训练约**5%**的参数。这就像只需调节几个旋钮就能调好收音机，而不必重建整个电路。
性能：令人惊讶的是，Mantis 不仅达到了昂贵的“重连整个大脑”方法的性能，在许多情况下，它甚至超越了该方法。
稳定性：当其他方法难以收敛（陷入停滞或剧烈波动）时，Mantis 训练得平稳且迅速。

总结

Mantis 是一种专用工具，让我们能够高效地将新任务教给新的、快速的Mamba 3D 模型，而不会破坏它们。它通过以下方式实现：

推动模型内部记忆流（SAA），而不仅仅是戳刺个别数据点。
强制一致性，通过从多个“观察角度”检查模型的理解（DSCD）。

其结果是一个速度极快、训练成本低且准确率惊人的系统，解决了如何将这些强大的新模型适应现实世界 3D 任务的问题。

技术摘要：Mantis——面向 3D 点云基础模型的 Mamba 原生微调

1. 问题陈述

预训练的 3D 点云基础模型（PFMs）已在下游任务中展现出强大的迁移能力。然而，对这些模型进行全量微调计算成本高昂且存储需求巨大。虽然参数高效微调（PEFT）方法提供了解决方案，但现有方法（如实例感知动态提示微调、适配器）主要针对基于 Transformer 的骨干网络设计。

作者指出，将此类 Transformer 原生的 PEFT 方法应用于基于 Mamba 的骨干网络（状态空间模型）时，存在根本性的粒度不匹配：

Token 级与状态级：Transformer PEFT 作用于 Token 级的提示或特征变换。相比之下，Mamba 依赖于状态级的序列动态和循环隐藏状态传播。直接将 Token 级适配迁移到冻结的 Mamba 骨干网络上，会导致显著的精度下降和优化不稳定。
序列化敏感性：Mamba 模型将点云作为序列输入进行处理。隐藏状态的传播本质上对点的特定遍历顺序（序列化）敏感。现有的 PEFT 模块往往缺乏处理这种顺序敏感性的机制，导致在骨干网络冻结时出现表示不一致和预测不稳定。

2. 方法论：Mantis

本文提出了Mantis，这是首个专为 3D 点云分析设计的 Mamba 原生 PEFT 框架。它包含两个互补的组件：

A. 状态感知适配器（SAA）

为解决粒度不匹配问题，SAA 将轻量级的任务条件控制信号直接注入 Mamba 骨干网络的状态空间更新中，而非修改 Token 或特征。

机制：SAA 调制选择性状态空间模型（SSM）的状态转移算子（ $A_t, B_t, C_t, \Delta_t$ ）。其输入包括当前 Token、前一隐藏状态以及一个顺序感知表示。
控制信号生成：控制信号通过近端优化问题生成，产生稀疏的、软阈值化的信号。这确保了适配是低秩且稳定的。
算子调制：该稀疏控制信号用于通过低秩矩阵（ $U, V$ ）扰动连续时间算子，随后通过零阶保持（Zero-Order Hold）离散化以更新离散时间系统。这使得冻结的骨干网络能够在不直接改变预训练权重的情况下，动态调整其状态演化。

B. 双序列化一致性蒸馏（DSCD）

为解决 Mamba 的序列化敏感性，DSCD 强制同一 3D 点云在两种有效序列化下的一致性。

双序流水线：输入点云沿两条互补的空间填充曲线（例如希尔伯特曲线及其转置变体）进行序列化，生成两个不同的序列。
一致性损失：在训练期间，DSCD 对齐这两个分支的特征表示和预测分布。
- 特征一致性（ $L_{feat}$ ）：最小化两个分支归一化全局嵌入之间的距离。
- 预测一致性（ $L_{pred}$ ）：最小化两个分支软化预测分布之间的 KL 散度。
目标：这种正则化通过确保模型学习到对特定遍历顺序具有鲁棒性的表示，从而稳定下游优化，同时保留预训练的几何先验。

3. 主要贡献

差距识别：作者揭示了 Transformer 原生 PEFT 方法与基于 Mamba 的骨干网络之间的根本不兼容性，将性能下降归因于粒度不匹配和序列化敏感性。
Mantis 框架：提出了首个 Mamba 原生 PEFT 框架，其特点包括：
- SAA：一种状态级适配器，通过稀疏的、输入依赖的控制信号调制选择性 SSM 算子。
- DSCD：一种一致性蒸馏机制，用于正则化跨序列化的不稳定性。
理论分析：论文提供了 SAA 引起的隐藏状态偏差的理论边界，证明通过稀疏低秩扰动，适配过程保持受控且稳定。
实证验证：大量实验表明，Mantis 在使用显著更少参数的情况下，性能优于全量微调及现有 PEFT 方法。

4. 实验结果

作者在三个预训练的 Mamba 骨干网络（PointMamba、Mamba3D、ZigzagPointMamba）上，跨多个基准测试评估了 Mantis：

物体分类（ScanObjectNN & ModelNet40）：
- 在极具挑战性的ScanObjectNN PB_T50_RS划分上，Mantis（仅约 5% 的可训练参数）超越了全量微调基线。例如，在 Mamba3D 上，Mantis 实现了93.48%的准确率，而全量微调为92.05%，且参数量仅为0.8M，对比全量微调的16.9M。
- Mantis 始终优于现有 PEFT 方法（如 IDPT、PMA、LoRA）的直接迁移，这些方法在 Mamba 骨干网络上遭受了显著的性能下降。
部件分割（ShapeNetPart）：
- 与全量微调相比，Mantis 在实例级 mIoU 上具有竞争力，并在类别级 mIoU 上取得了显著改进，证明了其在细粒度几何结构建模方面的有效性。
少样本学习：
- 在 ModelNet40 的少样本实验中，Mantis 在各种 $N$ 路 $M$ 次配置下均取得了最佳或次佳的准确率。
效率：
- Mantis 保持了 Mamba 的线性复杂度建模范式。与全量微调及其他 PEFT 方法相比，它在可训练参数与 FLOPs 之间实现了更优的权衡。
- 训练稳定性分析显示，Mantis 收敛平滑，而 Token 级提示（如 IDPT）的直接迁移则表现出训练动态不稳定。

5. 意义与主张

本文主张，随着领域从 Transformer 向状态空间模型（Mamba）转变，Mantis是适配 3D 基础模型的必要演进。

原生设计的必要性：作者认为，简单地复用 Mamba 模块作为外部适配器（如某些先前的工作 PMA 所做），或将 Transformer 风格的 PEFT 应用于 Mamba 骨干网络是不足的。真正的效率需要与 Mamba 的状态级动态相一致的适配机制。
鲁棒性：该框架在噪声较大的现实世界场景（如 ScanObjectNN PB_T50_RS）中特别有效，在这些场景中，序列化引起的不稳定性最为显著。
未来基准：作者将 Mantis 定位为未来 Mamba 原生 PEFT 研究的基准和洞察来源，强调状态级适配对于释放冻结 Mamba 骨干网络潜力至关重要。

该工作得出结论：通过解决 Mamba 特定的架构约束（状态动态和序列化敏感性），Mantis 实现了以最小计算开销对 3D PFMs 进行高效、高性能的适配。