💻 computer science

LaSSM: Efficient Semantic-Spatial Query Decoding via Local Aggregation and State Space Models for 3D Instance Segmentation

本文提出了一种名为 LaSSM 的高效 3D 实例分割方法，通过层次化语义-空间查询初始化器和坐标引导的状态空间模型（SSM）解码器，在显著降低计算成本的同时，实现了在 ScanNet++ V2 等多个大规模场景基准测试上的领先性能。

原作者： Lei Yao, Yi Wang, Yawen Cui, Moyun Liu, Lap-Pui Chau

发布于 2026-02-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Lei Yao, Yi Wang, Yawen Cui, Moyun Liu, Lap-Pui Chau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 遇到的难题：侦探们的“起步难”与“效率低”

在 LaSSM 出现之前，传统的 AI 侦探在处理三维场景时有两个大麻烦：

“找不准目标” (初始化难题)： 想象一下，如果你要在一堆乱七八糟的乐高零件里找“小汽车”，以前的侦探要么是闭着眼乱抓（随机采样），要么是只盯着颜色看（语义采样）。结果就是：有的侦探抓了一把全是背景杂物，有的侦探虽然抓到了颜色对的，但位置全偏了。
“算得太慢” (计算冗余)： 以前的侦探在思考时，会试图让每一个侦探都和现场所有的零件进行“深度交流”。如果零件有几万个，这种“全员大讨论”会消耗巨大的脑力（计算量），导致速度极慢，甚至让电脑“宕机”。

2. LaSSM 的绝招：如何变聪明又变快？

LaSSM 团队通过两个核心发明，彻底解决了这两个问题：

第一招：智能“选拔赛” (层级语义-空间查询初始化)

比喻：精准的“预选名单”
LaSSM 不再让侦探盲目出击，而是先进行一场“预选赛”。它会先看一眼场景，利用“语义”和“空间位置”两个维度进行筛选。

语义看： “这块零件看起来像个物体的核心部分吗？”
空间看： “这块零件分布得够广吗？有没有覆盖到角落？”
通过这种方式，它只选出最有潜力的“精英侦探”进入正式工作组。这就像在大型派对开始前，先根据邀请函和位置，精准地选出一批最有代表性的嘉宾，既保证了覆盖面，又避免了浪费精力。

第二招：高效“小组讨论” (坐标引导的 SSM 解码器)

比喻：从“全员大辩论”变成“有序的小组研讨”
这是 LaSSM 最厉害的地方。它放弃了那种耗时的“全员大讨论”，改用了两种高效模式：

“就近观察法” (局部聚合)： 侦探不再盯着整个房间看，而是只盯着自己身边的几个零件。这就像你在找钥匙，你只会盯着桌子周围看，而不是盯着天花板看。这样既减少了干扰，又提高了准确度。
“排队传话筒” (双路径 SSM)： 以前的侦探是乱序交流，现在 LaSSM 让侦探们按照一种特殊的“空间路径”（希尔伯特曲线，一种能把三维空间连成一条线的巧妙方法）排好队。大家像玩“传声筒”游戏一样，按顺序传递信息。为了防止方向搞错，它还安排了“正着传”和“倒着传”两组人同时进行，最后取个平均值。这种方式既保留了空间位置感，速度又快得惊人！

3. 最终战果：又快、又准、又省钱

LaSSM 的表现可以用三个词来形容：

更准： 在目前最难的测试榜单（ScanNet++ V2）上，它拿到了第一名。
更省： 它的计算量（FLOPs）只有之前最强对手的 1/3。这意味着它可以在更便宜、更轻便的设备上运行。
更稳： 无论是在大型场景还是精细的小场景，它都能游刃有余。

总结一下

LaSSM 就像是一个训练有素、分工明确的侦探小组：他们通过精准的预选机制选出精英，通过高效的局部观察和有序的传话机制快速破案。它证明了：在处理复杂的 3D 世界时，不需要“蛮力”计算，靠“巧劲”和“逻辑”反而能走得更远。

这是一篇关于 3D 实例分割（3D Instance Segmentation）的高水平论文，提出了一种名为 LaSSM 的高效框架。以下是对该论文的详细技术总结：

1. 研究问题 (Problem Statement)

目前的基于查询（Query-based）的 3D 实例分割方法虽然性能优异，但面临两个核心挑战：

查询初始化困境 (Query Initialization Dilemma)： 由于点云具有稀疏性且物体尺度变化大，现有的初始化策略（如学习型查询或基于几何的 FPS 采样）往往难以兼顾场景覆盖率与判别性。例如，FPS 容易将查询分配到非实例区域，而基于语义置信度的采样则容易产生空间偏差。
查询细化效率低下 (Inefficient Query Refinement)： 标准的 Transformer 解码器使用交叉注意力机制（Cross-attention），其计算复杂度随查询数量呈平方级增长，在处理大规模场景时会产生大量的冗余计算，且缺乏对位置信息的有效利用。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 LaSSM，其核心由两个关键组件组成：

A. 分层语义-空间查询初始化器 (Hierarchical Semantic-Spatial Query Initializer)

该模块不再使用随机或纯几何的采样，而是结合了语义和空间信息：

语义筛选： 利用轻量级 MLP 对超点（Superpoints）进行分类，计算每个超点的语义激活得分（Semantic Activation Scores）。
自适应选择： 根据得分动态选择前 $m$ 个高置信度的超点（ $m$ 由场景复杂度比例 $r$ 决定），确保查询集中在潜在的物体区域。
空间覆盖： 在筛选出的高置信度超点基础上，再次使用最远点采样（FPS）来生成最终的查询集 $Q$ 和坐标 $Q_c$ ，从而在保证语义准确性的同时，确保查询在空间上的分布均匀。

B. 坐标引导的状态空间模型解码器 (Coordinate-guided SSM Decoder)

该解码器旨在以线性复杂度实现高效且精准的查询细化：

局部聚合方案 (Local Aggregation Scheme)： 针对点云的稀疏性，通过 $k$ -最近邻（ $k$ -NN）搜索，将查询与几何邻近的超点特征进行交互。这种设计强制查询关注几何相干区域，减少了背景噪声和冗余计算。
空间双路径 SSM 模块 (Spatial Dual-path SSM Block)：
- 序列化： 为了引入位置信息，利用 Hilbert 曲线 将无序的查询集排列成具有空间连续性的序列。
- 双路径设计： 由于 SSM 是单向的，作者采用了“双路径”策略——分别使用 Hilbert 曲线和其转置曲线进行正向和反向扫描，通过取平均值来捕捉双向的空间依赖关系。
- 线性复杂度： 利用 SSM 的特性，实现了比 Transformer 更低的计算开销。
中心回归模块 (Center Regression Module)： 在细化查询内容的同时，同步更新查询的坐标，确保位置信息的迭代准确性。

3. 主要贡献 (Key Contributions)

新框架： 提出了 LaSSM，一个兼顾性能与效率的基于查询的 3D 实例分割新框架。
高效初始化： 设计了分层语义-空间初始化器，解决了查询分布不均和收敛慢的问题。
高效解码： 创新性地将状态空间模型（SSM）引入查询解码阶段，通过局部聚合和双路径 SSM 实现了线性复杂度的位置感知细化。
性能突破： 在 ScanNet++ V2 等多个权威榜单上取得了领先成绩。

4. 实验结果 (Results)

SOTA 性能： LaSSM 在 ScanNet++ V2 排行榜上排名第一，比之前的最优方法 mAP 提升了 2.5%。
极高的效率： 在性能提升的同时，其计算量（FLOPs）仅为前序最优方法的 1/3。
广泛的适用性： 在 ScanNet V2、ScanNet200、S3DIS 和 ScanNet++ V1 等多个数据集上均表现出极强的竞争力和鲁棒性。
消融实验验证： 实验证明了局部聚合、双路径 SSM 以及坐标更新模块对提升精度和降低显存消耗的显著作用。

5. 研究意义 (Significance)

LaSSM 的意义在于它打破了“高性能必然带来高计算成本”的僵局。通过将 SSM（状态空间模型） 与 3D 几何先验（超点、Hilbert 曲线、局部聚合） 有效结合，为大规模、高分辨率 3D 场景的实时/高效理解提供了一条极具潜力的技术路径。这对于具身智能（Embodied AI）、机器人导航以及 AR/VR 等对实时性要求极高的应用场景具有重要的实践价值。