Efficient Point Cloud Processing with High-Dimensional Positional Encoding and Non-Local MLPs

本文提出了基于“抽象 - 细化”（ABS-REF）范式的 HPENets 系列网络，通过引入高维位置编码（HPE）和非局部 MLP 机制，在显著降低计算成本的同时实现了点云处理任务中效率与性能的双重提升。

要点

这篇论文介绍了一种名为 HPENet 的新方法，专门用来处理“点云”数据。为了让你轻松理解，我们可以把点云想象成用无数颗散落的珍珠（3D 点）拼凑成的 3D 物体（比如一辆车、一把椅子或整个房间）。

以前的电脑处理这些珍珠时，要么把它们强行塞进方格子里（像像素一样），要么用非常复杂、笨重的“大脑”去逐个分析，导致要么看不清细节，要么算得太慢。

这篇论文提出了三个核心创新，我们可以用生活中的比喻来解释：

1. 新的视角：先“抓大略”，再“精修图” (ABS-REF 视图)

以前的点云模型，往往像是一个只会“概括”的画家。它先快速把珍珠聚成几堆（抽象阶段，ABS），然后就直接出结果了，导致细节丢失。

这篇论文提出，处理点云应该像做一道精致的菜肴，分两步走：

• 第一步：粗加工（抽象阶段 ABS）。就像厨师先把食材切大块、去粗皮，把主要的形状轮廓抓出来。这时候不需要太精细，重点是“省力气”。
• 第二步：精修图（精炼阶段 REF）。在有了大轮廓后，再像雕刻家一样，在这些轮廓上进行精细打磨，补充细节，让物体看起来更真实、更有质感。

以前的模型往往只做了第一步，或者把两步混在一起乱做。这篇论文把这两步分得很清楚，并且发现：“粗加工”要快，“精修图”要细，这样既快又好。

2. 给珍珠贴上“超级标签”：高维位置编码 (HPE)

点云里的珍珠，最重要的信息是它们在哪里（位置）。以前的方法只是简单地把坐标（x, y, z）写在旁边，就像给珍珠贴个写着"1 号”的普通标签。但这不够用，因为珍珠之间的相对位置关系很复杂。

这篇论文发明了一种**“高维位置编码” (HPE)**。

• 比喻：想象以前的标签只是写了“我在左边”，而现在的 HPE 是给每颗珍珠贴上了一张全息 3D 地图。它不仅告诉你“我在左边”，还告诉你“我离中心有多远”、“我的角度是多少”、“我和邻居的关系有多微妙”。
• 效果：这让电脑能瞬间理解珍珠之间的几何关系，就像给盲人画家戴上了一副能看清立体结构的“超级眼镜”，让模型对形状的理解能力突飞猛进。

3. 聪明的“双向交流”：非局部 MLP 和 反向融合 (BFM)

以前的模型在处理珍珠时，往往只盯着身边的几个邻居看（局部聚合），或者只由上往下传信息，导致信息传递不畅。

• 非局部 MLP：就像在一个大教室里，以前老师只让同桌互相讨论（局部），现在允许全班同学直接交流（非局部）。这样，远处的信息也能瞬间传过来，不用层层转达，效率极高。
• 反向融合模块 (BFM)：这就像是一个**“回看”机制**。通常，低分辨率的图（概览）和高分辨率的图（细节）是单向流动的。但这个模块让高分辨率的“细节信息”能反向流回低分辨率的“概览”中，告诉概览哪里需要特别注意。这就像修图时，不仅看大图，还让细节反过来指导大图的调整，确保整体协调。

总结：HPENet 厉害在哪里？

如果把处理点云比作装修房子：

• 以前的模型：要么用笨重的重型机械（计算量大、慢），要么装修得很粗糙（精度低）。
• HPENet：
  1. 分工明确：先快速搭架子（ABS），再精细装修（REF）。
  2. 装备升级：给每个点都配了“超级定位仪”（HPE），不再迷路。
  3. 沟通顺畅：让细节和概览互相反馈（BFM），避免装修翻车。

结果：
这篇论文提出的 HPENet，在速度上比以前的顶尖模型快了一倍多（省了 50%~80% 的计算量），但在准确度上却更高。它不仅能识别物体，还能把房间里的墙壁、桌子、椅子分得清清楚楚，甚至能识别出物体被遮挡了一部分的情况。

简单来说，它让电脑处理 3D 世界变得更聪明、更快速、更省钱，让自动驾驶、机器人导航等应用变得更加现实可行。

技术摘要

这是一篇关于点云处理（Point Cloud Processing）的学术论文的详细技术总结。该论文提出了一种名为 HPENet 的系列模型，旨在解决现有 MLP 基方法在效率和性能之间的平衡问题，并重新审视了点云特征提取的架构设计。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有挑战：尽管基于多层感知机（MLP）的点云处理模型（如 PointNet++、PointNeXt）取得了成功，但其复杂的网络架构往往掩盖了性能提升的根本来源，且计算成本高昂，限制了实际应用。
• 架构局限性：
  • 早期方法（如 PointNet++）主要关注**抽象（Abstraction, ABS）阶段，缺乏有效的细化（Refinement, REF）**阶段，导致感受野受限。
  • 近期方法虽然引入了 Transformer 架构或复杂的细化模块，但往往计算量巨大。
  • 现有的局部聚合策略（Local Aggregation）通常使用耗时的局部 MLP 操作来捕捉邻居关系，效率较低。
  • 位置信息（Positional Information）的处理往往不够充分，通常仅作为简单的拼接特征，未能像 Transformer 中的位置编码那样发挥最大效用。
• 核心问题：如何设计一种既高效又能充分利用几何信息和上下文信息的 MLP 架构，以在保持高性能的同时大幅降低计算成本（FLOPs）和参数量。

2. 方法论 (Methodology)

论文提出了一个统一的**“抽象与细化”（Abstraction and Refinement, ABS-REF）**视角，并基于此设计了三个核心模块：

2.1 抽象与细化视角 (ABS-REF View)

作者将点云处理网络解耦为两个阶段：

• 抽象阶段 (ABS)：类似于图像中的下采样，通过采样（FPS）和分组（KNN）操作，将低分辨率特征从输入点云中抽象出来。此阶段主要负责提取局部几何结构。
• 细化阶段 (REF)：在不改变分辨率的情况下，对抽象后的特征进行细化，扩大感受野并增强特征表示能力。
• 洞察：早期方法往往只有 ABS 阶段，而近期高性能方法（如 Point Transformer）的成功很大程度上归功于 REF 阶段。

2.2 核心模块设计

基于 ABS-REF 视角，作者提出了以下改进：

• 高维位置编码 (High-dimensional Positional Encoding, HPE)：

  • 动机：点云的位置信息是关键的几何属性。传统的拼接方式或低维编码（如正弦编码）无法充分捕捉复杂的几何关系。
  • 机制：将相对点坐标映射到高维空间（通过正弦/余弦函数或可学习的 MLP），使编码具有平移不变性，然后通过轻量级 MLP 将其对齐到特征空间。
  • 应用：HPE 被部署在 ABS 和 REF 两个阶段，显式地利用位置信息增强局部几何表示。

• 非局部 MLP (Non-Local MLPs) 与局部聚合重构：

  • 策略：摒弃传统的高成本局部 MLP（在分组后对邻居点进行操作），转而使用非局部 MLP。
  • 机制：在分组操作之前，直接对输入点集进行非局部 MLP 处理。这大大减少了计算量（FLOPs），因为处理的是高分辨率但数量较少的点，而不是分组后的大量邻居点。
  • 混合策略：为了平衡效率与性能，作者在 ABS 阶段的第一层保留传统的局部 MLP（以保留细节），而在后续阶段和 REF 阶段主要使用非局部 MLP。

• 后向融合模块 (Backward Fusion Module, BFM)：

  • 动机：解决编码器 - 解码器架构中多分辨率特征交互单向（通常仅从低分辨率流向高分辨率）的问题。
  • 机制：利用高分辨率特征的统计信息（最大池化和平均池化），通过通道注意力机制（类似 SENet）提取上下文信息，并将其反向传播到低分辨率特征中，实现多分辨率特征的双向交互，增强上下文利用。

2.3 HPENets 架构

基于上述模块，作者构建了 HPENet 系列（包括 V2-S, V2-B, V2-L, V2-XL 等不同规模），这些网络遵循 ABS-REF 范式，并在不同阶段灵活配置局部聚合策略和 HPE。

3. 主要贡献 (Key Contributions)

1. 提出 ABS-REF 统一视角：清晰地解构了现有 MLP 和 Transformer 方法的特征提取流程，指出早期方法缺乏 REF 阶段，而近期方法通过 REF 阶段获得性能提升。
2. 高维位置编码 (HPE)：提出了一种新的位置编码方案，将位置信息嵌入到高维特征空间，显著提升了 MLP 对局部几何信息的捕捉能力，且兼容 Transformer 架构。
3. 高效局部聚合策略：重新思考了局部聚合，提出用非局部 MLP替代耗时的局部 MLP 操作，并结合混合策略（ABS 阶段第一层用局部，其余用非局部），在大幅降低 FLOPs 的同时保持甚至提升性能。
4. 后向融合模块 (BFM)：引入双向交互机制，有效融合多分辨率特征中的上下文信息。
5. 广泛的实验验证：在 7 个公共数据集、4 种任务（分类、语义分割、部件分割、检测）上验证了方法的有效性，并证明了其模块可无缝集成到 Transformer 架构（如 Point Transformer, Stratified Transformer）中并带来性能提升。

4. 实验结果 (Results)

论文在多个基准测试中取得了 State-of-the-Art (SOTA) 或极具竞争力的结果，同时显著降低了计算成本：

• ScanObjectNN (3D 物体分类)：
  • HPENet V2 在 mAcc 上比 PointNeXt 高出 1.1%，在 FLOPs 上仅为 PointNeXt 的 50.0%。
• S3DIS (场景语义分割)：
  • HPENet V2 在 mIoU 上比 PointNeXt 高出 4.0%，FLOPs 仅为 21.5%。
  • 在 6 折交叉验证中，mIoU 达到 78.9%，优于 Point Transformer V2 等 Transformer 方法。
• ScanNet (室内场景分割)：
  • 比 PointNeXt 高出 1.8% mIoU，FLOPs 仅为 23.1%。
• ShapeNetPart (部件分割)：
  • 实例平均 IoU (Ins. mIoU) 达到 87.3%，超越了之前的 SOTA 方法，且推理速度更快。
• 兼容性：将 HPE 和非局部 MLP 集成到 Point Transformer (PT) 和 Stratified Transformer (ST) 中，分别提升了 2.5% 和 1.3% 的 mIoU，同时减少了计算量。
• 鲁棒性：在点云密度变化（稀疏输入）下，HPENet V2 表现出比 PointNeXt 和 PointMetaBase 更强的鲁棒性。

5. 意义与影响 (Significance)

• 理论贡献：打破了 MLP 和 Transformer 方法之间的壁垒，通过 ABS-REF 视角统一了它们的架构逻辑，揭示了位置编码和细化阶段在点云处理中的核心作用。
• 工程价值：HPENet 系列模型在保持甚至超越 SOTA 性能的同时，大幅降低了计算资源需求（FLOPs 降低 50%-80%），使其更适合在资源受限的边缘设备（如自动驾驶、机器人）上部署。
• 通用性：提出的 HPE 和 BFM 模块不仅适用于纯 MLP 架构，还能显著提升基于 Transformer 的架构性能，为未来的点云网络设计提供了新的通用组件。

总结：这篇论文通过重新审视点云处理的架构设计，提出了一种高效、模块化且通用的解决方案。它证明了通过引入高维位置编码、非局部聚合策略以及双向特征融合，可以在不依赖庞大计算资源的情况下，实现点云处理性能的突破。