技术摘要：FALO——资源受限设备上的快速精准 LiDAR 3D 目标检测

1. 问题陈述

现有的 LiDAR 3D 目标检测方法在部署于资源受限的边缘设备（如自动驾驶汽车、移动机器人）时面临重大挑战。主要瓶颈包括：

• 稀疏卷积的局限性：大多数最先进（SOTA）的方法依赖于 3D 稀疏卷积。虽然这些操作具有内存效率，但由于 3D 点云固有的稀疏性，它们会导致不规则的数据和内存访问模式。这使得它们在紧凑的嵌入式设备上难以优化，并增加了通过 TensorRT 等框架进行量化和部署的复杂性。
• Transformer 的低效性：近期利用 Transformer 的方法（如 DSVT）避免了稀疏卷积，但遭受高昂的计算和内存成本，其复杂度随输入令牌（非空体素）的数量呈二次方增长。
• 低效的序列化：现有的基于令牌的方法通常需要在整个网络中多次重新排序体素（例如，交替的 x/y 顺序、多尺度排序），导致在带宽受限的设备上产生昂贵的数据移动和内存带宽占用。
• 基于柱状方法的权衡：基于柱状的方法通过将 3D 数据投影到 2D 来提高效率，但通常在全 3D 体素方法的检测精度上表现滞后，并且经常仍依赖于 2D 稀疏卷积。

本文旨在解决对检测框架的需求，该框架需在 NVIDIA Jetson Orin GPU 和 Qualcomm Hexagon NPU 等硬件上保持 SOTA 精度的同时提供快速推理速度，且不依赖稀疏卷积或二次复杂度注意力机制。

2. 方法论：FALO

提出的 FALO（快速精准 LiDAR 3D 目标检测）方法通过一个系统化的、硬件友好的流水线处理 LiDAR 点云，旨在消除不规则的内存访问和高计算开销。

2.1. 系统概述

该流水线始于对输入 3D 点云的标准体素化。与直接应用稀疏卷积的传统方法不同，FALO 提取非空体素并将它们排列成致密的 1D 令牌序列。这些令牌由包含隐式体素分组和ConvDotMix层的 3D 骨干网络处理，随后被投影到鸟瞰图（BEV）空间以进行最终检测。

2.2. 3D 稀疏特征序列化

为了最小化数据移动，FALO 在体素化后立即执行单次序列化步骤：

• 局部窗口划分：将 3D 空间划分为局部窗口以保持局部性。
• 遍历：在每个窗口内，遍历非空体素（例如，按 x 顺序或 y 顺序）并收集到 1D 致密序列中。
• 稳定性：与其他在每一层都重新排序体素的方法不同，FALO 在整个 3D 骨干网络中保持此 1D 序列顺序，显著减少了昂贵的数据移动。

2.3. 隐式体素分组

为了解决在嵌入式硬件上处理长且不平衡的 1D 序列（例如 $1 \times N \times D$）的低效问题，FALO 引入了隐式分组：

• 重塑：重塑序列以平衡批次和令牌维度（例如，将 $1 \times 6000 \times 128$ 转换为 $10 \times 600 \times 128$）。
• 可变组大小：随着网络加深，组大小增加。浅层使用较小的组以促进更快的推理和专注的局部学习。深层使用较大的组以适应不断增大的有效感受野，从而在不进行显式重新排序的情况下允许更广泛的空间交互。

2.4. ConvDotMix 操作

3D 骨干网络的核心处理单元是 ConvDotMix 模块，它取代了自注意力和稀疏卷积。它由以下部分组成：

• 大核卷积：应用于令牌维度以混合空间特征。
• 线性层（MLP）：应用于嵌入维度以进行通道混合。
• Hadamard 积：空间混合特征与通道混合特征之间的逐元素乘法。这引入了体素特征之间的高阶非线性交互，这种能力通常由自注意力提供，但在此处以线性计算复杂度实现。
• 残差连接：添加跳跃连接到输入以稳定训练。

ConvDotMix 中的所有操作均随输入令牌数量线性扩展，并依赖于标准矩阵乘法，使其在现代 AI 硬件上具有高度并行性和效率。

3. 主要贡献

1. FALO 架构：一种用于 LiDAR 3D 检测的系统化方法，在资源受限平台上实现了 SOTA 精度，且未使用稀疏卷积或 Transformer。
2. ConvDotMix 模块：一种结合大核卷积、线性层和 Hadamard 积的新颖操作。它仅以线性的计算和内存成本，提供了足够的空间、通道以及高阶非线性混合能力。
3. 硬件友好设计：
   • 一次性序列化：体素仅被序列化为 1D 序列一次，消除了重复的数据移动。
   • 隐式分组：一种平衡张量维度以加速推理的机制，利用可变组大小以匹配不断增大的感受野。
   • 消除昂贵操作：该设计移除了稀疏卷积、自注意力、窗口移位和体素重新排序。
4. 性能：在 NVIDIA Jetson Orin 和 Qualcomm Hexagon NPU 上，FALO 的推理速度比最新的 SOTA（DSVT）快 1.6$\times$ 至 9.8$\times$，同时保持了具有竞争力的检测精度。

4. 实验结果

作者在 nuScenes 和 Waymo Open Dataset 基准测试上评估了 FALO。

• nuScenes：
  • 在验证集上，FALO 实现了 70.8 的 NDS 和 65.7 的 mAP，与 DSVT（NDS 71.1, mAP 66.4）和 SAFDNet 相当，尽管未使用稀疏卷积或自注意力。
  • 在测试集上，FALO 实现了 70.9 的 NDS 和 66.1 的 mAP，优于大多数依赖稀疏卷积的基于体素和基于柱状的方法。
• Waymo Open Dataset：
  • FALO 在车辆、行人和骑行者类别上取得了具有竞争力的结果。例如，它实现了 73.6 的 L2 mAP 和 70.6 的 mAPH，与 DSVT-Pillar（73.2/71.0）及其他 SOTA 方法相当。
• 延迟：
  • 在 Qualcomm Hexagon NPU 上，FALO 比 DSVT 快 9.8$\times$。
  • 在 NVIDIA Jetson Orin GPU 上，FALO 比 DSVT 快 1.6$\times$。
  • FALO 在设备上实现了 24–60 次/秒 的推理，支持实时运行。

消融研究

• 排序：提出的局部窗口排序相比随机/无排序将 NDS 提高了 1.1 个点。
• 分组：在深层增加组大小获得了最佳精度（NDS 70.2）和最低延迟，而减小组大小则降低了性能。
• ConvDotMix 与 Transformer：用 ConvDotMix 替换 DSVT 中的 Transformer 层略微提高了精度（NDS 71.2 对比 71.1），同时将 FLOPs 减少了 28%。
• 核大小：与较小的核相比，较大的核（大小为 11）被证明有利于性能。

5. 意义与主张

本文声称，FALO 代表了在边缘设备上部署高性能 3D 感知的重要一步。通过系统性地消除硬件不友好的操作（稀疏卷积、二次注意力、重复重新排序），FALO 弥合了高精度检测模型与嵌入式系统严格的延迟/内存约束之间的差距。

作者强调，虽然他们对效率的关注导致了轻量化设计，但该方法实现了与重型 SOTA 模型相当的精度。然而，他们谦逊地承认了一个局限性：与更耗内存的方法相比，这种以效率为导向的设计可能会导致对小物体或稀疏物体（如行人和骑行者）的精度有所下降，尽管整体性能仍具有竞争力。

这项工作证明了在 Snapdragon 8 Gen 3（Hexagon NPU）和 Jetson Orin 等平台上实现实时、精准的 LiDAR 3D 目标检测是可行的，且无需牺牲自动驾驶和机器人技术所需的检测能力。