技术摘要：用于汽车点云语义分割的 Vanilla ViT (VaViT)

问题陈述

虽然纯 Transformer 已成为文本、音频和图像处理领域的事实标准架构，其统一的设计和卓越的扩展特性使其脱颖而出，但在3D 点云语义分割领域的应用仍然有限。目前用于汽车 LiDAR 分割的最先进方法主要依赖于混合 U-Net 架构，这类架构将稀疏卷积与局部或窗口注意力机制交织在一起（例如 PTv3、LitePT）。另一种方法是将 3D 数据投影到 2D 范围视图（Range View）中（例如 RangeViT），但这会引入几何畸变并丢失空间结构。

作者提出了一个根本性的问题：一个纯粹的、非层次化的视觉 Transformer (ViT) 是否可以直接在原始 3D 点云上运行，从而在大型汽车 LiDAR 语义分割任务中达到具有竞争力的性能？ 挑战在于如何弥合不规则点云数据与 ViT 所需的基于 Token 的表示之间的鸿沟，且不依赖于卷积的归纳偏置，也不使用 2D 投影带来的几何畸变。

方法论

所提出的框架 VaViT (Vanilla ViT) 使用单尺度 ViT 主干网络和全局自注意力机制来处理原始 3D 点，避免了层次化阶段或卷积块。该流水线由四个关键部分组成：

1. Tokenization（标记化）策略

VaViT 并没有将整个扫描场景转换为 2D 图像，而是直接在 3D 空间中提取点级嵌入（point-wise embeddings），并将其投影到粗糙的鸟瞰图 (BEV) 网格上以形成 Token。

• 嵌入网络： 原始点（坐标、距离、强度）通过受 PointNet++ 和 DGCNN 启发的多层嵌入网络进行处理。该网络包括：
  • 一个处理点特征的全局分支。
  • 一个计算相对表示的局部分支，利用 $k$-最近邻（$k$-NN）并辅以门控机制 ($f_{gate}$) 来过滤伪特征。
  • 全局特征与局部特征的拼接。
• Pillar Tokenization（柱体标记化）： 场景被划分为互不重叠的正方形柱体（pillars）。对于每个被占据的柱体，收集其中包含的所有点的嵌入，并通过**最大池化（max-pooling）**操作生成单个柱体 Token。
• 位置编码： Token 与 2D BEV 坐标相关联，使用在每个轴上重复的旋转位置嵌入 (RoPE) 进行编码。

2. Vanilla ViT 主干网络

柱体 Token 序列由标准的、非层次化的 ViT 进行处理。

• 该架构遵循标准的 Transformer 块设计：层归一化 (LN) $\rightarrow$ 多头自注意力 (MSA) $\rightarrow$ 残差 $\rightarrow$ LN $\rightarrow$ MLP $\rightarrow$ 残差。
• 为了处理不同 Batch 之间的变长序列，使用了填充 Token（padding tokens）来使长度一致。
• 主干网络完全依赖于全局自注意力，这使得模型能够捕捉整个场景的长程空间依赖关系，而无需受到局部窗口的限制。

3. 轻量化分割头

为了从粗糙的柱体 Token 中恢复精细的点级预测：

• 提升 (Lifting)： 最终的 Transformer Token 从 BEV 网格“提升”回原始 3D 点。属于特定柱体的所有点都接收对应的柱体 Token。
• 特征融合： 提升后的 Token 特征与标记化过程中计算的高分辨率原始点嵌入进行拼接。
• 门控与分类： 门控机制 ($g_{gate}$) 重新加权 ViT 特征与原始点嵌入的贡献。组合后的特征通过最后一个线性层进行语义分类。

4. 数据增强：PillarMix+

意识到 LiDAR 数据集比用于 ViT 预训练的图像数据集规模更小，作者引入了 PillarMix+，一种增强的几何增强策略。

• 机制： 不同于标准的 PillarMix 在两个扫描件之间进行棋盘格混合，PillarMix+ 混合了 $N$ 个点云（通常为 3 个）。
• 过程： 对于参考扫描中的每个被占据的柱体，如果该位置在另外 $N-1$ 个扫描件中也被占据，则该柱体会被随机替换为这组扫描件中被占据的柱体之一。
• 优势： 它保留了场景的占据模式和总体形状，同时引入了显著的上下文变化。它避免了棋盘格混合带来的“独立裁剪”效应，并且不像增加 Token 数量的方法那样改变 Token 总数。

核心贡献

1. 性能验证： 证明了精心设计的 Vanilla ViT 可以达到甚至超过现有的最先进方法（包括混合 U-Net 和 2D 投影模型）在 LiDAR 语义分割方面的表现。
2. 专门的 Tokenization： 引入了专门的 Tokenization 模块，用于提取具有信息量的 3D 点嵌入并将其投影到粗糙的 BEV 网格，在不对 ViT 进行架构修改的前提下，为下游任务保留了足够的几何信息。
3. 轻量化分割头： 设计了一个分割头，通过门控机制有效地将来自 ViT 的全局上下文特征与高分辨率局部点嵌入相结合。
4. PillarMix+： 提出了一种鲁棒的几何增强策略，通过混合多个扫描件并在保持场景一致性的同时，显著增强了 ViT 在自动驾驶数据集上的泛化能力。

实验结果

作者在三个主要基准测试上评估了 VaViT：nuScenes、SemanticKITTI 和 Waymo Open Dataset (WOD)。

• nuScenes： VaViT-B 实现了 81.3% 的平均交并比 (mIoU)，超越了之前的 SOTA 模型 LitePT (80.7%)。值得注意的是，尽管采用了粗糙的 Token 化网格，它在交通锥和自行车等小物体上的表现依然排名第一。
• Waymo Open Dataset： VaViT-B 实现了 70.5% 的 mIoU，优于 SphereFormer (69.9%) 和 PTv3 (70.2%)。
• SemanticKITTI： VaViT-B 实现了 67.6% 的 mIoU（未使用测试时增强 TTA），与 PTv3 (66.2%) 和 SphereFormer (67.8%) 竞争激烈。
• 鲁棒性： 一个重要的发现是，VaViT 模型对全局变换（旋转、缩放、翻转）具有天然的鲁棒性。虽然其他方法（如 PTv3、LitePT）通过测试时增强 (TTA) 能获得约 2 个 mIoU 点的提升，但 VaViT 的性能几乎保持不变，这表明全局自注意力机制已经学习到了这些不变性。

意义与主张

本文声称，专门的混合设计（结合卷积和局部注意力）对于 3D 语义分割而言可能并非严格必要。相反，纯粹的 Transformer (Plain Transformers) 构成了一种可行且更简单的替代方案，能够提供跨感知任务的统一主干。

VaViT 的成功表明，如果能对输入表示（Tokenization）和训练策略（增强手段）进行精心设计，全局自注意力可以承担点云分割中的“重任”。这项工作为以下领域打开了大门：

• 更容易实现多模态架构设计（例如混合点云和图像）。
• 在 3D 领域直接应用 Transformer 的自监督预训练技术。
• 通过移除对 U-Net 式层次结构和稀疏卷积的需求，降低架构复杂度。

作者强调，他们的结果验证了统一 ViT 方法的效率，前提是必须对原始 3D 数据与 Transformer 之间的接口进行精细的工程化设计。