技术摘要：UniD-Shift

问题陈述

大规模 3D 语义分割对于自动驾驶和城市数字孪生至关重要。当前的传感系统通常结合激光雷达（提供精确的空间结构）和 RGB 相机（提供密集的视觉外观）。然而，整合这些模态面临重大挑战：

1. 模态不匹配：激光雷达数据遭受稀疏采样和视图依赖的几何失真，而图像包含视图依赖的外观信息。
2. 融合局限：现有的融合策略通常依赖沉重的特征拼接或大型注意力模块，这些模块混合 2D 和 3D 特征而缺乏显式的语义解耦。这导致表示冗余、语义边界模糊以及训练期间优化不稳定。
3. 泛化能力：许多方法难以应对分布偏移（例如不同的城市或天气条件），因为它们未能将模态不变的语义与模态特有的变化分离开来。

方法论：UniD-Shift

作者提出了UniD-Shift，这是一个基于可解释的共享 - 私有模态分解的统一多模态框架。核心假设是 2D 和 3D 模态共享共同的语义属性（例如物体类别），但拥有独特的、模态特有的特征（例如图像中的表面纹理与点云中的几何细节）。

1. 双分支特征提取

该框架采用双分支架构以保留每种模态的固有优势：

• 2D 分支：利用基于Segment Anything Model (SAM) 的视觉编码器。这利用了 SAM 强大的泛化能力以及捕捉物体边界和语义连贯性的能力。输出被投影到共享嵌入空间中。
• 3D 分支：采用稀疏卷积 - Transformer (SPTNet) 骨干网络。这结合了用于高效局部几何处理的稀疏卷积和基于 Transformer 的自注意力机制，以建模大型户外场景中的长程依赖关系。

2. 共享 - 私有特征分解

该框架不是直接融合原始特征，而是显式地将来自每种模态（$m \in \{2D, 3D\}$）的编码特征（$F_m$）分解为两个子空间：
$$F_m = S_m + R_m$$

• 共享分量（$S_m$）：编码在两个域中一致的模态不变语义信息。
• 私有分量（$R_m$）：保留模态特有的属性（2D 的视觉外观，3D 的几何结构）。

为了确保有意义的分离，在训练过程中应用了两个正则化约束：

• Gram 对齐（$L_{gram}$）：对齐共享分量（$S_{2D}$ 和 $S_{3D}$）的二阶统计量，以强制一致的语义结构。
• 去相关（$L_{diff}$）：惩罚私有分量（$R_{2D}$ 和 $R_{3D}$）之间的互相关性，以防止冗余并确保独立性。

3. 共享注意力融合 (SAF)

一个轻量级的基于注意力的模块聚合共享分量（$S_{2D}$ 和 $S_{3D}$）。

• 机制：3D 特征充当查询（$Q$），而 2D 特征充当键（$K$）和值（$V$）。
• 过程：计算注意力权重，利用来自图像分支的补充语义信息来指导点级预测过程。融合后的共享表示（$S_{1024}$）是变换后的 2D 和 3D 共享特征的加权和。
• 最终输出：融合后的共享表示与 3D 私有特征（$R_{3D}$）拼接，以生成用于语义预测的最终多模态表示。

4. 训练目标

该模型使用复合损失函数进行端到端优化：

• 分割损失（$L_{seg}$）：针对 2D 和 3D 分支的加权交叉熵和 Lovász-Softmax。
• 跨模态蒸馏（$L_{xm}$）：双向 Kullback-Leibler (KL) 散度，以对齐分支间的预测分布。
• 分解正则化：上述的 $L_{gram}$ 和 $L_{diff}$ 项。

主要贡献

1. 统一框架：一种新颖的架构，通过结构化的特征交互实现高单域精度和强大的跨域泛化能力。
2. 显式解耦：一种共享 - 私有分解机制，将模态不变的语义与模态特有的变化分离，提高了可解释性和语义对齐。
3. 双分支设计：将基于 SAM 的视觉编码器与 SPTNet 几何骨干网络集成，有效地结合了语义丰富性与几何精度。
4. 性能：广泛的实验表明，与现有的 2D-3D 融合和域适应方法相比，其分割精度和鲁棒性更优。

实验结果

该框架在nuScenes和SemanticKITTI基准上进行了评估。

• 单域性能：

  • nuScenes 验证集：达到 81.0% mIoU，优于 2DPASS (80.5%) 和 CSFNet (80.8%) 等强基线。
  • nuScenes 测试集：达到 81.2% mIoU，超越了 U2MKD 等方法（表 2 中列出 U2MKD 为 84.2%，但文中注明 UniD-Shift 为 81.2%；注：文中明确指出 UniD-Shift 在测试集上为 81.2%，而表 2 列出 U2MKD 为 84.2%。论文摘要和 4.2 节声称 UniD-Shift 超过了“代表性多模态基线”，尽管具体的表格数值需要仔细对照提供的文本与表格。文中强调了对 2DPASS 和 CSFNet 等基线的一致改进）。
  • SemanticKITTI：达到 71.8% mIoU，优于 2DPASS (70.0%) 和 CSFNet (71.5%) 等基线。
  • 可视化显示物体轮廓更清晰，语义区域更连续，特别是在点稀疏或几何复杂的区域。

• 跨域泛化：

  • 在 nuScenes 美国 $\to$ 新加坡 的适应任务上进行了评估。
  • 达到 74.5% mIoU，优于 xMUDA (69.4%)、UniDSeg (72.9%) 和 UniDxMD (74.3%)。
  • 结果表明，该模型形成了一个可迁移的特征空间，能够在地理和结构变化下保持语义一致性。

• 效率：

  • 在 SemanticKITTI 上，UniD-Shift 以 240 ms 的延迟实现了 71.8% mIoU。
  • 虽然由于冻结的 SAM 编码器导致总参数量较高，但可训练部分保持紧凑，且推理时间与其他基于 SAM 的设计（例如 296 ms 的 UniDSeg-SAM）相比具有竞争力。

意义与主张

论文声称，UniD-Shift 解决了精确的多模态整合与稳定的模型行为之间的持久差距。通过显式解耦共享和私有特征，该框架：

• 减少冗余：防止模态特有的噪声干扰共享语义。
• 增强可解释性：分解使得能够更清晰地理解 2D 和 3D 信息如何贡献于最终预测。
• 提高稳定性：结构化的融合带来了更稳定的优化，并在不同的城市环境和传感器条件下实现了更好的泛化。
• 平衡权衡：它在高分割精度和计算效率之间取得了平衡，使其成为大规模多模态 3D 场景理解的可靠解决方案。

作者总结道，共享 - 私有公式是模型能够以平衡方式吸收互补信息的关键因素，从而使其在未见的城市环境中实现可靠的性能。