技术摘要：WeatherOcc3D

问题陈述

3D 语义占据预测对于自动驾驶导航至关重要，但其鲁棒性从根本上受到环境可变性的限制。虽然融合相机和激光雷达数据的多模态系统通常能提升性能，但在恶劣条件下它们面临“模态信任问题”。具体而言，相机传感器在强降水条件下会遭受严重的可见度下降，而激光雷达传感器在降雨期间会遭遇显著的后向散射噪声。现有的最先进融合策略，如基于注意力的模型（例如 OccFusion、GaussianOcc3D），往往在特定传感器变得不可靠时无法自适应地重新加权输入。此外，这些方法经常产生高昂的内存成本，或者无论大气噪声如何，都将传感器输入视为同等可靠。尽管最近的视觉 - 语言模型（VLM）方法利用语言嵌入作为语义先验，但它们很少解决退化天气条件下传感器信任这一具体挑战。

方法论

作者提出了WeatherOcc3D，这是一个由 VLM 辅助的框架，旨在通过语言环境线索指导多传感器集成。该架构作为一个端到端的多模态系统运行，包含以下关键组件：

1. 特征提取：

   • 相机： 全景图像通过 2D 编码器（ResNet + FPN）进行处理，并使用视图变换器（Lift-Splat-Shoot）投影到 3D 空间，以生成相机体素特征（$V_{cam}$）。
   • 激光雷达： 点云通过 3D 编码器进行处理，以生成激光雷达体素特征（$V_{pts}$）。

2. 环境感知与提示：

   • 天气预测模块分析 2D 特征以预测环境状态：可见度（晴朗/雨天）和光照（白天/夜晚）。
   • 这些预测状态被转换为文本提示（例如，“雨夜，相机严重眩光”）。
   • 一个预训练的CLIP 文本编码器（通过低秩自适应/LoRA 进行专门化）将这些提示编码为精细的环境嵌入（$f_{env}$）。一个投影层将该嵌入映射到模型的特征维度。

3. 因子化门控机制：
   该框架采用由 $f_{env}$ 驱动的双级自适应融合策略：

   • 通道级门控： 嵌入生成门控掩码（$G_{cam}, G_{pts}$），通过逐元素乘法应用。这使得模型能够根据具体的环境上下文，选择性地抑制每个模态内受噪声污染的通道。
   • 全局加权： 嵌入通过多层感知机（MLP）和 Sigmoid 激活函数转换为单个可学习标量（$w_{env}$）。该标量代表模型对视觉模态的全局置信度。
   • 融合： 最终的融合表示（$V_{fused}$）计算为加权和：
     $$V_{fused} = w_{env}(G_{cam}V_{cam}) + (1 - w_{env})(G_{pts}V_{pts})$$
     该机制使模型能够在晴朗的白天优先处理语义相机特征，而在雨夜将依赖转向几何激光雷达先验。

4. 优化：
   该模型通过多任务目标函数进行训练，该函数结合了占据预测损失（交叉熵和 Lovász-Softmax）以及天气预测损失（用于可见度和光照的二元交叉熵）。

主要贡献

• VLM 引导的因子化门控： 与内存密集型的交叉注意力方法不同，本文引入了一种参数高效的门控机制，将环境不确定性分解为独立的可见度和光照因子，以动态调节融合比率。
• 模态信任问题的解决： 该框架明确利用语言线索来抑制受噪声污染的通道并调整全局融合权重，从而解决模态信任问题，而不是将传感器视为同等可靠。
• 即插即用的通用性： 该方法被设计为模块化组件，可集成到现有架构中，而无需完全重新设计架构。

实验结果

评估在nuScenes-OpenOccupancy验证集上进行。

• 性能提升：
  • 与OccMamba集成后，该框架实现了26.3 mIoU，比原始基线提高了 1.1 mIoU。
  • 与M-CONet集成后，实现了21.1 mIoU，提高了 1.0 mIoU。
  • 在所有 17 个语义类别中，提升均保持一致。
• 恶劣天气鲁棒性：
  • 在夜间条件下，该方法将 mIoU 从 11.8 提升至15.7（+3.9）。
  • 在雨天条件下，mIoU 从 24.1 提升至27.3（+3.2）。
• 效率：
  • 所提出的模块仅增加了2.14 ms的延迟，优于 ACLF 方法（3.21 ms），同时实现了更高的分割分数（比 ACLF 高 +0.8 mIoU）。

意义与主张

本文主张 WeatherOcc3D 为自动驾驶中的多模态感知建立了一个更鲁棒的范式。通过利用预训练的 CLIP 潜在空间来解释环境描述符，该框架为解决模态信任问题提供了一种计算高效的方案。作者强调，他们的方法有效地减轻了特定传感器的退化，特别是在最具挑战性的恶劣天气子集中，相较于传统的静态融合基线提供了显著改进，且没有基于注意力的替代方案那样的高内存开销。这项工作表明，基于环境可见度和光照动态调整融合权重，对于现实场景中可靠的 3D 语义占据预测至关重要。