To View Transform or Not to View Transform: NeRF-based Pre-training Perspective

1. 研究背景与核心问题 (Problem)

背景：
在自动驾驶领域，基于神经辐射场（NeRF）的预训练范式因其能够以全自监督方式增强 3D 几何和外观理解而备受关注。为了将 NeRF 应用于 3D 感知模型，现有的主流方法（如 UniPAD, SelfOcc）通常采用“视图变换（View Transformation）”作为骨干网络，将多视角 2D 图像特征投影到统一的 3D 体素空间，然后利用这些离散的体素特征进行 NeRF 预训练。

核心问题：
作者指出，将 NeRF 与视图变换强行耦合存在先验冲突（Conflicting Priors）：

1. 视图变换的局限性：依赖于离散（Discrete）和刚性（Rigid）的体素网格表示。这种表示方式限制了 3D 表示的连续性和细粒度。
2. NeRF 的假设：NeRF 假设场景是由连续且自适应的函数构成的。
3. 冲突后果：当这两种对立的假设被强制整合到同一流程中时，会导致 3D 表示出现模糊和歧义（例如，相邻物体坍缩成模糊的团块），限制了 3D 场景理解的能力。
4. 知识浪费：在现有的流程中，预训练好的 NeRF 网络在下游任务（如检测）阶段通常被丢弃，导致预训练带来的增强 3D 表示无法有效迁移，利用率低下。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 NeRP3D (NeRF-Resembled Point-based 3D Detector)，一种新颖的基于点的 3D 检测器架构。其核心思想是完全继承 NeRF 的连续函数特性，避免视图变换带来的离散化先验。

2.1 核心架构设计

NeRP3D 采用统一架构，无需根据任务阶段（预训练或微调）丢弃或添加模块。

• 连续 3D 表示：不同于基于体素的方法，NeRP3D 直接从任意连续 3D 位置采样点，并预测其 3D 特征、几何和外观。
• 自适应采样策略 (Adaptive Sampling)：
  • 预训练阶段（渲染）：遵循标准 NeRF，沿相机光线（Ray-wise）采样点，用于体积渲染（RGB 和深度重建）。
  • 下游任务阶段（感知）：在车辆周围的 3D 空间中进行均匀空间采样（Spatial Sampling），覆盖感知任务相关的区域（如检测、占用预测）。
  • 一致性：无论采样方式如何，所有点都在同一系统中表示，确保跨任务的空间理解一致性。
• 坐标参数化：引入坐标收缩函数（Contraction Function），将无界环境映射到有限范围，同时保留近距离的真实比例。

2.2 特征提取与表示

• 2D 到 3D 的映射：利用可变形交叉注意力机制（Deformable Cross-Attention），将 3D 查询点投影到 2D 图像特征图上，学习相对于投影位置的采样偏移量，从而聚焦相关的图像区域。
• 统一特征嵌入：生成的 3D 点嵌入（Point Embedding）既用于渲染头（Rendering Head），也用于感知头（Perception Head）。

2.3 任务流程

• 预训练 (Pre-training)：
  • 目标：自监督学习 3D 几何和外观。
  • 损失函数：RGB 重建损失 + 深度监督损失（LiDAR） + 多视图一致性损失（Reprojection Loss）。
  • 特点：利用 SDF（有符号距离函数）和 RGB 重建来优化神经辐射场。
• 微调 (Fine-tuning)：
  • 3D 目标检测/占用预测：将预训练好的 3D 点特征直接输入到特定的检测头或占用预测头中。
  • HD 地图构建：同样利用提取的连续特征进行向量化的地图元素检测。
  • 关键点：预训练的 NeRF 网络（Backbone）在微调阶段被保留并复用，实现了知识的完整迁移。

3. 主要贡献 (Key Contributions)

1. 提出 NeRP3D 架构：首个完全继承 NeRF 连续函数特性的点基 3D 检测器，有效解决了视图变换离散先验与 NeRF 连续先验之间的冲突。
2. 统一框架与知识保留：设计了一个统一框架，使得预训练模型在下游任务中无需丢弃。NeRP3D 能够继承预训练中学到的连续、细粒度的 3D 表示，显著提升了场景重建和检测任务的性能。
3. 自适应采样机制：提出了一种通用的连续函数，支持针对不同任务（渲染需沿光线采样，感知需空间均匀采样）的自适应采样，同时保持底层 3D 表示的一致性。
4. SOTA 性能：在 nuScenes 数据集上，NeRP3D 在场景重建（RGB/深度）和下游任务（3D 检测、占用预测、HD 地图构建）上均显著超越了现有的 SOTA 方法（如 UniPAD, SelfOcc）。

4. 实验结果 (Results)

实验在 nuScenes 和 Argoverse 2 (AV2) 数据集上进行。

• 场景重建任务 (Pretext Tasks)：
  • RGB 重建：NeRP3D 的 PSNR 达到 33.42 (UniPAD 为 21.14)，SSIM 达到 0.969，LPIPS 仅为 0.070。生成的图像清晰锐利，无模糊伪影。
  • 深度估计：在 Abs Rel 指标上达到 0.183，优于 UniPAD (0.218) 和 SelfOcc。特别是在拥挤区域，能清晰区分个体（如行人），而对比方法往往将其合并为模糊团块。
• 下游感知任务 (Downstream Tasks)：
  • 3D 目标检测：在 nuScenes 验证集上，NeRP3D 的 NDS 达到 47.3，mAP 达到 42.8，优于 UniPAD (NDS 45.5, mAP 41.6)。
  • 占用预测 (Occupancy Prediction)：mIoU 达到 35.49，显著优于 UniPAD (34.05) 和 SelfOcc (29.65)。
  • HD 地图构建：mAP 达到 59.1，优于 UniPAD (57.8)。
• 泛化能力 (Generalization)：
  • 跨域零样本迁移：在 AV2 上预训练，直接在 nuScenes 上进行零样本测试（无微调）。NeRP3D 表现出极强的鲁棒性（Abs Rel 0.626 vs UniPAD 0.985），证明了其点基架构对传感器布局变化不敏感，而基于体素网格的方法在域偏移下性能严重下降。
• 消融实验：
  • 验证了连续表示在跨任务泛化中的优势：即使下游任务微调后，NeRP3D 仍能保持结构细节，而视图变换方法会出现“灾难性遗忘”，退化为均值回归。

5. 意义与结论 (Significance)

• 理论突破：论文揭示了“视图变换”与"NeRF"结合时的根本性矛盾（离散 vs 连续），并证明了放弃视图变换、直接采用连续点基表示是解决该矛盾的关键。
• 技术价值：NeRP3D 证明了预训练的 NeRF 知识可以无缝迁移到感知任务中，无需丢弃预训练网络。这为自动驾驶中的自监督预训练提供了新的范式。
• 实际应用：该方法显著提升了复杂场景（如拥挤人群、细小物体、远距离物体）的感知精度，并且具有更好的跨传感器配置泛化能力，对于构建通用的自动驾驶感知系统具有重要意义。

总结：NeRP3D 通过摒弃离散的视图变换先验，回归到 NeRF 的连续本质，成功构建了一个既能高质量重建 3D 场景，又能高效执行下游感知任务的统一框架，在多个基准测试中刷新了记录。