To View Transform or Not to View Transform: NeRF-based Pre-training Perspective

Título: Para Transformar a Visão ou Não: Uma Perspectiva de Pré-treinamento Baseada em NeRF

Autores: Hyeonjun Jeong, Juyeb Shin, Dongsuk Kum (KAIST, Coreia)

1. O Problema

O entendimento 3D de cenas para direção autônoma tem se beneficiado de duas abordagens principais:

1. Transformação de Visão (View Transformation): Métodos que projetam características 2D de múltiplas câmeras em um espaço 3D unificado (como BEV ou voxels). Eles impõem representações discretas e rígidas (baseadas em grades/voxels).
2. Campos Radiantes Neurais (NeRFs): Paradigma de pré-treinamento auto-supervisionado que aprende campos contínuos de cor e densidade para reconstrução 3D e síntese de novas visões.

O Conflito:
Métodos recentes tentaram combinar NeRFs com transformação de visão para pré-treinamento. No entanto, isso cria um conflito de priors (pressupostos):

• A transformação de visão força uma representação discreta e fixa.
• O NeRF assume uma função contínua e adaptativa.
• Ao forçar essas suposições opostas em um único pipeline, surgem representações 3D desalinhadas, resultando em objetos borrados, ambíguos e perda de detalhes geométricos finos (ex: objetos próximos colapsando em uma única mancha).
• Além disso, nessas abordagens híbridas, a rede NeRF pré-treinada é frequentemente descartada durante as tarefas de detecção downstream, desperdiçando o conhecimento adquirido sobre a representação 3D contínua.

2. Metodologia: NeRP3D

Os autores propõem o NeRP3D (NeRF-Resembled Point-based 3D Detector), uma arquitetura que evita a transformação de visão tradicional e adota uma abordagem baseada em pontos contínuos.

Principais Componentes:

• Amostragem Adaptativa e Contínua:
  • Diferente dos métodos baseados em voxels, o NeRP3D amostra pontos 3D em locais espaciais arbitrários.
  • Para Renderização (Pré-treinamento): Amostra pontos ao longo de raios de câmera (ray-wise sampling) para renderização volumétrica.
  • Para Percepção (Downstream): Amostra pontos uniformemente no espaço 3D ao redor do veículo (spatial sampling) para tarefas como detecção e ocupação.
  • Ambos os modos compartilham a mesma representação unificada, garantindo consistência.
• Representação de Pontos:
  • Utiliza uma função contínua para parametrizar coordenadas 3D, permitindo lidar com ambientes ilimitados (compressão de coordenadas para distâncias infinitas).
  • Emprega Atenção Cruzada Deformável para extrair características de imagens 2D para os pontos 3D amostrados, alinhando o contexto da imagem com a geometria 3D sem interpolação rígida de voxels.
• Arquitetura Unificada:
  • O mesmo backbone é usado tanto para o pré-treinamento (reconstrução de cena) quanto para o ajuste fino (fine-tuning) em tarefas de percepção.
  • A rede NeRF não é descartada; ela é preservada e herda o conhecimento contínuo para todas as tarefas.
• Funções de Perda:
  • Combina reconstrução RGB, supervisão de profundidade (LiDAR) e consistência multi-visão (reprojeção) para otimizar o campo radiante de forma auto-supervisionada.

3. Contribuições Chave

1. Resolução do Conflito de Priors: O NeRP3D elimina a incompatibilidade entre a transformação de visão (discreta) e o NeRF (contínuo), aprendendo representações 3D verdadeiramente contínuas e de alta fidelidade.
2. Preservação do Conhecimento Pré-treinado: Ao contrário de métodos anteriores que descartam o NeRF após o pré-treinamento, o NeRP3D mantém a rede intacta, permitindo que o conhecimento geométrico e de aparência refinado seja transferido diretamente para tarefas downstream.
3. Unificação de Tarefas: Oferece um framework unificado que suporta tanto a reconstrução de cenas (pré-texto) quanto a percepção aberta (detecção, ocupação, mapas HD) com amostragem adaptativa, sem necessidade de redes distintas.
4. Generalização Robusta: A arquitetura baseada em pontos é agnóstica ao sensor e robusta a mudanças de domínio (ex: transferência zero-shot entre conjuntos de dados com configurações de sensores diferentes).

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados nuScenes e validados em Argoverse 2 para testes de generalização.

• Reconstrução de Cena (Pré-tarefa):

  • O NeRP3D superou significativamente os métodos SOTA (UniPAD, SelfOcc) na reconstrução de RGB e profundidade.
  • Métricas: PSNR de 33.42 (vs. 21.14 do UniPAD) e SSIM de 0.969, indicando reconstruções muito mais nítidas e sem artefatos de borrão.
  • Visualmente, consegue distinguir objetos próximos e estruturas finas (como postes) que outros métodos fundem em manchas indistintas.

• Tarefas Downstream (Percepção):

  • Detecção 3D de Objetos: Alcançou 47.3 NDS e 42.8 mAP, superando o UniPAD (45.5 NDS / 41.6 mAP) e outros métodos baseados em NeRF. A melhoria é atribuída à melhor localização de caixas delimitadoras e separação de objetos densos.
  • Predição de Ocupação: Alcançou 35.49 mIoU, superando UniPAD (34.05) e SelfOcc (29.65).
  • Construção de Mapas HD: Alcançou 59.1 mAP, superando os concorrentes diretos.

• Generalização (Zero-Shot Transfer):

  • Ao pré-treinar no Argoverse 2 e testar no nuScenes sem ajuste fino, o NeRP3D manteve alta fidelidade de renderização, enquanto métodos baseados em voxels (UniPAD) falharam drasticamente devido à dependência de grades fixas alinhadas a sensores específicos.

• Eficiência de Dados:

  • O modelo manteve forte desempenho mesmo com apenas 1/8 do conjunto de dados de treinamento, demonstrando a robustez do pré-treinamento baseado em NeRF.

5. Significância e Conclusão

O trabalho demonstra que a transformação de visão (view transformation) pode ser um gargalo para o aprendizado de representações 3D de alta fidelidade quando combinada com NeRFs. O NeRP3D prova que uma abordagem baseada em pontos contínuos é superior, permitindo que o modelo herde completamente as capacidades de modelagem geométrica fina do NeRF.

Isso resulta em:

• Melhoria simultânea na reconstrução de cenas e em tarefas críticas de direção autônoma.
• Uma arquitetura mais robusta a mudanças de sensores e domínios.
• Um novo paradigma onde o pré-treinamento e a inferência de percepção compartilham a mesma representação contínua, eliminando o desperdício de conhecimento adquirido durante o pré-treinamento.

Em suma, o artigo sugere que, para o futuro da percepção 3D em direção autônoma, deve-se abandonar a rigidez das grades de voxels em favor de representações contínuas inspiradas em NeRFs.