Easy3D-Labels: Supervising Semantic Occupancy Estimation with 3D Pseudo-Labels for Automotive Perception

1. O Problema

A percepção para veículos autônomos exige representações precisas do ambiente 3D para garantir a segurança, especialmente para usuários vulneráveis (pedestres e ciclistas).

• Limitações das Representações Atuais: Métodos tradicionais, como a Visão de Pássaro (Bird's Eye View - BEV), colapsam a informação vertical, gerando ambiguidades na localização 3D de objetos e limitando o planejamento de trajetória.
• Desafios da Ocupação Semântica Auto-supervisionada: Embora a estimativa de ocupação semântica ofereça uma representação 3D completa, os métodos auto-supervisionados atuais dependem de rótulos 2D (imagens) para treinamento. Para supervisionar o modelo 3D com dados 2D, eles utilizam técnicas complexas como Síntese de Nova Visão (Novel View Synthesis) e renderização volumétrica (NeRF ou Gaussian Splatting).
• Consequências Negativas: Essas abordagens de renderização 2D impõem altos custos computacionais e de memória durante o treinamento. Além disso, introduzem vieses (tendência a objetos próximos), detecções imprecisas e duplicação de objetos, além de falharem em entender regiões oclusas de forma holística.

2. Metodologia: Easy3D-Labels

Os autores propõem o Easy3D-Labels, uma técnica para gerar rótulos pseudo-ground-truth em 3D, permitindo a supervisão direta no espaço 3D, eliminando a necessidade de renderização 2D complexa.

Geração dos Rótulos (Pipeline)

O processo envolve três etapas principais, ilustradas na Figura 1 do artigo:

1. Geração de Nuvem de Pontos Semântica:
   • Utiliza Grounded-SAM para obter mapas semânticos 2D de alta qualidade.
   • Utiliza Metric3Dv2 para obter mapas de profundidade métrica 2D.
   • Projeta os pixels 2D para coordenadas 3D globais usando a matriz intrínseca da câmera e a transformação câmera-global.
2. Densificação Temporal:
   • Agrega nuvens de pontos de quadros temporais anteriores ($\Delta t$).
   • Filtro Dinâmico: Remove pontos de objetos dinâmicos (veículos, pedestres) dos quadros anteriores para evitar a duplicação de objetos em movimento no rótulo final. Mantém apenas objetos estáticos (estrada, calçada, edifícios) para aumentar a densidade e cobertura.
3. Voxelização:
   • A nuvem de pontos densificada é convertida em uma grade de voxels 3D.
   • Um voxel é considerado ocupado apenas se contiver um número mínimo de pontos (limiar de 10), filtrando ruídos. O rótulo semântico é atribuído pela classe majoritária.

Modelo EasyOcc

• Introduziram o EasyOcc, um modelo simplificado que utiliza apenas os Easy3D-Labels para supervisão.
• Arquitetura: Elimina componentes complexos como estimativa de pose, síntese de nova visão e consistência fotométrica multiframe.
• Fluxo: Imagens $\rightarrow$ Encoder (ResNet) $\rightarrow$ Amostragem Bilinar para 3D $\rightarrow$ CNN 3D $\rightarrow$ Perda Pseudo (comparação direta com Easy3D-Labels).

Função de Perda (Pseudo-Loss)

A supervisão é feita através de uma função de perda composta por:

• Cross-Entropy (LCE): Para classificação semântica.
• Perda de Geometria ($L_{Geometry}$): Inclui perda de escala geométrica, escala semântica e Lovász-Softmax.
• A perda é aplicada diretamente na grade de voxels semânticos.

3. Contribuições Principais

1. Easy3D-Labels: Uma abordagem inovadora que gera rótulos 3D usando fundações (Foundation Models: Grounded-SAM e Metric3Dv2) sem necessidade de LiDAR ou anotação manual. Permite integração como perda auxiliar em modelos existentes.
2. Segmentação de Classes Dinâmicas: Demonstração de que os rótulos 3D melhoram drasticamente a detecção de usuários vulneráveis. No modelo SelfOcc, a segmentação de pedestres melhorou em mais de 600%.
3. Representação Holística da Cena: Redução de duplicação de objetos e melhoria na estimativa de profundidade, refletida no aumento do métrico RayIoU.
4. EasyOcc: Um modelo eficiente que, apesar de não usar renderização complexa, atinge desempenho competitivo (15.7 mIoU) usando apenas os rótulos pseudo 3D.

4. Resultados Experimentais

Os modelos foram avaliados nos conjuntos de dados Occ3D-nuScenes e OpenOccv2.

• Desempenho em mIoU (Interseção sobre União Média):
  • Ao aplicar Easy3D-Labels ao OccNeRF, houve um aumento de 45% no mIoU.
  • O EasyOcc alcançou 15.7 mIoU, superando métodos baseados em Gaussian Splatting (como GaussTR) e superando o OccNeRF original.
• Desempenho em RayIoU (Métrica de Raio):
  • Esta métrica penaliza a superestimação de profundidade e duplicação de objetos.
  • O OccNeRF com Easy3D-Labels mostrou um aumento de 49% no RayIoU, indicando uma estimativa de profundidade muito mais precisa e menos ruído.
• Eficiência Computacional:
  • O EasyOcc removeu a etapa de renderização durante o treinamento, reduzindo o tempo de treinamento para 1h 25m (vs. 5h 8m do OccNeRF original) e eliminando o custo de inferência de modelos de fundação durante a execução do modelo final.
• Análise Qualitativa:
  • Os modelos com Easy3D-Labels corrigiram erros de duplicação de objetos e melhoraram a detecção de estruturas oclusas (como beirais de prédios e áreas sob o veículo), que eram frequentemente ignorados ou mal representados pelos métodos baseados em 2D.

5. Significado e Impacto

• Mudança de Paradigma: O trabalho demonstra que a supervisão direta em 3D, utilizando rótulos pseudo-gerados por modelos de fundação, é superior à supervisão indireta via renderização 2D complexa.
• Escalabilidade e Custo: Ao eliminar a necessidade de LiDAR para treinamento e reduzir drasticamente o custo computacional de renderização, o método torna a estimativa de ocupação semântica mais acessível e escalável.
• Segurança: A melhoria significativa na detecção de pedestres e ciclistas (usuários vulneráveis) é crucial para a segurança de veículos autônomos.
• Futuro: O estudo sugere que a combinação de informações temporais, modelos de fundação e formulação de perda em 3D é o caminho para fechar a lacuna de desempenho entre métodos supervisionados e auto-supervisionados.

Em resumo, o Easy3D-Labels oferece uma solução elegante e eficiente para o problema de anotação 3D, permitindo que modelos de ocupação semântica aprendam geometria e semântica de forma mais robusta, precisa e econômica.