Resumo Técnico: Escalonamento da Geração de Cenas de Condução Centrada em Ocupação

1. Declaração do Problema

A geração de cenas de condução é essencial para o desenvolvimento da condução autónoma (AD), particularmente para a avaliação de perceção e planeamento, pois reduz a dependência da recolha de dados do mundo real, que é dispendiosa. No entanto, os modelos generativos existentes enfrentam três limitações principais:

1. Escassez de Dados: Métodos de alta performance centrados em ocupação dependem de dados de ocupação semântica anotada, que permanecem escassos e limitados em escala (por exemplo, trabalhos anteriores basearam-se no conjunto de dados Nuscenes).
2. Fragmentação de Modalidades: As abordagens atuais geralmente geram dados num único formato (por exemplo, vídeo RGB) ou dependem de condições geométricas grosseiras (mapas BEV, caixas de delimitação 3D) que falham em capturar as distribuições intrincadas das cenas do mundo real, levando a uma fidelidade subótima.
3. Restrições de Escalabilidade: Quadros unificados anteriores (por exemplo, UniScene) estão limitados pela diversidade de cenários e escala do conjunto de dados, prejudicando a sua utilidade para tarefas de downstream em grande escala.

2. Metodologia: UniScenev2

O artigo propõe o UniScenev2, um quadro unificado e centrado em ocupação, projetado para a geração de cenas dinâmicas 4D em grande escala. O sistema sintetiza ocupação semântica de alta qualidade, vídeos multivista e nuvens de pontos LiDAR através de uma arquitetura hierárquica e desentrelaçada espaço-temporal.

A. Conjunto de Dados: Nuplan-Occ

Para superar a escassez de dados, os autores compilaram o Nuplan-Occ, o maior conjunto de dados de ocupação semântica até à data.

• Escala: Contém aproximadamente 19× mais cenas anotadas e 18× mais frames do que o Nuscenes-Occupancy, totalizando ~3,6 milhões de frames com anotações de voxel de alta resolução (400×400×32).
• Estratégia de Anotação: O conjunto de dados emprega um pipeline de Agregação Separada de Fundo e Primeiro Plano (FBSA):
  1. Separação: As nuvens de pontos são separadas em fundo (estático) e primeiro plano (objetos dinâmicos) com base em caixas de delimitação.
  2. Agregação e Registo: Os pontos de fundo sofrem filtragem estatística e registo iterativo (Kiss-ICP) para reduzir o ruído e alinhar a geometria. Os pontos de primeiro plano são agregados em coordenadas locais.
  3. Reconstrução: A Reconstrução de Superfície por Núcleo Neural (NKSR) é utilizada para gerar malhas densas para o fundo e para os objetos.
  4. Rotulagem: Uma abordagem de rotulagem híbrida combina anotações de caixas de delimitação para objetos de primeiro plano e anotações de mapas BEV para regiões de fundo para atribuir rótulos semânticos precisos.

B. Geração de Ocupação 4D

O quadro decompõe a síntese de cenas 4D em duas tarefas complementares utilizando uma Arquitetura Desentrelaçada Espaço-Temporal:

1. Expansão Espacial: Um Transformer de Difusão de Ocupação Espacial (DiT) gera grelhas de ocupação semântica global expandidas a partir de ruído ou layouts BEV opcionais.
2. Previsão Temporal: Um DiT de ocupação temporal prevê sequências de ocupação futuras com base no movimento do ego estático e no movimento de objetos dinâmicos.

• Filtragem de Dados: Para treinar estes componentes distintos, o conjunto de dados é filtrado: dados Espaciais incluem cenas com movimento do veículo ego, enquanto dados Temporais incluem cenas onde o ego está estacionário, mas o tráfego circundante se move.
• Arquitetura: O sistema utiliza um VAE de Ocupação 4D (com CNN 3D e atenção axial) para compressão e um backbone DiT para remoção de ruído.

C. Geração de Vídeo Multivista

Para colmatar a lacuna entre a ocupação 3D e o vídeo 2D, os autores introduzem uma estratégia de Renderização de Mapa de Pontos Esparsos Baseada em Gaussian Splatting:

• Renderização Esparsa: As grelhas de ocupação são convertidas em primitivas Gaussianas 3D e renderizadas em mapas de pontos esparsos semânticos e de profundidade. Uma escala Gaussiana pequena (0,01) é utilizada para garantir precisão geométrica.
• Calibração Robusta: Para abordar o desalinhamento de sensores e a distorção de lentes em dados de grande escala (Nuplan), uma Transformada Unscented (UT) é integrada no pipeline de projeção. Isto aproxima a distribuição das Gaussianas 3D sob modelos de câmara não lineares, garantindo um alinhamento preciso com imagens multivista.
• Geração: Estes mapas renderizados servem como orientação condicional robusta para um Transformer de Difusão de Vídeo (DiT), que sintetiza vídeos multivista.

D. Geração de Nuvem de Pontos LiDAR

Para simular dados LiDAR realistas, o quadro emprega uma estratégia de Embedding Específico do Sensor:

• Consciência do Sensor: O modelo codifica explicitamente dados de rig de sensor LiDAR (posição e geometria de raios) utilizando codificação de Fourier e coordenadas de Plücker.
• Simulação Flexível: Uma rede de reamostragem gera um embedding unificado de rig LiDAR, permitindo que o modelo simule flexivelmente diferentes configurações e padrões de LiDAR.
• Regularização de Suavidade de Raios: Um termo de perda novel incentiva a suavidade da profundidade entre raios com características de histograma semelhantes, imitando a natureza contínua das linhas de varrimento LiDAR em superfícies planas (por exemplo, estradas).
• Saída: O modelo prevê profundidade, intensidade de reflexão e probabilidade de queda de raio para cada raio.

3. Principais Contribuições

1. Quadro Unificado Escalável: O UniScenev2 supera as limitações de escala anteriores ao escalar conjuntamente a arquitetura do modelo e os dados de treino, alcançando a geração de alta fidelidade de ocupação, vídeo e LiDAR.
2. Desentrelaçamento Espaço-Temporal: A introdução de uma arquitetura desacoplada e uma estratégia dedicada de filtragem de dados permite expansão espacial robusta e previsão temporal para cenas dinâmicas 4D.
3. Técnicas de Ponte de Modalidades:
   • Um método de renderização esparsa baseado em Gaussian Splatting com calibração Transformada Unscented para condicionamento de vídeo robusto ao ruído.
   • Um esquema de embedding específico do sensor para simulação flexível e realista de múltiplos LiDAR.
4. Conjunto de Dados Nuplan-Occ: A libertação de um benchmark massivo de ocupação semântica de alta resolução (3,6M de frames) com um pipeline de anotação FBSA novel.

4. Resultados Experimentais

Extensos experimentos nos conjuntos de validação mini e completo do Nuplan-Occ demonstram desempenho superior:

• Ocupação: Alcança 98,5% mIoU na reconstrução e 33,41% mIoU na geração (conjunto completo), superando significativamente o UniScene e o OccSora.
• Vídeo: Alcança 7,59 FID e 61,42 FVD no conjunto de validação completo, superando métodos state-of-the-art como Vista e MagicDrive.
• LiDAR: Alcança um MMD de 0,575 × 10⁻⁵ no conjunto completo, uma melhoria de 54,25% sobre o UniScene.
• Utilidade de Downstream: Os dados sintéticos gerados pelo UniScenev2 melhoram as métricas de planeamento de downstream (Colisões Sem Culpa e Conformidade com Área Transitável) no conjunto de teste NAVSIM/Nuplan. O escalamento do volume de dados gerados de 10% para 100% do Nuplan-Occ produz melhorias convincentes no desempenho de planeamento.
• Generalização: O modelo demonstra fortes capacidades de generalização em conjuntos de dados internos com diferentes configurações de sensores (6 câmaras de peixe + LiDAR frontal).

5. Significado e Alegações

O artigo alega que o UniScenev2 representa um avanço significativo na geração de cenas de condução ao abordar os gargalos críticos de escassez de dados e fragmentação de modalidades. Ao alavancar o massivo conjunto de dados Nuplan-Occ e uma abordagem unificada e centrada em ocupação, o método permite a síntese de cenas dinâmicas 4D diversas e de alta fidelidade. Os autores afirmam que este quadro não só alcança fidelidade de geração state-of-the-art, mas também fornece valor prático para a investigação de condução autónoma, melhorando o desempenho de tarefas de perceção e planeamento de downstream através de dados sintéticos escaláveis e de alta qualidade.