4DLidarOpen: An Open 4D FMCW Lidar Dataset for Motion-Aware Autonomous Driving

Resumo Técnico do 4DLidarOpen: Um Conjunto de Dados Aberto de Lidar 4D FMCW para Condução Autônoma Consciente de Movimento

Declaração do Problema
À medida que os sistemas de condução autônoma evoluem para o Nível 3 e além, o campo está migrando para paradigmas de aprendizado de ponta a ponta (E2E) que integram percepção, previsão e planejamento. No entanto, os conjuntos de dados existentes em grande escala (por exemplo, KITTI, nuScenes, Waymo) dependem principalmente de Lidar de Tempo de Voo (ToF) convencional e câmeras. Esses sensores fornecem medições geométricas robustas, mas carecem de observabilidade direta e instantânea do movimento dos objetos. Consequentemente, os sistemas atuais devem inferir o movimento indiretamente por meio de associação quadro a quadro ou agregação heurística de características, o que frequentemente dilui a consistência temporal e degrada o desempenho em cenários complexos, de alta velocidade ou de interação densa. Existe uma lacuna crítica em benchmarks públicos para compreensão de cenas 4D que aproveitem medições diretas de velocidade radial para apoiar a percepção e o planejamento conscientes de movimento.

Metodologia e Construção do Conjunto de Dados
Para abordar essa lacuna, os autores apresentam o 4DLidarOpen, um conjunto de dados multimodal aberto e em grande escala centrado na detecção por Lidar de Onda Contínua Modulada em Frequência (FMCW) 4D. O conjunto de dados foi coletado em ambientes urbanos complexos em Pequim, abrangendo cenários diversos, incluindo interações densas com pedestres, tráfego congestionado, condução em alta velocidade e manobras desprotegidas.

• Configuração de Sensores: O veículo de coleta de dados está equipado com um conjunto sincronizado de cinco Lidares e cinco câmeras de visão panorâmica. O sensor principal é um Lidar FMCW 4D voltado para a frente que fornece dados pontuais $(x, y, z, v)$, onde $v$ representa a velocidade radial instantânea. Isso é complementado por um Lidar OT rotativo de 360° (para referência geométrica de alta qualidade), um Lidar AT de estado sólido (para varredura frontal de alta densidade) e dois Lidares ATX de ponto cego. Todos os sensores estão sincronizados por hardware com alinhamento temporal submilissegundo (dentro de $\pm 1,39$ ms) e calibrados conjuntamente.
• Estratégia de Anotação: O conjunto de dados emprega uma abordagem híbrida de anotação. Inclui 225 cenários anotados por humanos (167 para treinamento, 58 para validação) com caixas delimitadoras 3D e IDs de rastreamento persistentes em cinco categorias de objetos (Carro, Van, Pedestre, Ciclista, Cone de Trânsito). Para apoiar o aprendizado auto-supervisionado escalável, os autores também lançam três níveis de dados rotulados automaticamente contendo até 2.000 sequências. O pipeline de anotação utiliza um sistema de rotulagem automática refinado por especialistas humanos, garantindo alta fidelidade para objetos dentro de 150 metros.
• Privacidade: Todos os rostos e placas de licença são automaticamente borrados para cumprir as regulamentações de privacidade.

Principais Contribuições

1. Lançamento do Conjunto de Dados: Os autores lançam o 4DLidarOpen, o primeiro corpus em grande escala que acopla dados de Lidar FMCW 4D com percepção de alto nível e anotações de condução E2E. Ele integra fluxos heterogêneos de Lidar (FMCW, rotativo, estado sólido, ponto cego) com câmeras sincronizadas e poses ego de 6 graus de liberdade (6-DOF).
2. Benchmarks Unificados: O artigo estabelece benchmarks padronizados para três tarefas críticas: detecção de objetos 3D, segmentação e previsão de fluxo em Visão de Pássaro (BEV), e previsão de movimento acoplada ao planejamento de trajetória.
3. Análise Empírica da Velocidade: Os autores fornecem uma avaliação sistemática quantificando o papel da velocidade radial pontual. Eles demonstram que, embora o Lidar FMCW 4D possa ter resolução espacial inferior à dos Lidares de varredura para geometria estática, suas medições diretas de velocidade oferecem pistas de movimento complementares que melhoram significativamente a compreensão de cenas dinâmicas.

Resultados Experimentais
Os autores avaliaram o conjunto de dados utilizando modelos de última geração (por exemplo, CenterPoint, Sparse4D, MotionNet, PriorMotion, SparseDrive, DiffusionDrive) em diferentes configurações de sensores.

• Detecção de Objetos 3D: Em termos de métricas brutas de detecção (mAP/NDS), o Lidar AT128 de estado sólido alcançou o melhor desempenho, seguido pelo OT128 rotativo, com o Lidar FMCW 4D apresentando pontuações brutas de detecção ligeiramente inferiores. No entanto, estudos de ablação revelaram que a incorporação do canal de velocidade radial ($v$) na entrada do FMCW 4D melhorou significativamente o desempenho de detecção, particularmente para usuários vulneráveis da via dinâmicos (por exemplo, a precisão para pedestres aumentou de 17,59% para 48,28% quando a velocidade foi adicionada).
• Segmentação BEV e Previsão de Fluxo: Modelos que utilizam dados FMCW 4D com fusão de velocidade (por exemplo, PriorMotion) alcançaram os menores erros de previsão de movimento em regimes estáticos, lentos e rápidos. O canal de velocidade reduziu notavelmente os erros de células estáticas em uma ordem de grandeza, indicando compensação superior do movimento do ego e estabilização de fundo.
• Previsão de Movimento e Planejamento: Em uma descoberta contra-intuitiva, a configuração com Lidar FMCW 4D superou tanto o AT128 quanto o OT128 em tarefas de previsão de movimento e planejamento de ponta a ponta, apesar de sua menor precisão bruta de detecção. A configuração FMCW alcançou o menor Erro de Deslocamento Médio (ADE) e o menor Erro de Deslocamento Final (FDE). Os autores atribuem isso às medições diretas de velocidade que permitem uma inicialização de movimento mais robusta e reduzem a ambiguidade multimodal na previsão de trajetória, o que é crítico para o planejamento de longo horizonte.

Significado e Alegações
O artigo afirma que o 4DLidarOpen fornece uma base reproduzível para o avanço da condução autônoma consciente de movimento. Os autores argumentam que, embora os Lidares de varredura tradicionais se destaquem na reconstrução geométrica densa, o Lidar FMCW 4D oferece uma vantagem distinta na compreensão de cenas dinâmicas ao fornecer pistas de movimento diretas e instantâneas. Essa capacidade permite que agentes autônomos detectem objetos dinâmicos mais cedo (por exemplo, detectando um cone rolando ou um pedestre correndo no primeiro quadro, em vez de após vários quadros de acumulação) e planejem de forma mais robusta.

Os autores concluem que o Lidar FMCW 4D é uma modalidade de sensoriamento promissora que complementa os sensores existentes. Eles sugerem que os sistemas futuros devem considerar o co-design de modalidades de sensoriamento com arquiteturas conscientes de movimento para aproveitar plenamente as capacidades únicas da medição direta de velocidade, avançando além da análise de cenas estáticas em direção a uma verdadeira compreensão de cenas 4D. O conjunto de dados e o kit de ferramentas de avaliação foram lançados publicamente para facilitar a pesquisa em compreensão de cenas 4D, fusão de múltiplos Lidares e percepção e planejamento conscientes de velocidade.