Horizon3D: Sparse Radar-Camera Fusion for Long-Range 3D Perception in Autonomous Driving

Resumo Técnico: Horizon3D

Problema
A detecção de objetos 3D de longo alcance confiável é crítica para a condução autônoma segura, particularmente em velocidades de rodovia, onde as distâncias de frenagem exigem a percepção precisa de objetos além de 150 metros. Embora os métodos baseados em LiDAR tenham dominado este espaço, seu alto custo e vulnerabilidade a condições climáticas adversas limitam a implantação em larga escala. A fusão radar-câmera oferece uma alternativa de baixo custo, porém os métodos existentes enfrentam limitações significativas em cenários de longo alcance.

• Métodos baseados em BEV codificam efetivamente o contexto ao nível da cena, mas incorrem em custos computacionais que crescem rapidamente à medida que o alcance de detecção aumenta. Além disso, suas grades densas uniformes têm dificuldade em preservar detalhes finos ao nível do objeto.
• Métodos baseados em consultas (query-based) fornecem uma codificação eficiente e centrada no objeto, mas frequentemente carecem de contexto suficiente ao nível da cena.
• Desafios de Fusão Temporal: Objetos de longo alcance produzem retornos de radar esparsos e ocupam poucos pixels na imagem, necessitando de acumulação multiframe. Por outro lado, o movimento de alta velocidade causa grandes deslocamentos entre frames, exigindo um modelamento de movimento preciso ao nível do objeto. As abordagens existentes baseiam-se ou na agregação densa de BEV (computacionalmente cara) ou na propagação de consultas de objetos (carecendo de contexto de cena), falhando em abordar conjuntamente a esparsidade por frame e a dinâmica ao nível do objeto de forma eficiente.

Metodologia: Horizon3D
Os autores propõem o Horizon3D, um framework de fusão radar-câmera esparso que emprega uma representação híbrida combinando primitivas Gaussianas com características esparsas de Bird's Eye View (BEV). A arquitetura consiste em três módulos primários:

1. Inicialização Gaussiana Guiada por Pontos-Chave (KGGI):
   Em vez de manter um grande conjunto de Gaussianas em toda a cena, o KGGI estima pontos-chave de objetos a partir de características de radar e câmera para inicializar um conjunto compacto de primitivas Gaussianas.

• Ramo de Radar: Utiliza o VoxelNeXt para gerar características BEV de radar esparsas, das quais as células com as maiores pontuações são selecionadas como pontos-chave de radar.
• Ramo de Câmera: Utiliza um cabeçalho de pontos-chave 2D e um cabeçalho de profundidade para elevar os candidatos de maior pontuação para 3D, projetando-os como pontos-chave de câmera.
• Inicialização: As primitivas Gaussianas são ancoradas nesses pontos-chave estimados (mais um pequeno número de Gaussianas aleatórias e históricas). Cada Gaussiana é parametrizada por média, escala, rotação, opacidade, velocidade e um vetor de características. Esta abordagem garante uma codificação centrada no objeto sem cobertura espacial redundante.

2. Fusão Esparsa Centrada no Objeto (OCSF):
   Este módulo agrega características multimodais ao redor das primitivas Gaussianas inicializadas e as refina iterativamente.

• Codificador Gaussiano Multimodal: Ao longo de múltiplas camadas, o codificador utiliza atenção cruzada deformável para reunir contextos específicos de modalidade (BEV de radar e características de imagem multi-view) ao redor da média de cada Gaussiana.
• Refinamento: Os parâmetros das Gaussianas (média, escala, rotação, etc.) são atualizados com base nas características agregadas para melhor alinhar-se com a geometria do objeto 3D.
• Splatting Centrado no Objeto: As Gaussianas refinadas são projetadas (splatted) no plano BEV. Um mapa de ocupação agnóstico à classe é gerado, e "Conjuntos de Gaussianas Ativas" são agrupados via agregação ponderada por Gaussiana para criar uma representação BEV esparsa e centrada no objeto. Esta é fundida com características BEV de radar esparsas para combinar detalhes finos do objeto com o contexto da cena, evitando a construção de um BEV denso.

3. Fusão Temporal de Via Dupla (DPTF):
   Para lidar com a esparsidade de longo alcance e o movimento de alta velocidade, o DPTF integra pistas temporais através de dois caminhos complementares, ambos utilizando velocidades previstas para compensação de movimento:

• Caminho BEV: Acumula características BEV de primeiro plano de múltiplos frames. Ele prevê a ocupação e a velocidade planar para células não vazias, armazenando apenas estas características em um banco de memória. Os frames históricos são deformados para o frame atual usando deformação guiada por ego-movimento e velocidade antes de serem empilhados e fundidos via convoluções esparsas.
• Caminho Gaussiano: Propaga as Gaussianas passadas para o frame atual. Um subconjunto espacialmente diverso de Gaussianas históricas (selecionado via Farthest Point Sampling) é deformado usando velocidades previstas e ego-movimento. Estas são mescladas com as Gaussianas do frame atual e processadas através do pipeline OCSF, com atenção de auto-temporal adicional para lidar com desalinhamentos residuais.

Principais Contribuições

• Representação Híbrida: A introdução de um framework esparso que captura conjuntamente o detalhe ao nível do objeto e o contexto ao nível da cena usando primitivas Gaussianas e características BEV esparsas.
• KGGI e OCSF: Um mecanismo para inicializar Gaussianas em pontos-chave estimados pelos sensores e refiná-las iterativamente, permitindo uma codificação eficiente centrada no objeto sem grades BEV densas.
• Fusão Temporal de Via Dupla (DPTF): Uma estratégia de fusão temporal inovadora que aborda simultaneamente a esparsidade por frame (via acumulação de BEV) e o movimento ao nível do objeto (via propagação de Gaussianas), utilizando compensação de velocidade explícita em ambos os caminhos.
• Desempenho de Estado da Arte: Demonstração de eficácia no benchmark TruckScenes para cenários de longo alcance e alta velocidade.

Resultados Experimentais
Avaliado no conjunto de dados TruckScenes (apresentando alcances de detecção de até 150m e altas velocidades), o Horizon3D alcança o estado da arte entre os métodos de fusão radar-câmera:

• Desempenho: No conjunto de validação, o Horizon3D supera o melhor método de radar-câmera anterior (SpaRC) em +3.0 NDS e +1.6 mAP. Também supera o anterior melhor método baseado em BEV (CRT-Fusion) por uma margem significativa.
• Comparação com LiDAR: Notavelmente, o Horizon3D excede o desempenho do CenterPoint-V (um método baseado em LiDAR) em +0.8 NDS e +1.0 mAP no split de teste, apesar de utilizar entradas de imagem de menor resolução.
• Eficiência: O método mantém uma representação esparsa, alcançando velocidades de inferência competitivas (8.5 FPS) e uso moderado de memória (3.2 GB), superando significativamente os métodos BEV densos em eficiência enquanto evita a queda de precisão dos métodos baseados em consultas.
• Estudos de Ablação: Experimentos confirmam que a inicialização KGGI, o alargamento da caixa delimitadora para supervisão de ocupação e a combinação de ambos os caminhos BEV e Gaussiano no DPTF são críticos para o desempenho. A análise por distância mostra ganhos consistentes em todos os alcances, com melhorias particularmente notáveis em 25–50m e 100–150m.

Significância
O artigo afirma que o Horizon3D aborda o compromisso fundamental na percepção de longo alcance entre eficiência computacional e a necessidade de contexto ao nível da cena e detalhe ao nível do objeto. Ao evitar a construção de BEV denso enquanto ainda captura a dinâmica temporal e o contexto da cena através de uma abordagem híbrida de Gaussiana-BEV esparso, o framework permite uma percepção de condução autônoma de alta velocidade robusta usando conjuntos de sensores radar-câmera de baixo custo. Os resultados sugerem que esta abordagem híbrida é uma alternativa viável e superior tanto aos paradigmas de BEV denso quanto aos puramente baseados em consultas para detecção de alcance estendido.