JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

Enunciado do Problema

A estimativa de profundidade 3D precisa e de baixa latência é crítica para sistemas autônomos. Embora as câmeras forneçam pistas de aparência densas, elas carecem de escala métrica. Por outro lado, o radar mmWave automotivo oferece alcance métrico e robustez climática, mas produz dados esparsos, ruidosos e com resolução angular limitada. Os pipelines de fusão radar-câmera existentes frequentemente sofrem com alta latência e complexidade devido a arquiteturas de múltiplos estágios, dependência de modelos de profundidade monoculares pré-treinados ou necessidade de anotações auxiliares (ex: máscaras semânticas, caixas delimitadoras) e acumulação de múltiplos scans de LiDAR para construir o ground truth. Além disso, o treinamento com supervisão de LiDAR de scan único frequentemente leva ao Vazamento de Distribuição de LiDAR (LDL - LiDAR Distribution Leakage), onde o modelo aprende a reproduzir o padrão de amostragem específico do scanner, resultando em artefatos visíveis de listras horizontais nos mapas de profundidade preditos.

Metodologia

Os autores propõem o JustDepth, um estimador de profundidade radar-câmera de estágio único projetado para inferência em tempo real sem anotações auxiliares. A arquitetura consiste em três componentes primários:

1. Codificação de Radar de Largura Fixa:

   • Os retornos do radar são projetados no plano da imagem, retendo apenas a coordenada de pixel horizontal ($u$) e o alcance.
   • Esses pontos são rasterizados em uma grade 1D de largura fixa $W$. Para cada coluna, o alcance mínimo é armazenado; colunas vazias são zeradas.
   • Um backbone convolucional 1D processa essa grade, produzindo um mapa de características latentes $r_L \in \mathbb{R}^{B \times C \times w}$. Crucialmente, como a largura da grade é fixa, a computação e a latência do codificador permanecem constantes, independentemente do número de pontos de radar brutos.

2. Bloco de Fusão de Altura (Height Fusion Block):

   • Este módulo alinha as características 2D da imagem ($i_L$) e as características 1D do radar ($r_L$).
   • A característica do radar é repetida ao longo da dimensão de altura para corresponder à altura da característica da imagem, criando uma sequência de tokens por coluna de tamanho $h \times 2C$.
   • Um mecanismo de autoatenção por altura (height-wise self-attention) processa cada coluna de forma independente, permitindo que o modelo aprenda posições verticais consistentes para os priors de radar dentro de cada coluna da imagem. Isso é seguido por uma rede feed-forward e um módulo convolucional leve para restaurar o contexto 2D.

3. Propagação Global Baseada em Grafos:

   • Uma Rede Neural de Grafos (GNN) com $N$ camadas propaga pistas de profundidade globalmente.
   • Nós representam tokens espaciais no mapa de características. As arestas são construídas usando uma busca de K-Vizinhos Mais Próximos (K-NN) no espaço de características.
   • A rede utiliza Convolução de Grafo de Máximo Relativo (MR-Conv), onde as mensagens são formadas pela diferença máxima entre um nó e seus vizinhos. Isso permite que a informação de profundidade se propague de regiões suportadas pelo radar ou supervisionadas pelo LiDAR para áreas não supervisionadas, mesmo através de grandes distâncias, se as características forem semelhantes.

4. Decoders:

   • Decoder de Profundidade: Um caminho de upsampling estilo U-Net funde as características propagadas globalmente com conexões de salto (skip connections) do encoder da imagem para produzir o mapa de profundidade denso final.
   • Decoder de Confiança (Apenas para Treinamento): Uma cabeça auxiliar prevê um mapa de confiança por pixel indicando o quão fortemente um pixel é suportado pelo radar. Este ramo é usado exclusivamente para supervisão durante o treinamento para estabilizar o aprendizado e é descartado na inferência, incorrendo em custo zero no tempo de teste.

5. Mitigação de Vazamento de Distribuição de LiDAR (LDL):

   • Para evitar que o modelo sofra overfitting aos scanlines horizontais do LiDAR de scan único, os autores empregam duas estratégias:
     • Upsampling de Pontos: Pontos médios são inseridos entre pares adequados de pontos LiDAR para densificar a supervisão.
     • Rotação Sincronizada com Preenchimento de Reflexão (Reflection Padding): A imagem, o radar e o LiDAR são rotacionados pelo mesmo ângulo aleatório. O preenchimento de reflexão é aplicado à imagem para evitar que bordas pretas atuem como pistas de rotação. Isso força o modelo a aprender a consistência de profundidade independentemente da orientação das listras.

Principais Contribuições

• Arquitetura de Estágio Único e Latência Constante: O JustDepth codifica todos os retornos de radar em uma representação 1D de largura fixa, desacoplando o tempo de execução da contagem de pontos e eliminando a necessidade de refinamentos de múltiplos estágios ou módulos monoculares pré-treinados.
• Decoder de Confiança Apenas para Treinamento: Uma cabeça auxiliar inovadora que supervisiona o módulo de fusão para localizar pixels suportados pelo radar sem gerar um mapa de profundidade intermediário. Isso melhora a precisão sem adicionar latência na inferência.
• Estratégia de Mitigação de LDL: Uma combinação de upsampling de pontos e rotação sincronizada com preenchimento de reflexão reduz efetivamente os artefatos de listras.
• Métrica VHGR: Os autores introduzem a Razão de Gradiente Vertical-Horizontal (VHGR) para medir quantitativamente o desequilíbrio entre os gradientes de profundidade vertical e horizontal, servindo como uma métrica específica para quantificar artefatos de listras causados por LDL.

Resultados Experimentais

Avaliado no conjunto de dados nuScenes (intervalos de 0–50m, 0–70m e 0–80m):

• Eficiência: O JustDepth alcança um tempo de inferência de 14,8 ms por frame em uma NVIDIA RTX 4070 Ti. Isso é aproximadamente 39,7× mais rápido que o método de estado da arte GET-UP e significativamente mais rápido que outros métodos concorrentes, permitindo a implantação em tempo real.
• Precisão: Apesar de usar apenas um único sweep de LiDAR e nenhuma anotação auxiliar, o JustDepth mantém uma precisão competitiva. Ele alcança um MAE de 1324,2 mm (0–50m) e 1674,0 mm (0–70m), superando Li et al. [10] e alcançando o melhor AbsRel (0,074) entre os métodos comparados.
• Redução de Artefatos: O JustDepth alcança o menor VHGR (0,1767) entre todos os métodos comparados, indicando uma redução significativa nos artefatos de listras horizontais em comparação com métodos como GET-UP (0,5210) e Li et al. (0,1868).
• Estudos de Ablação: Remover o GNN, o bloco de autoatenção da Fusão de Altura ou as estratégias de mitigação de LDL (rotação/upsampling) degrada consistentemente o desempenho. Notavelmente, embora as estratégias de mitigação de LDL aumentem ligeiramente os erros padrão (MAE/RMSE) ao impedir que o modelo "trapaceie" ao combinar o padrão esparso do LiDAR, elas reduzem drasticamente o VHGR e produzem mapas de profundidade visualmente mais limpos e fisicamente mais plausíveis.

Significância e Alegações

O artigo afirma que o JustDepth representa um passo significativo em direção à percepção radar-câmera prática e em tempo real. Ao demonstrar que uma profundidade métrica densa e de alta qualidade pode ser alcançada usando apenas supervisão de LiDAR de scan único, sem rótulos auxiliares ou pipelines complexos de múltiplos estágios, o método aumenta a portabilidade entre datasets e sensores. Os autores enfatizam que sua abordagem consegue equilibrar o trade-off entre latência e precisão, alcançando desempenho em tempo real enquanto mitiga os problemas específicos de artefatos (listras) inerentes à supervisão de scan único. A introdução do VHGR fornece uma ferramenta necessária para avaliar a qualidade visual dos mapas de profundidade além das métricas de erro padrão, destacando que um MAE menor nem sempre equivale a uma melhor fidelidade estrutural na presença de LDL.