Selection, Not Fusion: Radar-Modulated State Space Models for Radar-Camera Depth Estimation

Resumo Técnico: Seleção, Não Fusão: Modelos de Espaço de Estado Modulados por Radar para Estimativa de Profundidade Radar-Câmera

Declaração do Problema
A estimativa métrica de profundidade densa por pixel é crítica para a condução autônoma e a robótica, mas as câmeras monoculares sofrem com ambiguidade de escala e degradação em condições climáticas adversas (chuva, neblina, pouca luz). Embora o LiDAR forneça profundidade métrica precisa, seus custos e requisitos de energia limitam-no a sistemas premium. O radar automotivo de ondas milimétricas oferece uma alternativa métrica, de baixo custo e para todas as condições climáticas, mas é severamente limitado pela esparsidade (40–100 retornos por quadro no campo de visão da câmera frontal) e por ambiguidades angulares/altimétricas.

Os métodos existentes de estimativa de profundidade radar-câmera geralmente abordam isso fundindo características de radar e imagem no nível das características (por exemplo, concatenação, controle de porta, extração baseada em grafos) fora do operador de sequência do backbone. Mesmo variantes recentes multimodais de Modelos de Espaço de Estado Seletivos (SSMs) como o Mamba frequentemente empilham fluxos específicos de modalidade antes de uma varredura compartilhada, deixando o próprio mecanismo de seleção central unimodal. Os autores argumentam que essa abordagem de "fusão fora da varredura" falha em aproveitar as capacidades únicas dos SSMs, onde o mecanismo de seleção governa a propagação de informações de longo alcance.

Metodologia: SemoDepth
O artigo propõe o SemoDepth, um estimador de profundidade radar-câmera de estágio único que integra dados de radar diretamente no mecanismo de varredura seletiva do backbone Mamba, em vez de fundi-lo como um fluxo de características separado.

1. Seleção Modulada por Radar (RMS):
   A inovação central é injetar sinais de radar nos parâmetros de varredura seletiva do bloco Mamba. Em um bloco Mamba padrão, a recorrência é governada por um tamanho de passo dependente da entrada $\Delta_t$ (horizonte de memória) e um vetor de leitura $C_t$.

   • Mecanismo: O radar contribui com perturbações aditivas e inicializadas em zero para $\Delta_t$ e $C_t$. A projeção de entrada $B_t$ e a matriz de dinâmica de estado $A$ permanecem apenas de imagem.
   • Modulação do Horizonte: O radar modula $\Delta_t$ por meio de um portão aprendido, permitindo que o radar ajuste localmente o quão longe a informação se propaga ao longo da sequência.
   • Modulação da Leitura: O radar adiciona um termo a $C_t$, remodelando o que é extraído do estado oculto sem alterar a recorrência armazenada.
   • Inicialização: Todas as projeções de radar são inicializadas em zero. Na inicialização ($t=0$), o bloco é matematicamente equivalente a um Mamba vanilla, apenas de imagem. Isso garante que o modelo preserve o desempenho pré-treinado apenas de imagem e permita que os gradientes de radar fluam apenas onde melhoram a precisão.

2. Pirâmide de Varredura Multi-Visão (MVSP):
   Para abordar a eficiência computacional e o alcance espacial variável do radar em diferentes escalas, o decodificador emprega uma estratégia de fusão de três níveis:

   • Escalas Mais Grossas (Nível 3): RMS de imagem completa em quatro direções. Isso aproxima um campo receptivo 2D com custo linear, agregando contexto em toda a cena.
   • Escala Média (Nível 2): RMS em janelas centradas nos retornos de radar projetados. A capacidade de varredura é concentrada apenas onde o radar suporta a imagem.
   • Escalas Mais Finas (Nível 1): Modulação Linear Específica de Características (FiLM) de custo constante. Isso mantém um sinal de radar ativo em resolução total sem o custo quadrático da varredura.

3. Objetivo de Treinamento:
   O modelo é treinado com uma função de perda composta que equilibra supervisão densa robusta (LiDAR acumulado) e supervisão esparsa precisa (LiDAR de varredura única), incluindo perdas em espaço logarítmico, linear e de gradiente.

Principais Contribuições

• Seleção Dentro da Varredura: O artigo introduz um mecanismo principiado (RMS) onde o radar modula a dinâmica de recorrência ($\Delta$ e $C$) de um SSM. Isso muda fundamentalmente como a informação é armazenada e propagada, em vez de apenas como as características são combinadas.
• Três Vantagens Teóricas:
  1. Acoplamento de custo linear: O radar molda a recorrência em cada token com custo $O(L)$, evitando o custo $O(L^2)$ da atenção cruzada.
  2. Inicialização que preserva a perda: A inicialização em zero garante que o modelo comece como um backbone puro de imagem, preservando os pesos pré-treinados.
  3. Fallback apenas de imagem: Na ausência de radar, o modelo degrada-se naturalmente para o comportamento apenas de imagem sem reconfiguração arquitetural.
• Arquitetura MVSP: Um decodificador que ajusta o operador de fusão ao alcance espacial efetivo do radar em cada resolução, concentrando o processamento onde é mais eficaz.

Resultados
Avaliado nos conjuntos de dados nuScenes e ZJU-4DRadarCam, o SemoDepth alcança desempenho de última geração:

• nuScenes: O SemoDepth reduz o Erro Absoluto Médio (MAE) em 34,0% (0–50m), 29,9% (0–70m) e 29,9% (0–80m) em comparação com o melhor anterior (TacoDepth). Também alcança a menor latência de inferência de quadro único (26,8 ms) entre os métodos com versões públicas.
• ZJU-4DRadarCam: O SemoDepth atinge o melhor MAE em todas as faixas de avaliação.
• Descobertas de Ablação:
  • Substituir as varreduras baseadas em Mamba da MVSP por modulação FiLM uniforme degrada o MAE@80 em 18%, confirmando a necessidade arquitetural dos níveis de varredura.
  • Adicionar mistura de características "fora da varredura" (fusão pré-varredura) sobre o RMS não fornece nenhuma precisão adicional, validando empiricamente que a seleção dentro da varredura pode substituir a fusão tradicional fora da varredura.
  • A diferença de desempenho é mais pronunciada em condições diurnas onde a evidência da imagem é forte; em condições noturnas (adversárias à câmera), a diferença diminui, e a fusão baseada em atenção permanece competitiva em curtas distâncias.

Significado e Alegações
O artigo alega que, para modelos de sequência com recorrência dependente da entrada, o próprio mecanismo de seleção serve como um substrato superior para interação multimodal em comparação com a fusão no nível das características. Ao modular a dinâmica de recorrência diretamente, o modelo aproveita a "âncora métrica" dos retornos esparsos de radar para propagar informações através de toda a sequência, em vez de apenas no vizinho local.

Os autores posicionam este trabalho como uma mudança conceitual: a aprendizagem multimodal deve ser reconsiderada a partir da perspectiva da seleção e não da representação. Eles sugerem que essa receita se estende a outros pares de modalidades esparsas mais densas (por exemplo, LiDAR-câmera, radar-termal) e tarefas além da estimativa de profundidade.

Limitações
Os autores reconhecem várias limitações:

• Escopo de Modalidade: O método é validado apenas em câmera frontal + radar automotivo; a transferência para outras modalidades é hipotetizada, mas não validada empiricamente.
• Esparsidade do Radar: A margem de desempenho diminui no conjunto de dados mais denso ZJU-4DRadarCam em comparação com o nuScenes, sugerindo que a vantagem do método é mais pronunciada quando o radar é extremamente esparsos.
• Sensibilidade ao Ruído: Embora a inicialização em zero forneça proteção, o artigo não testou sob estresse o modelo contra âncoras de radar sistematicamente incorretas (ruído) que poderiam se propagar através da varredura.
• Viés de Dados: Os conjuntos de dados utilizados são geograficamente estreitos (Boston, Singapura, campus da ZJU), limitando as alegações sobre robustez em ambientes sub-representados.