RAVEN: Radar Adaptive Vision Encoders for Efficient Chirp-wise Object Detection and Segmentation

Título: RAVEN: Codificadores de Visão Adaptativa por Radar para Detecção e Segmentação de Objetos Eficientes por Chirp

1. Problema e Motivação

Os radares de ondas contínuas moduladas em frequência (FMCW) são essenciais para a percepção em plataformas autônomas devido à sua robustez em condições climáticas adversas e capacidade de medir velocidade relativa (Doppler). No entanto, os radares de imagem 4D modernos, com alto número de antenas e largura de banda, geram volumes de dados massivos.

As abordagens atuais de aprendizado profundo para radar enfrentam dois desafios principais:

1. Paradigma Baseado em Quadros (Frame-based): A maioria dos modelos coleta todas as amostras de um quadro completo, aplica Transformadas Rápidas de Fourier (FFTs) para construir tensores 3D de Alcance-Ângulo-Doppler (RAD) e processa esses tensores densos. Isso impõe uma latência mínima de um quadro inteiro e exige alto custo computacional e de memória, inviável para plataformas embarcadas.
2. Perda de Informação Espacial em Modelos Sequenciais Leves: Modelos que processam sinais diretamente (streaming) para reduzir latência frequentemente misturam os canais de recepção (RX) muito cedo ou ignoram a estrutura de multiplexação (TDM/DDM) das antenas transmissoras (TX). Isso destrói a informação de localização espacial (ângulo) codificada nas fases relativas do array virtual MIMO, degradando a precisão da detecção.

O objetivo do RAVEN é criar uma arquitetura que processe dados de radar de forma streaming (amostra a amostra), mantendo a estrutura física do array MIMO explícita e permitindo decisões antecipadas (early-exit) antes que o quadro completo seja processado.

2. Metodologia: Arquitetura RAVEN

O RAVEN é uma arquitetura de aprendizado profundo projetada para processar sinais brutos de ADC (Conversor Analógico-Digital) de forma eficiente, dividida em cinco estágios principais:

A. Codificadores SSM por Canal RX (Tempo Rápido)

Em vez de misturar os canais de recepção imediatamente, o modelo processa cada canal de receptor (RX) independentemente usando um pequeno Modelo de Espaço de Estados (SSM), especificamente baseado em Mamba.

• Função: Comprime a sequência de tempo rápido (amostras de ADC de um chirp) de cada antena em um token compacto.
• Benefício: Preserva a estrutura de fase e amplitude de cada antena, essencial para a resolução angular.

B. Misturador de Atenção entre Antenas (Cross-Antenna Attention)

Após a compressão por canal, um módulo de atenção leve funde os tokens de todos os receptores.

• Mecanismo: Utiliza consultas (queries) aprendíveis baseadas nas antenas transmissoras (TX) para sondar os tokens dos receptores. Isso atua como um "beamformer" aprendível.
• Expansão Virtual MIMO: O módulo reconstrói as características do array virtual (combinações TX-RX) sem precisar calcular tensores RAD densos ou realizar FFTs 2D/3D. Ele separa explicitamente as contribuições das diferentes antenas transmissoras (crucial para sistemas DDM).

C. Backbone SSM por Chirp (Tempo Lento)

Uma sequência de tokens (um por chirp) é processada por um SSM de tempo lento.

• Capacidade: Mantém um estado oculto que atualiza online à medida que novos chirps chegam, permitindo inferência contínua e anytime (em qualquer momento).

D. Projeção Espacial e Decodificadores Leves

As características temporais são mapeadas em uma grade espaço-temporal (BEV - Visão Aérea) e passadas para decodificadores convolucionais rasos para gerar mapas de calor de detecção e segmentação de espaço livre.

E. Decisão Antecipada (Early-Exit) Adaptativa

O RAVEN explora o fato de que a informação de detecção satura após um número pequeno de chirps dentro de um quadro.

• Treinamento: Utiliza supervisão multi-prefixo, onde o modelo é treinado para prever corretamente usando apenas os primeiros $L$ chirps.
• Inferência: Durante a execução, monitora a estabilidade do estado latente. Se a distância cosseno entre o estado atual e estados anteriores cair abaixo de um limiar calibrado (indicando saturação de informação), o modelo para o processamento e emite a decisão.

3. Contribuições Principais

1. Mistura Espacial Inspirada na Física para Streaming: Um módulo de atenção entre antenas que separa a estrutura latente de transmissão (DDM) e recupera pistas de MIMO virtual sem reconstruir cubos RAD completos.
2. Design Híbrido Otimizado: A colocação estratégica do módulo de atenção entre os SSMs de canal (tempo rápido) e o backbone SSM de quadro (tempo lento) oferece o melhor compromisso entre capacidade de resolução espacial e eficiência computacional.
3. Detecção de Sub-quadro de Baixa Latência: Um backbone SSM que atualiza online e suporta decisões antecipadas via uma regra de parada calibrada, reduzindo drasticamente os FLOPs e a latência de ponta a ponta.

4. Resultados Experimentais

O RAVEN foi avaliado nos conjuntos de dados RaDICaL e RADIal, comparando-se com modelos baseados em CNN, Transformers e outros modelos sequenciais leves.

• Eficiência Computacional:
  • No dataset RaDICaL, o RAVEN alcançou um coeficiente Dice de 0.997 com apenas 0.053 GMACs (operações de multiplicação e acumulação). Isso representa uma redução de ~790x no custo computacional em comparação ao FFT-RadNet (41.74 GMACs) com desempenho superior.
  • No dataset RADIal, o modelo atingiu mIoU de 0.90 e F1 de 0.93 usando apenas 1.02 GMACs, sendo 170x mais eficiente que o TransRadar e 95x mais eficiente que o T-FFTRadNet, mantendo ou superando a precisão desses modelos.
• Latência: Redução de 4x na latência de ponta a ponta em comparação com backbones baseados em quadros.
• Desempenho: O modelo alcançou o estado da arte (SOTA) em detecção de objetos e segmentação de espaço livre, com erros de alcance e azimute extremamente baixos.
• Validação da Decisão Antecipada: A análise mostrou que a performance satura após ~64 chirps (de um total de 256), permitindo que o modelo pare o processamento muito antes do fim do quadro sem perda significativa de precisão.

5. Significado e Impacto

O RAVEN representa um avanço significativo na percepção baseada em radar para dispositivos de borda (edge devices):

• Viabilidade Embarcada: Ao reduzir a complexidade computacional em ordens de grandeza, torna viável a execução de modelos de radar de alta resolução em hardware limitado (como GPUs móveis), onde modelos baseados em quadros ou tensores densos eram proibitivos.
• Eficiência de Energia e Latência: A capacidade de tomar decisões com apenas uma fração dos chirps de um quadro reduz o consumo de energia e a latência, crítico para aplicações de direção autônoma em alta velocidade.
• Abordagem Física: A arquitetura demonstra que incorporar o conhecimento físico do radar (estrutura MIMO, multiplexação DDM) diretamente no design da rede neural é superior a tratar os dados de radar como séries temporais genéricas, resultando em modelos mais leves e precisos.

Em resumo, o RAVEN oferece um backbone de percepção de radar prático, adaptável e eficiente, capaz de igualar modelos pesados baseados em quadros sob restrições de recursos extremas.