RAVEN: Radar Adaptive Vision Encoders for Efficient Chirp-wise Object Detection and Segmentation

Resumen Técnico: RAVEN

1. El Problema

Los radares de onda continua modulada en frecuencia (FMCW) de onda milimétrica son esenciales para la percepción en plataformas autónomas debido a su robustez ante condiciones climáticas adversas y su capacidad para medir velocidad directamente. Sin embargo, los sistemas de radar modernos de alta resolución (4D) generan volúmenes de datos masivos que crecen rápidamente con el número de antenas y el ancho de banda.

Las arquitecturas de aprendizaje profundo existentes para radar suelen seguir un paradigma basado en cuadros (frame-based):

• Recopilan todas las muestras del convertidor analógico-digital (ADC) de un cuadro completo.
• Aplican transformadas rápidas de Fourier (FFT) para construir tensores 3D de rango-ángulo-Doppler (RAD).
• Procesan estos tensores densos con redes convolucionales o transformadores.

Limitaciones de los enfoques actuales:

• Alta latencia: La inferencia no puede comenzar hasta que se recibe todo el cuadro (todos los chirps).
• Costo computacional: El procesamiento denso de mapas de características 3D grandes es ineficiente para plataformas embebidas.
• Pérdida de información espacial: Los modelos secuenciales ligeros existentes a menudo mezclan los canales de recepción (RX) demasiado pronto, perdiendo la estructura espacial del array virtual MIMO (Multiple-Input Multiple-Output) y degradando la estimación de ángulo y la precisión de detección.

2. Metodología: Arquitectura RAVEN

RAVEN es una arquitectura de aprendizaje profundo diseñada para procesar datos de radar de forma secuencial (streaming) y por chirp, manteniendo la estructura física del radar. Se compone de cinco etapas clave:

1. Codificadores SSM por Canal RX (Tiempo Rápido):

   • En lugar de mezclar canales, cada canal de recepción (RX) se procesa de forma independiente mediante un pequeño modelo de espacio de estados (SSM, basado en Mamba).
   • Esto comprime la secuencia de muestras de tiempo rápido (I/Q) de cada antena en un token compacto, preservando la información de fase y amplitud específica de cada antena.

2. Mezclador de Atención entre Antenas (Cross-Antenna Attention):

   • Un módulo de atención ligero fusiona los tokens de los diferentes canales RX.
   • Utiliza consultas de transmisores (TX) aprendibles para extraer la estructura latente de multiplexación por división de Doppler (DDM) o tiempo (TDM).
   • Actúa como un formador de haces (beamformer) aprendible, reconstruyendo las características del array virtual MIMO sin necesidad de construir tensores RAD completos ni usar FFTs costosos.

3. Columna Vertebral SSM por Chirp (Tiempo Lento):

   • Una segunda SSM procesa la secuencia de chirps (tiempo lento) en línea.
   • Mantiene un estado oculto que se actualiza a medida que llegan los chirps, permitiendo inferencia "cualquiera en el tiempo" (anytime inference).

4. Proyección Espacial y Decodificadores:

   • Las características se proyectan en una cuadrícula espaciotemporal (BEV) y se decodifican mediante cabezas ligeras (CNN) para detección de objetos y segmentación de espacio libre.

5. Regla de Salida Temprana (Early-Exit):

   • RAVEN aprovecha que la información de detección satura rápidamente con pocos chirps.
   • Utiliza una regla de parada calibrada basada en la distancia coseno entre el estado latente del chirp actual y los anteriores.
   • Si la novedad del estado cae por debajo de un umbral, el modelo detiene el procesamiento y toma una decisión, evitando procesar chirps redundantes.

3. Contribuciones Clave

1. Mezcla Espacial Inspirada en la Física para ADC en Streaming:
   • Propone un módulo de atención entre antenas que separa la estructura latente de los transmisores (DDM) y recupera las señales del array virtual MIMO sin reconstruir cubos RAD completos.
2. Diseño Híbrido para Eficiencia:
   • Ubica óptimamente el módulo de atención cruzada entre los codificadores SSM por canal (tiempo rápido) y la columna vertebral SSM por chirp (tiempo lento). Esto logra el mejor equilibrio entre capacidad de resolución espacial y costo computacional.
3. Detección de Baja Latencia Sub-Cuadro:
   • Implementa un mecanismo de decisión temprana basado en la saturación del estado de la SSM, reduciendo significativamente las operaciones de punto flotante (FLOPs) y la latencia de extremo a extremo.

4. Resultados Experimentales

El modelo se evaluó en dos conjuntos de datos principales: RaDICaL y RADIal.

• Eficiencia Computacional:
  • En el conjunto de datos RaDICaL, RAVEN logra un coeficiente Dice de 0.997 con solo 0.053 GMACs (operaciones de multiplicación-acumulación). Esto representa una reducción de ~790 veces en cómputo y ~12 veces menos parámetros en comparación con FFT-RadNet (41.74 GMACs), manteniendo una calidad de máscara de vanguardia.
  • En RADIal, RAVEN alcanza un mIoU de 0.90 y un F1 de 0.93 con 1.02 GMACs, siendo 170 veces más eficiente que TransRadar y 95 veces más que T-FFTRadNet, con un rendimiento de detección y segmentación superior o comparable.
• Latencia:
  • La estrategia de salida temprana reduce la latencia de extremo a extremo en un 4x en comparación con los modelos basados en cuadros completos.
  • Se observa que el rendimiento satura después de un número pequeño de chirps (aprox. 32-64 de un total de 256), permitiendo detener el procesamiento sin pérdida significativa de precisión.
• Análisis de Diseño:
  • Las pruebas de ablación confirman que procesar cada canal RX independientemente antes de la mezcla de atención es crucial. Mezclar canales demasiado pronto (antes de la compresión SSM) degrada la precisión de detección o incrementa drásticamente el costo computacional.

5. Significado e Impacto

RAVEN representa un cambio de paradigma en la percepción por radar:

• Viabilidad en el Borde (Edge): Demuestra que es posible lograr un rendimiento de vanguardia en tareas complejas de radar (detección y segmentación) utilizando recursos computacionales mínimos, haciéndolo viable para su implementación en vehículos autónomos y drones con restricciones de energía y memoria.
• Eficiencia Temporal: Al permitir decisiones antes de recibir el cuadro completo, reduce la latencia de reacción del sistema, un factor crítico para la seguridad en conducción autónoma.
• Enfoque Físico: Al integrar principios de la física de radares (estructura de array virtual, multiplexación) directamente en la arquitectura de la red neuronal, RAVEN evita la necesidad de preprocesamiento costoso (FFT) y aprende representaciones más robustas y eficientes de los datos crudos (ADC).

En resumen, RAVEN establece un nuevo estándar para la percepción por radar eficiente, logrando un equilibrio sin precedentes entre precisión, latencia y costo computacional.