RadarFuseNet: Complex-Valued Cross-Attention Fusion of Time-Frequency IQ Radar Features for Robust Classification

1. Planteamiento del Problema

El radar de ondas milimétricas (mmWave) es una modalidad de sensores compacta y potente, especialmente útil en entornos donde las cámaras o LiDAR fallan (ej. niebla, humo, oclusiones). Sin embargo, el estado del arte actual en la clasificación de objetos ocultos y materiales de superficie utilizando señales de radar presenta limitaciones:

• Pérdida de información: Muchos enfoques convierten las señales de radar en imágenes (mapas de rango-ángulo o Doppler) o nubes de puntos, descartando información crítica como la fase.
• Procesamiento de señales complejas: Aunque el procesamiento directo de señales In-Phase/Quadrature (IQ) complejas es prometedor, los métodos existentes tienen dificultades para generalizar ante cambios en las condiciones de medición, como distancias desconocidas al objetivo.
• Necesidad de fusión: Existe un potencial sin explotar en la fusión de diferentes representaciones del mismo señal (dominio temporal y frecuencial) para mejorar la extracción de características sin aumentar el contenido informativo teórico, sino mejorando su "extraibilidad".

2. Metodología: RadarFuseNet

Los autores proponen RadarFuseNet, una arquitectura de red neuronal que integra dos redes convolucionales (CNN) de valores complejos mediante un mecanismo de atención cruzada bidireccional.

A. Preprocesamiento de Señales

• Entrada: Se utilizan datos brutos de un sensor radar FMCW MIMO (configuración de antena 20x20 en forma de L).
• Representaciones: Se generan dos versiones de la señal para alimentar la red:
  1. Señal IQ Cruda ($x$): Representación en el dominio del tiempo.
  2. Señal Transformada por FFT ($X$): Resultado de aplicar una Transformada Rápida de Fourier (FFT) 3D a la señal, obteniendo perfiles de rango, azimut y elevación en el dominio de la frecuencia.
• Ambas señales se reestructuran en representaciones 2D para su entrada en las CNN.

B. Arquitectura del Modelo

1. Extracción de Características (CNNs de Valores Complejos):

   • Se emplean dos ramas de CNN idénticas pero independientes.
   • Todas las operaciones (convolución, normalización por lotes, activación ReLU) se realizan en el dominio complejo. Esto permite procesar la señal completa (magnitud y fase) sin separar sus componentes real e imaginaria, preservando la estructura del fasor de la señal.
   • Se extraen dos vectores de características: $f$ (de la señal IQ) y $F$ (de la señal FFT).

2. Fusión por Atención Cruzada Bidireccional:

   • Antes de la fusión, las características complejas se convierten a representaciones reales concatenando sus partes real e imaginaria (para compatibilidad con el módulo de atención estándar).
   • Se aplica un mecanismo de atención cruzada bidireccional:
     • Las características de la rama IQ atienden a las de la rama FFT ($\tilde{f} \rightarrow \tilde{F}$).
     • Las características de la rama FFT atienden a las de la rama IQ ($\tilde{F} \rightarrow \tilde{f}$).
   • Esto permite alinear y enriquecer las representaciones de características entre los dos espacios de características complementarios.
   • Las salidas de atención se concatenan y pasan a una capa totalmente conectada para la clasificación final.

3. Contribuciones Clave

• Arquitectura Innovadora: Diseño de un sistema que integra dos CNNs de valores complejos con un mecanismo de fusión de atención cruzada bidireccional específicamente para señales de radar mmWave.
• Adaptación de Representaciones: Desarrollo de una estrategia para adaptar representaciones de características complejas a un procesamiento de atención cruzada de valores reales, manteniendo la coherencia posicional.
• Mejora en Generalización: Demostración de que fusionar los dominios temporal y frecuencial mejora la robustez y la capacidad de generalización del modelo bajo condiciones de medición variables (distancias no vistas durante el entrenamiento).

4. Resultados Experimentales

El modelo se evaluó en dos conjuntos de datos públicos: clasificación de objetos ocultos (10 clases) y clasificación de materiales de superficie (5 clases).

• Clasificación de Objetos Ocultos:

  • RadarFuseNet alcanzó una precisión del 94.20%, superando a todos los modelos de comparación (incluidas CNNs de una sola rama, fusiones basadas en MLP y ResNets).
  • La matriz de confusión mostró alta precisión en la mayoría de las clases, con mejoras notables sobre las CNNs de una sola rama (90.70%).

• Clasificación de Materiales (Generalización a Distancias Desconocidas):

  • En distancias conocidas (entrenamiento), el modelo alcanzó un 99.92% de precisión.
  • Prueba de Robustez: Al evaluar en distancias no vistas durante el entrenamiento (60cm y 80cm), RadarFuseNet logró un 65.56% de precisión.
  • Esto superó a la CNN de una sola rama (59.50%) y a otros modelos basados en atención, demostrando una mejor capacidad de generalización ante cambios en la geometría de medición.

5. Significado e Impacto

El trabajo de RadarFuseNet es significativo porque:

1. Valida el uso de señales complejas: Confirma que el procesamiento directo de señales IQ complejas, sin convertir a imágenes, es superior para ciertas tareas de percepción.
2. Fusión de dominios sin redundancia: Demuestra que fusionar la representación temporal y frecuencial de la misma señal, mediante atención cruzada, mejora la extracción de características y la robustez del modelo.
3. Aplicabilidad en entornos desafiantes: La mejora en la generalización a distancias desconocidas es crucial para aplicaciones prácticas como la robótica móvil, la seguridad interior y la conducción autónoma, donde las condiciones de medición varían dinámicamente.

En conclusión, RadarFuseNet establece un nuevo estándar para la clasificación basada en radar mmWave, ofreciendo una arquitectura robusta que aprovecha al máximo la información de fase y amplitud de las señales de radar mediante técnicas avanzadas de aprendizaje profundo y fusión de características.