Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning

Resumen Técnico: Resolución de la Asociación de Múltiples Objetivos en ISAC basado en OFDM mediante Aprendizaje Multimodal Asistido por Visión

Planteamiento del Problema
Los sistemas de Comunicación y Detección Integradas (ISAC) basados en División de Frecuencia Ortogonal (OFDM) típicamente estiman los parámetros de los objetivos identificando picos en un Mapa de Retardo-Doppler (DDM) construido a partir de señales piloto reflejadas. En escenarios de múltiples objetivos, este enfoque enfrenta dos limitaciones fundamentales:

1. Ambigüedad de Asociación de Datos: El DDM no revela inherentemente qué objeto físico corresponde a un pico específico, lo que dificulta asociar las estimaciones de retardo-Doppler con objetos específicos.
2. Límites de Resolución: Cuando múltiples objetivos residen dentro de la misma celda de resolución de retardo-Doppler, los métodos convencionales que utilizan únicamente señales inalámbricas no pueden distinguirlos.
   Los estudios de ISAC existentes dependen principalmente de señales inalámbricas, lo que los hace sensibles a los entornos de propagación (por ejemplo, desvanecimiento por multitrayectoria, falta de Línea de Vista). Aunque algunos trabajos utilizan información visual fuera de banda para la predicción de bloqueos o el alineamiento de haces, ningún trabajo previo ha resuelto conjuntamente las limitaciones de asociación de múltiples objetivos y de resolución de ISAC utilizando datos visuales.

Metodología
Los autores proponen un marco de trabajo de ISAC con asistencia de visión que fusiona modalidades inalámbricas y visuales dentro de una arquitectura de aprendizaje profundo unificada. El sistema opera de la siguiente manera:

1. Modelo del Sistema: El transmisor está equipado con una cámara a bordo que captura imágenes de vistas de calle. Estas imágenes se codifican mediante Codificación Conjunta de Fuente y Canal Profunda (DeepJSCC) y se transmiten sobre la misma forma de onda OFDM utilizada para la detección. El receptor reconstruye la imagen, realiza la detección de objetos y procesa las señales OFDM reflejadas para generar un DDM.
2. DeepJSCC para la Transmisión de Imágenes: Para garantizar la robustez contra las degradaciones del canal, el sistema emplea un codificador/decodificador DeepJSCC rediseñado. El codificador utiliza capas convolucionales, normalización por lotes (batch normalization), activaciones ReLU y bloques residuales para extraer vectores de características compactos. El decodificador refleja esta estructura utilizando convoluciones transpuestas para reconstruir la imagen.
3. Extracción de Características Visuales: La imagen reconstruida es procesada por un detector YOLOv5 ajustado. Este módulo extrae características semánticas, específicamente coordenadas de cajas delimitadoras (normalizadas a las dimensiones de la imagen) y etiquetas de clase de vehículos (sedán, SUV, camión).
4. Extracción de Características Inalámbricas: El receptor estima la respuesta de frecuencia del canal mediante Mínimos Cuadrados (LS) en los símbolos piloto, predice los coeficientes del canal para los símbolos de datos mediante extrapolación lineal y elimina el componente de enlace directo. Una Transformada Discreta Inversa de Fourier (IDFT) 2D seguida de una Transformada de Fourier (DFT) genera el DDM, capturando los desplazos de retardo y Doppler.
5. Red de Fusión Multimodal: Una red neuronal profunda (DNN) fusiona entradas heterogéneas:
   • Incrustación (Embedding) del Tipo de Vehículo: Categorías de vehículos codificadas mediante one-hot que se mapean a través de capas totalmente conectadas (FC).
   • Incrustación de la Caja Delimitadora: Coordenadas de píxeles mapeadas a representaciones físicas mediante capas FC.
   • Extracción de Características del DDM: Una red basada en CNN (DDMNet) con bloques de Compresión y Excitación (SE) extrae características del DDM.
   • Información Previa: Las ubicaciones del transmisor y el receptor se incrustan para ayudar en la estimación geométrica.
     Estas incrustaciones se concatenan y se procesan a través de una red de fusión para estimar conjuntamente la ubicación 3D del objetivo, el retardo de propagación y la frecuencia Doppler.
6. Diseño de la Función de Pérdida: Para abordar la inestabilidad del entrenamiento de clasificadores de alta dimensión para retardo y Doppler, los autores introducen una pérdida de divergencia de Kullback–Leibler (KL) contra etiquetas suaves triangulares. En lugar de etiquetas de verdad de campo (ground-truth) one-hot, las etiquetas suaves distribuyen la masa de probabilidad sobre el bin de la verdad de campo y sus vecinos, estabilizando el entrenamiento.

Contribuciones Clave

• Marco de Trabajo de ISAC Asistido por Visión: El artículo propone una arquitectura novedosa que integra la transmisión de imágenes basada en DeepJSCC, la detección YOLOv5 y la extracción de características de DDM. Esta fusión resuelve la ambigüedad de la asociación de múltiples objetivos y supera la incapacidad de distinguir objetivos cercanos, inherente al ISAC de una sola modalidad.
• Incrustación de Características Multimodales: El diseño de una DNN que incrusta y fusiona eficazmente las características visuales (cajas delimitadoras, categorías), los conocimientos previos geométricos y las características inalámbricas del DDM para producir estimaciones de parámetros precisas.
• Nueva Función de Pérdida: La adopción de la pérdida KL con etiquetas suaves triangulares para estabilizar el entrenamiento de clasificadores de retardo y Doppler de alta dimensión, mitigando los problemas asociados con los grandes espacios de salida.
• Plataforma de Evaluación Realista: La construcción de un generador de escenas callejeras basado en Blender que produce tuplas de imágenes, Información de Estado del Canal (CSI) y estados de objetivo de verdad de campo para una evaluación de extremo a extremo.

Resultados
El marco fue evaluado en un conjunto de datos sintético de 2,500 imágenes de vistas de calle (resolución 1920×1080) con tipos de vehículos y velocidades variables (5–30 m/s) a una frecuencia portadora de 28 GHz.

• Métricas de Desempeño: El sistema propuesto logró un Error Cuadrático Medio (RMSE) de 16 cm para localización, 10.8 ns para retardo y 5.5 m/s para velocidad.
• Estudio de Ablación: Eliminar la modalidad visual (específicamente la información de la caja delimitadora) causó un fallo catastrófico en la estimación de parámetros, con el RMSE de localización degradándose de 0.16 m a 10.69 m (una degradación de ~60 veces). Eliminar el DDM aumentó significativamente el RMSE de velocidad a 18.30 m/s, mientras que eliminar la información previa degradó la localización a 0.54 m.
• Sensibilidad de Parámetros: Aumentar el número de pilotos de OFDM mejoró la resolución Doppler (reduciendo el RMSE de velocidad) pero aumentó la dimensión de salida, disminuyendo ligeramente la precisión de la clasificación. Aumentar las subportadoras mejoró la resolución de retardo (reduciendo el RMSE de retardo) pero aumentó de manera similar la dificultad de clasificación.

Significancia
El artículo afirma que el marco de aprendizaje multimodal asistido por visión propuesto supera eficazmente las dos limitaciones fundamentales de los sistemas ISAC convencionales: la ambigüedad de la asociación de datos y las restricciones de resolución en escenarios de múltiples objetivos. Al fusionar la información semántica visual con las características de la capa física inalámbrica, el sistema logra una estimación de parámetros de alta precisión donde los enfoques de una sola modalidad fallan. Los autores destacan que la visión proporciona una solución práctica para mitigar los límites de asociación de datos y de resolución de la ISAC de una sola modalidad, con planes de trabajo futuro para extender el marco a escenarios nocturnos utilizando visión de baja luminosidad o infrarroja.