A Camera-Cooperative ISAC Framework for Multimodal Non-Cooperative UAVs Sensing

Resumen Técnico: Un Marco ISAC Cooperativo con Cámara para la Detección de UAVs No Cooperativos Multimodales

Planteamiento del Problema
La detección y el seguimiento de vehículos aéreos no tripulados (UAVs) no cooperativos presentan desafíos significativos para los sistemas de Sensado y Comunicación Integrados (ISAC). Estos desafíos surgen de las limitaciones inherentes a la percepción unimodal y de la intensa competencia por recursos físicos compartidos entre las funciones de sensado y comunicación (S&C). Los UAVs no cooperativos suelen exhibir características de baja altitud, baja velocidad y pequeña sección transversal de radar (RCS), lo que dificulta su detección mediante ecos ISAC únicamente. Además, los enfoques ISAC tradicionales a menudo dependen de barridos de haz exhaustivos o jerárquicos para localizar objetivos, lo que incurre en una sobrecarga sustancial de tiempo y recursos, reduciendo así la capacidad disponible para las tareas de comunicación. Si bien el sensado basado en visión ofrece información espacial de alta resolución, es susceptible a factores ambientales como cambios en la iluminación y oclusiones. Por el contrario, el sensado ISAC proporciona robustez ante todo tipo de clima, pero carece de detalles visuales finos y requiere una gestión de haz significativa.

Metodología
Para abordar estos problemas, los autores proponen un marco Cooperativo con Cámara ISAC (CC-ISAC). Este sistema integra una cámara externa con una estación base (BS) ISAC para crear un bucle de percepción complementario. El marco descompone el proceso de sensado en tres tareas sinérgicas:

1. Detección Visual en Tiempo Real del Espacio Aéreo: Una cámara externa realiza una monitorización de espacio aéreo de grano grueso utilizando un detector basado en YOLO para identificar UAVs y extraer coordenadas de cajas delimitadoras y parches de imagen recortados.
2. Selección de Haz Asistida por Visión: Los datos visuales se alinean con el dominio de sensado ISAC para guiar la selección de haces, reduciendo el espacio de búsqueda para la BS.
3. Seguimiento de Haz Basado en Fusión Multimodal: Los datos de sensado históricos y las observaciones actuales se fusionan para permitir un seguimiento robusto y continuo.

El marco se basa en dos módulos principales de aprendizaje profundo:

• Alineación de Datos de Visión a Eco (V2EDA): Este modelo aborda la discrepancia de representación heterogénea entre las observaciones visuales (espacio de imagen) y los ángulos del espacio de haces. Emplea una arquitectura de extracción de características de doble flujo (utilizando ResMLP para vectores de cajas delimitadoras y CNN para imágenes recortadas) seguida de un mecanismo de Atención Cruzada (CA). Este mecanismo permite que el modelo recupere dinámicamente pistas visuales relevantes para mapear las observaciones del espacio de imagen a los ángulos de acimut y elevación del espacio de haces, aprendiendo efectivamente el mapeo no lineal sin mediciones de profundidad explícitas.
• Estimación Basada en Fusión Multimodal (MMFE): Diseñado para la fase de seguimiento, este módulo integra información de sensado histórica en el dominio del eco (ESI) con información de sensado visual actual (VSI). Utiliza un codificador Transformer para capturar dependencias temporales de largo alcance en datos históricos fusionados y combina esto con entradas visuales actuales mediante un Perceptrón Multicapa (MLP). El modelo incorpora un mecanismo de respaldo: si los datos visuales son poco fiables (por ejemplo, oclusión severa), se basa en la predicción solo de ecos; si faltan datos de eco, depende de los datos visuales o de mediciones recientes.

Contribuciones Clave

1. Innovación a Nivel de Marco: El artículo introduce un diseño novedoso a nivel de sistema que redefine los roles funcionales de sensores heterogéneos. A diferencia de trabajos anteriores que utilizan la visión únicamente para refinar la alineación de haces dentro de una pipeline fija, CC-ISAC emplea una partición explícita de tareas jerárquicas. La visión se asigna al rol de conciencia inicial del espacio aéreo y localización gruesa, mientras que los recursos ISAC se reservan para el sensado colaborativo de grano fino. Este enfoque realiza una descarga de percepción, transfiriendo la conciencia ambiental de grano grueso del módulo ISAC a la cámara para reducir la sobrecarga general de sensado.
2. Habilitación de Módulos de Aprendizaje Multimodal: Los autores desarrollan los modelos V2EDA y MMFE específicamente para apoyar este marco. V2EDA permite la cooperación práctica entre sensores espacialmente separados al alinear características visuales y de eco. MMFE mejora la robustez de la estimación de estado mediante la fusión de decisiones multimodales, reduciendo la sobrecarga de seguimiento de haces.
3. Optimización a Nivel de Sistema: El trabajo afirma ser el primero en aprovechar la cooperación multimodal para optimizar directamente la eficiencia de recursos ISAC (reduciendo el tiempo de dirección de haces) en lugar de mejorar únicamente la precisión de la percepción.

Resultados Experimentales
El marco fue evaluado utilizando el conjunto de datos DeepSense6G, que proporciona imágenes RGB sincronizadas y datos GPS de verdad terrena de UAVs.

• Eficiencia de Dirección de Haz: La estrategia de selección de haz asistida por V2EDA redujo significativamente el número promedio de escaneos de haces requeridos para la adquisición de objetivos. En comparación con el escaneo jerárquico convencional, el método propuesto logró una reducción promedio del 71% en la sobrecarga de dirección de haces.
• Eficiencia de Seguimiento de Haz: El modelo MMFE demostró un rendimiento robusto en el seguimiento de haces. En comparación con una línea base solo de ecos, el enfoque MMFE redujo la sobrecarga de seguimiento de haces entre 1.69% y 11.15% en diversas condiciones de relación señal-ruido (SNR) y escenarios de pérdida de datos.
• Robustez: El sistema mantuvo una alta precisión en la estimación angular incluso bajo degradación del canal (SNR hasta -2 dB) y pérdida parcial de datos (falta de eco o datos visuales). El modelo de fusión aprovechó adaptativamente las fortalezas de cada modalidad, mostrando una tolerancia a fallos superior en comparación con enfoques unimodales o basados en filtros de Kalman.
• Recuperación de Recursos: Al reducir la sobrecarga de sensado, el marco libera efectivamente recursos en el dominio del tiempo (símbolos OFDM) dentro de la trama de comunicación, aumentando así la capacidad disponible para tareas de comunicación.

Significado y Afirmaciones
El artículo postula que el marco CC-ISAC representa un avance práctico en el diseño de sistemas ISAC. Su significado principal radica en mitigar la contención de recursos entre el sensado y la comunicación. Al descargar la detección gruesa a la visión y utilizar ISAC únicamente para el refinamiento de grano fino, el sistema logra una vigilancia confiable de UAVs mientras libera recursos sustanciales del sistema para tareas adicionales de comunicación. Los autores enfatizan que este enfoque transforma el compromiso tradicional entre la precisión de sensado y el consumo de recursos ISAC en un compromiso entre la precisión de sensado y las capacidades de sensado multimodal. El marco es particularmente adecuado para escenarios de baja altitud con propagación dominante de línea de vista (LoS), ofreciendo una solución escalable para la detección eficiente de UAVs no cooperativos sin requerir búsquedas exhaustivas de haces.