Deep Reinforcement Learning for Cognitive Time-Division Joint SAR and Secure Communications

Título: Aprendizaje por Refuerzo Profundo para Comunicaciones Seguras y SAR Cognitivo en División de Tiempo Conjunta

1. Planteamiento del Problema

El artículo aborda el desafío crítico de garantizar la seguridad en las comunicaciones aéreas (A2G) en presencia de espías móviles en tierra. Aunque existen métodos de seguridad física, la mayoría asume información perfecta del estado del canal o estimaciones de posición previas, lo cual es difícil de lograr en la práctica, especialmente cuando el espía se mueve dinámicamente.

Los problemas principales identificados son:

• Falta de conocimiento de la trayectoria: Los sistemas convencionales de radar luchan contra el desorden del suelo (clutter) en geometrías aéreas y no pueden rastrear eficazmente objetivos móviles sin una integración avanzada.
• Integración Sensing-Communication (JSAC): La literatura existente sobre sistemas conjuntos de Radar de Apertura Sintética (SAR) y Comunicaciones (JSARC) es limitada. Muchos trabajos asumen entornos estáticos o simplifican en exceso la coexistencia de ambas funciones, a menudo degradando el rendimiento de la imagen o de la comunicación.
• Compensación (Trade-off): Existe una tensión fundamental entre el tiempo dedicado a la detección (para mejorar la precisión de localización) y el tiempo dedicado a la transmisión de datos (para maximizar la tasa de comunicación).

El objetivo es desarrollar un marco que permita a una Estación Base Aérea (ABS) detectar y rastrear a un espía móvil en tierra utilizando SAR, y utilizar esa información para adaptar dinámicamente la formación de haces y el jamming (ruido artificial) para maximizar la tasa de secreto en un escenario de enlace descendente.

2. Metodología

Los autores proponen un marco JSARC dinámico en División de Tiempo (TD-JSARC) basado en el concepto de "cognitivo", donde los parámetros se adaptan en tiempo real.

• Arquitectura del Sistema:

  • Una ABS equipada con una matriz lineal uniforme (ULA) orbita sobre una región de interés.
  • Dos antenas se dedican al SAR con Interferometría a lo Largo de la Trayectoria (ATI) para separar objetivos móviles del clutter estático y estimar posición y velocidad.
  • Las antenas restantes se utilizan para la comunicación con el usuario legítimo (UE).
  • El tiempo se divide en marcos dinámicos, donde cada marco $i$ contiene una sub-frama de sensado (duración $L_i$) y una sub-frama de comunicación (duración $C_i$).

• Modelado de Incertidumbre:

  • Se define una región de incertidumbre circular para la posición del espía basada en la resolución del SAR y los límites cinemáticos (velocidad y aceleración máximas).
  • La precisión de la localización mejora con tiempos de integración de SAR más largos, pero reduce el tiempo disponible para la comunicación.

• Optimización y Solución (DRL):

  • El problema se formula como la maximización de la tasa de secreto promedio en el peor de los casos, sujeto a restricciones de calidad de servicio (QoS) para el usuario y un mínimo de relación señal-clutter (SCR) para el SAR.
  • Dado que la trayectoria del espía es desconocida y el problema es no convexo y mixto-entero, se reformula como un Proceso de Decisión de Markov (MDP).
  • Se utiliza Aprendizaje por Refuerzo Profundo (DRL), específicamente el algoritmo Proximal Policy Optimization (PPO).
  • Estrategia Híbrida: El agente de DRL decide discretamente si el siguiente slot de tiempo es para "Sensado" o "Comunicación". La asignación de potencia (factor de división de potencia $\alpha$) se resuelve mediante un problema de optimización robusta de baja dimensión (búsqueda exhaustiva) en cada paso, evitando la complejidad de aprender variables continuas y discretas simultáneamente.

3. Contribuciones Clave

1. Marco TD-JSARC Cognitivo: Propuesta de un nuevo marco que integra el sensado SAR basado en ATI con comunicaciones aéreas seguras para mitigar amenazas de espías móviles en tierra.
2. Modelo de Incertidumbre Dinámico: Desarrollo de un modelo que combina la precisión de estimación del SAR con restricciones cinemáticas previas (velocidad/aceleración máximas) para definir la región de incertidumbre del espía en tiempo real.
3. Formulación MDP y Solución DRL: Transformación del problema de asignación conjunta de tiempo y potencia en un MDP, resolviéndolo con DRL. La solución no requiere conocimiento previo de la trayectoria del espía y generaliza bien a patrones de movimiento no vistos.
4. Optimización Robusta de Potencia: Integración de un algoritmo de búsqueda exhaustiva para la asignación de potencia dentro del bucle de aprendizaje, simplificando la complejidad del espacio de acción del agente.

4. Resultados de la Simulación

Los resultados se validaron mediante simulaciones comparando el método propuesto (PPO) con tres esquemas de referencia:

• Esquema 1 (DRL Híbrido): Optimiza tiempo y potencia conjuntamente (rendimiento inferior debido a la complejidad de aprendizaje).
• Esquema 2 (Asignación de Apertura Igual): Tiempos fijos (no adaptativo).
• Esquema 3 (Asignación Aleatoria): Tiempos generados al azar.

Hallazgos principales:

• Rendimiento Superior: El método propuesto supera consistentemente a todos los esquemas de referencia en términos de tasa de secreto promedio en el peor de los casos.
• Adaptabilidad a la Velocidad: A medida que aumenta la velocidad del espía, la brecha de rendimiento se amplía. El agente aprendido ajusta dinámicamente la relación Sensado/Comunicación (S2C), dedicando más tiempo al sensado cuando el espía se mueve rápido para mantener la precisión de localización.
• Generalización: El modelo entrenado en trayectorias aleatorias logra un rendimiento óptimo en trayectorias lineales con velocidades oscilantes no vistas durante el entrenamiento, cumpliendo todas las restricciones del sistema.
• Eficiencia: La estrategia de separar la decisión de tiempo (DRL) de la asignación de potencia (optimización robusta) resulta más eficiente y efectiva que el aprendizaje híbrido directo.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre el sensado avanzado (SAR ATI) y la seguridad de las comunicaciones en entornos dinámicos y hostiles.

• Aplicaciones Críticas: Ofrece una solución viable para escenarios de vigilancia y comunicaciones post-desastre donde la localización de adversarios móviles es crítica y los métodos tradicionales fallan.
• Avance en JSAC: Demuestra que la división de tiempo dinámica, guiada por aprendizaje por refuerzo, es una vía práctica y de menor complejidad para la integración de SAR y comunicaciones, superando las limitaciones de los diseños de waveforms conjuntas complejas.
• Robustez: La capacidad del sistema para adaptarse a movimientos impredecibles del enemigo sin conocimiento previo lo convierte en una herramienta robusta para la seguridad física de las redes aéreas futuras.

En resumen, el artículo presenta un enfoque innovador donde la "inteligencia" del sistema (DRL) permite adaptar dinámicamente la operación de la estación base aérea para equilibrar la necesidad de ver (sensado) y la necesidad de hablar (comunicación segura) en tiempo real frente a amenazas móviles.