DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

Resumen Técnico: Planificación Conjunta de Trayectoria y Asociación para UAVs en Redes Híbridas GEO-Terrestres

1. Planteamiento del Problema

El artículo aborda los desafíos críticos en la Movilidad Aérea Avanzada (AAM), donde las aeronaves no tripuladas (UAV) requieren enlaces de comunicación estables y eficientes para operaciones más allá de la línea de vista (BLOS).

• Limitaciones Terrestres: Las redes terrestres actuales, basadas en estaciones base macro (MBS), a menudo fallan en proporcionar cobertura ubicua. Las antenas están inclinadas hacia abajo para usuarios en tierra, lo que genera señales débiles para UAVs en vuelo, además de existir "huecos de cobertura" en zonas rurales o remotas donde desplegar MBS es costoso.
• Desafíos Dinámicos: La naturaleza dinámica de las redes inalámbricas, combinada con la energía limitada a bordo de los UAVs, hace que la planificación de la trayectoria y la asociación a la red sean complejas.
• Problemas Específicos:
  1. Consumo de Energía: Los UAVs tienen baterías limitadas; rutas ineficientes agotan la energía.
  2. Frecuencia de Handover (Transferencia): Cambios frecuentes entre celdas (MBS) o entre MBS y satélite degradan el enlace y consumen recursos.
  3. Desconexión: La falta de cobertura (huecos) interrumpe la misión.
• Objetivo: Minimizar simultáneamente el consumo de energía, la frecuencia de handovers y la desconexión, utilizando una arquitectura integrada de Satélites en Órbita Geostacionaria (GEO) y redes terrestres.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que combina un modelo de sistema físico con un algoritmo de aprendizaje por refuerzo profundo.

A. Modelo del Sistema:

• Entorno: Un área geográfica cubierta por múltiples MBS terrestres y un único satélite GEO.
• Movimiento del UAV: El UAV viaja desde un punto de inicio (START) hasta uno final (END) en un espacio 3D discretizado en una cuadrícula.
• Modelos de Canal: Se consideran modelos probabilísticos de línea de vista (LoS) para enlaces terrestres (con interferencia co-canal) y enlaces satelitales (con condiciones LoS casi garantizadas). Se calculan la Relación Señal-Ruido-Interferencia (SINR) para MBS y la Relación Señal-Ruido (SNR) para el satélite.
• Consumo de Energía: Se utiliza un modelo de energía para UAVs de ala rotatoria que considera la potencia de propulsión en función de la velocidad y la distancia.

B. Formulación del Problema (JUTAP):
Se formula un problema de optimización mixta e inteira no convexa (JUTAP: Joint UAV Trajectory and Association Planning).

• Variables de decisión: La trayectoria ($T$) y la secuencia de asociación ($C$) (asociarse a un MBS específico, al satélite GEO o estar en un hueco de cobertura).
• Función Objetivo: Minimizar una función de costo ponderada que incluye:
  1. Consumo de energía de propulsión.
  2. Costo de handover (penalización por cambiar de nodo).
  3. Indicador de desconexión (penalización por estar en un hueco de cobertura).
• Restricción: El consumo total de energía no puede exceder la capacidad disponible menos la reserva de emergencia.

C. Algoritmo de Aprendizaje (DQN):
Dado que el espacio de estados es grande y el problema es secuencial, se propone un algoritmo basado en Deep Q-Network (DQN):

• Simplificación del Espacio de Acción: Para evitar la explosión combinatoria de asociarse a uno de los $N_B$ MBS, se introduce una variable binaria $\hat{c}_t$:
  • $0$: Asociación a la red terrestre (el UAV se conecta automáticamente al MBS con mejor SINR).
  • $1$: Asociación al satélite GEO.
• Espacio de Estados ($s_t$): Coordenadas normalizadas $(x, y)$ del UAV y el modo de asociación actual.
• Espacio de Acciones ($a_t$): Dirección de movimiento (8 direcciones posibles) $\times$ Modo de asociación futuro (0 o 1). Total: 16 acciones.
• Función de Recompensa: Diseñada para maximizar el rendimiento global, penalizando el consumo de energía, los handovers innecesarios y los huecos de cobertura. Se prioriza la conexión terrestre sobre la satelital debido a la menor latencia y costo de recursos del satélite, a menos que sea necesario para evitar desconexiones.
• Mecanismos de Estabilización: Uso de Experience Replay (reproducción de experiencias) y una Target Network (red objetivo) actualizada suavemente para asegurar la convergencia.

3. Contribuciones Clave

1. Arquitectura Integrada: Propone un marco unificado que utiliza satélites GEO como complemento a las redes terrestres para garantizar conectividad continua para UAVs, superando las limitaciones de cobertura de las MBS.
2. Algoritmo JUTAP Basado en DQN: Desarrolla un algoritmo de aprendizaje profundo capaz de aprender políticas óptimas de trayectoria y asociación en un entorno dinámico y de alta dimensión, superando las limitaciones de la Q-learning tradicional (maldición de la dimensionalidad).
3. Optimización Multi-Objetivo: Logra un equilibrio dinámico entre tres métricas críticas (energía, handover, conectividad) mediante una función de recompensa ponderada, permitiendo adaptar la estrategia según las prioridades de la misión.
4. Validación en Escenarios Realistas: Evalúa el sistema bajo condiciones de canal terrestres y satelitales realistas, incluyendo modelos de desvanecimiento, interferencia y geometría de satélites GEO.

4. Resultados de la Simulación

Las simulaciones se realizaron en un área de $3 \times 3$ km con 25 celdas, 10 MBS y un satélite GEO.

• Convergencia: El algoritmo DQN mostró una convergencia estable, con la recompensa total estabilizándose después de aproximadamente 400 episodios de entrenamiento.
• Comparativa GEO vs. Terrestre Pura:
  • La red integrada (GEO + Terrestre) permitió trayectorias más directas y cortas.
  • Resultados Cuantitativos: La red integrada resultó en una trayectoria de 4,072.94 m con solo 1 hueco de cobertura, mientras que la red terrestre pura generó una trayectoria de 4,354.1 m con 5 huecos de cobertura.
  • El uso del satélite permitió evitar zonas sin cobertura terrestre y reducir la frecuencia de handovers entre celdas terrestres.
• Análisis de Ponderación (Trade-offs):
  • Al priorizar la minimización de handovers ($w_2$ alto), el UAV evita el satélite (debido al costo de cambio) y sigue rutas más largas en la red terrestre.
  • Al priorizar la energía ($w_1$ alto), el UAV toma la ruta más corta, utilizando el satélite para evitar desvíos hacia zonas sin cobertura, logrando el menor consumo energético.

5. Significado e Impacto

Este trabajo demuestra que la integración de redes no terrestres (NTN), específicamente satélites GEO, es fundamental para habilitar la Movilidad Aérea Avanzada (AAM) a gran escala.

• Viabilidad Operativa: Permite operaciones de UAV en áreas rurales y remotas donde la infraestructura terrestre es insuficiente.
• Eficiencia Energética y de Red: La planificación conjunta inteligente reduce el gasto de energía de las baterías de los UAVs y optimiza el uso de los recursos de red al minimizar handovers innecesarios.
• Futuro de las Redes 6G: El enfoque basado en IA (DQN) ofrece una solución escalable y adaptable para la gestión autónoma de recursos en futuras redes híbridas satélite-terrestre, un componente clave de las redes de próxima generación.

En conclusión, el artículo valida que un enfoque de aprendizaje por refuerzo profundo puede gestionar eficazmente la complejidad de coordinar la movilidad física de un UAV con su conectividad lógica en un entorno heterogéneo, mejorando significativamente la fiabilidad y eficiencia de las operaciones de UAV.