Digital-Twin Empowered Deep Reinforcement Learning For Site-Specific Radio Resource Management in NextG Wireless Aerial Corridor

Resumen Técnico: Aprendizaje por Refuerzo Profundo Potenciado por Gemelo Digital para la Gestión de Recursos de Radio Específica de Sitio en Corredores Aéreos de Redes Inalámbricas NextG

Declaración del Problema
El artículo aborda el complejo desafío de la Gestión de Recursos de Radio (RRM) para la optimización conjunta de la asociación de Estaciones Base (BS) y la selección de haces (beams) para múltiples Vehículos Aéreos No Tripulados (UAV) que operan en un corredor aéreo específico de un sitio (SS). Este problema se caracteriza por:

• Espacios de acción de alta dimensión: La naturaleza combinatoria de asignar $M$ UAVs a $L$ BSs y $N$ haces crea un problema de optimización NP-duro.
• Entornos Dinámicos: La rápida variación de los canales de propagación y la movilidad de los UAV dificultan la adaptación en tiempo real.
• Sobrecarga de CSI: Los métodos óptimos convencionales requieren Información de Estado del Canal (CSI) global, lo que incurre en una sobrecarga de señalización y requisitos de sincronización prohibitivos en escenarios densos y móviles.
• Escasez de Datos de Entrenamiento: Aunque el Aprendizaje por Refuerzo Profundo (DRL) ofrece un camino para reducir la complejidad computacional, el entrenamiento de modelos robustos requiere típicamente conjuntos de datos extensos y específicos del sitio que son difíciles de adquirir de redes en vivo sin interrumpir las operaciones.

Metodología
Los autores proponen un marco habilitado por Gemelo Digital (DT) de dos etapas que acopla el modelado basado en la física con el Aprendizaje por Refuerzo Profundo.

1. Construcción del Gemelo Digital y del Gemelo de Canal (CT):

   • Se construye un entorno de DT de alta fidelidad utilizando el campus de la Universidad de Howard como banco de pruebas, utilizando datos de OpenStreetMap, Blender para el modelado 3D y NVIDIA Sionia para el trazado de rayos acelerado por GPU.
   • El Gemelo de Canal (CT) captura las características de propagación específicas del sitio (multitrayectoria, difracción, reflexión) integrando contextos geoespaciales, ubicaciones de las BS y posiciones de los UAV.
   • Etapa 1 (Optimización de la Ganancia de Haz): Se emplea un algoritmo de recocido dual (dual annealing) de forma offline para precomputar los ángulos de escaneo horizontal ($\phi_{scan}$) óptimos para cada combinación BS-UAV-haz. Esto maximiza la ganancia de antena ($G_{5G}$) conforme a la norma 3GPP hacia la ubicación física del UAV, creando efectivamente una biblioteca de ganancias de haz optimizadas.

2. Optimización de Política de Proximidad Multi-Cabeza (MH-PPO):

   • Etapa 2 (Aprendizaje de Asociación): Un agente de Optimización de Política de Proximidad Multi-Cabeza (MH-PPO) se entrena en el conjunto de datos offline generado por el CT.
   • Arquitectura: El agente utiliza un esqueleto de extracción de características compartido (que procesa las ganancias de canal aplanadas y los ángulos de llegada) que alimenta a $M$ cabezales de actor descentralizados (uno por cada UAV) y una red de crítico centralizada. Este diseño permite que la red escale con la densidad de los UAV sin cambios arquitectónicos.
   • Gestión de Restricciones: En lugar de restricciones estrictas, el marco impone el equilibrio de carga y la exclusividad de haz mediante un mecanismo de recompensa basado en penalizaciones. Si múltiples UAV seleccionan la misma BS, el entorno admite los $N$ enlaces más fuertes y penaliza el exceso, permitiendo que el agente aprenda asociaciones con equilibrio de carga de forma implícita.
   • Espacio de Estados: El estado de entrada incluye la ganancia de canal, el azimut y los ángulos de cenit de llegada derivados del CT.
   • Espacio de Acciones: El agente genera una distribución categórica sobre pares BS-haz para cada UAV.

Contribuciones Clave

1. Metodología de Entrenamiento Impulsada por DT: El artículo construye un conjunto de datos offline consistente con la física utilizando un CT de alta fidelidad que se adhiere a las especificaciones 3GPP TR 37.840 y ECC Report 281. Este conjunto de datos sustenta el entrenamiento de un agente PPO, permitiendo un aprendizaje de política robusto a través de diversas condiciones de canal sin requerir la exploración de la red en vivo.
2. Marco MH-PPO Escalable: Los autores formulan la asociación UAV-BS-haz como una tarea de aprendizaje de política utilizando una arquitectura actor-crítico multi-cabeza especializada. Este enfoque mapea características de CSI de alta dimensión directamente a decisiones de asignación de recursos, eliminando la necesidad de optimización iterativa durante el despliegue online.
3. Equilibrio de Carga Implícito: Un novedoso mecanismo de recompensa penaliza las violaciones de capacidad, permitiendo que el agente aprenda la equidad y el equilibrio de carga a través del comportamiento en lugar de una codificación de restricciones explícita en la red de la política.
4. Desempeño y Latencia: El marco demuestra mejoras significativas en el rendimiento en comparación con las líneas base, mientras logra latencias de inferencia en el rango de milisegundos, adecuadas para operaciones 6G en tiempo real.

Resultados
Se realizaron simulaciones extensas en un entorno 3D con parámetros de antena estandarizados por 3GPP, comparando el MH-PPO propuesto contra un DQN Vanilla, un algoritmo húngaro de dos etapas y varios heurísticos (Max-Gain, Closest-BS, Random).

• Ganancias de Rendimiento (Throughput): En escenarios densos ($M=30$ UAVs), el agente MH-PPO logró una mejora del 44% al 121% sobre DQN y una ganancia del 249% al 807% sobre los esquemas heurísticos tradicionales. Por ejemplo, a 60 m de altitud con 20 UAVs, el MH-PPO alcanzó 12.59 Mbps, un aumento del 43.8% sobre DQN y un 720.6% sobre el heurístico Closest-BS.
• Robustez y Generalización: El agente MH-PPO demostró una estabilidad superior en entornos de alta dimensión y limitados por interferencia. Mientras que el DQN sufrió de desajuste de distribución y degeneración de la política (evidenciado por una larga cola izquierda en la distribución de rendimiento), el MH-PPO mantuvo un desempeño consistente. El percentil 5 del rendimiento (desempeño del usuario en el peor de los casos) para MH-PPO fue significativamente mayor que el de DQN, lo que indica una mejor equidad.
• Latencia de Inferencia: El marco propuesto logró una latencia de inferencia promedio de 2.43 ms, que es aproximadamente el 2.4% del tiempo mínimo de coherencia del canal para UAVs viajando a 20–50 km/h. Esto es varios órdenes de magnitud más rápido que el tiempo requerido para la optimización iterativa y está muy dentro del requisito de latencia de 40 ms para paquetes de Comando y Control (C2).
• Escalabilidad: La latencia de inferencia escaló de forma sublineal con el número de UAV, confirmando la viabilidad del enfoque para despliegues ultra densos.

Significancia
El artículo afirma que este trabajo establece una vía viable para la gestión de recursos en tiempo real en redes de corredores aéreos de próxima generación. Al aprovechar los Gemelos Digitales para generar datos de entrenamiento de alta fidelidad, los autores superan los desafíos duales de la intratabilidad computacional en la optimización combinatoria y la impracticabilidad de adquirir CSI global en tiempo real. Los resultados demuestran que las canalizaciones de entrenamiento impulsadas por DT pueden ofrecer políticas de RRM de alto rendimiento y baja latencia adaptadas a despliegues específicos de sitio, cerrando eficazmente la brecha entre la optimización teórica y la implementación práctica de 6G en tiempo real. El trabajo extiende las contribuciones previas de conferencias al considerar explícitamente la interferencia intercelular en el diseño de la recompensa y proporcionar un benchmark exhaustivo para las comunicaciones de corredores de UAV.