xApp Empowered Resource Management for Non-Terrestrial Users in 5G O-RAN Networks

Resumen Técnico: Gestión de Recursos Potenciada por xApp para Usuarios No Terrestres en Redes 5G O-RAN

Planteamiento del Problema
La integración de Vehículos Aéreos No Tripulados (UAV) en redes celulares existentes presenta desafíos distintos en comparación con el equipo de usuario (UE) terrestre. Los UAV operan con alta movilidad, patrones de movimiento tridimensionales (3D) y altitudes elevadas, lo que conduce a eventos de transferencia frecuentes, sobrecarga de señalización aumentada y posibles fallos de enlace de radio. Los esquemas tradicionales de gestión de transferencias son en gran medida reactivos, dependiendo de mediciones instantáneas de señal y umbrales predefinidos. Estos enfoques son inadecuados para escenarios de UAV donde la movilidad rápida y las trayectorias de vuelo predecibles ofrecen oportunidades para una optimización proactiva. Además, las soluciones existentes de gestión de movilidad no han aprovechado plenamente las capacidades inteligentes de la arquitectura de Red de Acceso de Radio Abierta (O-RAN), particularmente en escenarios que involucran trayectorias de vuelo predeterminadas donde es factible una optimización predictiva. El desafío central radica en equilibrar la minimización de la probabilidad de interrupción con la reducción de la frecuencia de transferencias para garantizar una conectividad fluida para operaciones aéreas críticas para la misión.

Metodología
Los autores proponen un marco de gestión de movilidad proactiva para UAV implementado como una xApp dentro del Controlador Inteligente de Radio en Tiempo Real Cercano (Near-RT RIC) de O-RAN. El sistema emplea un algoritmo de aprendizaje por refuerzo (RL) de Red Doble de Q Profunda (DDQN) para optimizar las decisiones de transferencia para UAV que operan a lo largo de trayectorias de vuelo predeterminadas.

• Modelo del Sistema: El marco considera una red celular con múltiples estaciones base (BS) terrestres y un UAV siguiendo una trayectoria 3D. Los objetivos de optimización son dobles: minimizar la probabilidad promedio de interrupción (asegurando que la Relación Señal a Interferencia más Ruido (SINR) permanezca por encima de un umbral) y minimizar la frecuencia de eventos de transferencia.
• Marco de Aprendizaje por Refuerzo:
  • Espacio de Estados: Incluye las posiciones 3D actuales y siguientes del UAV, mediciones de SINR de las tres estaciones base más relevantes, y la identidad de las celdas de servicio y candidatas.
  • Espacio de Acciones: Acciones discretas que permiten al UAV mantener la conexión actual o cambiar a una de dos estaciones base candidatas.
  • Función de Recompensa: Diseñada para penalizar tanto los eventos de interrupción como las transferencias innecesarias. Se utiliza una aproximación suave basada en sigmoide para la penalización de transferencia para equilibrar los valores continuos de interrupción con los eventos de transferencia discretos.
  • Selección del Algoritmo: Los autores seleccionaron DDQN sobre DQN estándar y métodos de gradiente de política (PPO, A2C). Los experimentos mostraron que los métodos de gradiente de política sufrieron de convergencia prematura a políticas de "sin transferencia" debido a una alta varianza del gradiente y un sesgo de penalización a corto plazo. DDQN fue elegido por su capacidad para mitigar el sesgo de sobreestimación en las actualizaciones de valores Q, proporcionando un aprendizaje más estable en entornos dinámicos.
• Aprendizaje por Transferencia: Para abordar el desafío de desplegar modelos en diversos escenarios de vuelo sin un reentrenamiento extenso, los autores proponen un enfoque de promedio centralizado de pesos. Múltiples modelos DDQN se entrenan independientemente en trayectorias de vuelo distintas. Sus pesos se promedian luego para crear un modelo global. Este modelo global se ajusta posteriormente en nuevas trayectorias de vuelo no vistas utilizando una tasa de aprendizaje reducida y congelamiento de parámetros por capas (congelando las capas inferiores para preservar patrones generales mientras se adaptan las capas superiores).
• Integración con O-RAN: La xApp opera dentro del Near-RT RIC, utilizando la interfaz E2 para recibir Métricas Clave de Rendimiento (KPM) como el SINR de las Unidades Distribuidas (DU) y la interfaz A1 para recibir Información de Enriquecimiento (EI), específicamente datos de trayectoria de vuelo del UAV desde un sistema de Gestión de Tráfico de Sistemas de Aeronaves No Tripuladas (UTM). Esto permite que la xApp anticipe las condiciones de la red y ejecute decisiones de control con latencia subsegundo.

Contribuciones Clave

1. xApp Proactiva para O-RAN: El desarrollo de una xApp basada en DDQN que transforma las decisiones de transferencia reactivas en optimización predictiva aprovechando las trayectorias de vuelo predeterminadas.
2. Marco de Aprendizaje por Transferencia: Un enfoque novedoso que utiliza el promedio centralizado de pesos para consolidar el conocimiento de múltiples escenarios de vuelo en un modelo global, permitiendo la generalización a entornos no vistos con un reentrenamiento mínimo.
3. Evaluación Exhaustiva: Una evaluación detallada que demuestra que el marco propuesto logra una compensación superior entre la reducción de la frecuencia de transferencias y la fiabilidad de la conectividad en comparación con los esquemas tradicionales.

Resultados
El marco se evaluó en un entorno de simulación que presenta un área de 2000 × 2000 m² con cinco estaciones base y diez trayectorias de vuelo distintas de UAV. Los resultados se compararon con un esquema codicioso (Greedy), un esquema basado en histéresis, un esquema de Probabilidad Mínima de Interrupción (MOP) y un DQN estándar.

• Reducción de Transferencias: El enfoque DDQN propuesto redujo los eventos de transferencia en un 54.6% en comparación con la línea base codiciosa (2.45 eventos frente a 5.40 eventos). También superó al esquema de histéresis (2.45 frente a 4.30 eventos) y al esquema MOP (2.45 frente a 4.00 eventos).
• Probabilidad de Interrupción: Mientras que el esquema codicioso logró la probabilidad de interrupción más baja (0.021%), el enfoque DDQN mantuvo la probabilidad de interrupción en un nivel prácticamente insignificante (0.048%), representando solo un aumento marginal de 0.027 puntos porcentuales. Esto se considera operativamente insignificante en comparación con la reducción significativa en la sobrecarga de señalización.
• Estabilidad: El enfoque DDQN demostró una menor varianza en los eventos de transferencia en comparación con los métodos de línea base, indicando un rendimiento más consistente.
• Eficacia del Aprendizaje por Transferencia: Los análisis de similitud del coseno y distancia euclidiana confirmaron que el modelo global generalizó con éxito los patrones de decisión de transferencia a través de diferentes trayectorias de vuelo, con puntuaciones de similitud mejoradas después del ajuste fino.

Significado y Afirmaciones
El artículo afirma que el marco propuesto valida la efectividad de enfoques inteligentes basados en aprendizaje para la gestión de movilidad de UAV en arquitecturas O-RAN de próxima generación. Al anticipar las condiciones de la red a través de trayectorias de vuelo predeterminadas, el sistema minimiza tanto la probabilidad de interrupción como la frecuencia de transferencias, abordando las limitaciones de los mecanismos reactivos. La implementación exitosa del aprendizaje por transferencia sugiere que se pueden desplegar modelos globales robustos en diversos entornos operativos sin la carga computacional de reentrenar para cada nuevo escenario. Los autores afirman que este trabajo contribuye a la integración fluida del equipo de usuario aéreo en redes celulares al proporcionar una solución escalable y proactiva que equilibra la eficiencia de recursos con la fiabilidad de la conectividad. El estudio reconoce que, aunque el enfoque muestra una generalización efectiva dentro de las condiciones probadas, la validación en el mundo real en bancos de pruebas O-RAN y la exploración de escenarios de múltiples UAV siguen siendo objetivos futuros.