Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

Resumen Técnico: Marco de Aprendizaje Automático Adaptativo para la Optimización de Trayectorias de UAV en O-RAN

Planteamiento del Problema
El despliegue de Vehículos Aéreos No Tripulados (UAV) como Unidades de Radio Abiertas (O-RU) dentro de las arquitecturas de Red de Acceso de Radio Abierta (O-RAN) de 6G ofrece una solución prometedora para una cobertura de red escalable y adaptativa. Sin embargo, optimizar las trayectorias de los UAV en entornos urbanos dinámicos y desconocidos presenta un desafío significativo. Los enfoques tradicionales de Aprendizaje por Refuerzo (RL), aunque efectivos para la optimización en un solo entorno, sufren de una capacidad de adaptación deficiente a través de diversos escenarios. Cuando un UAV entra en un nuevo entorno con diferentes disposiciones de edificios, terrenos o características de comunicación, los modelos de RL estándar suelen requerir un reentrenamiento desde cero. Este proceso es computacionalmente costoso y lento, lo que dificulta las operaciones en tiempo real y la escalabilidad. Además, los métodos de Aprendizaje por Transferencia (TL) existentes a menudo carecen de mecanismos para evaluar la aplicabilidad de los modelos de origen a los entornos de destino, lo que conlleva el riesgo de una "transferencia negativa", donde el conocimiento de entornos disímiles degrada el rendimiento en lugar de mejorarlo.

Metodología
El artículo propone un nuevo marco que integra un Aprendizaje por Transferencia Continuo (CTL) mejorado dentro de la arquitectura O-RAN para abordar estas limitaciones. La metodología central consta de tres componentes principales:

1. Mecanismo de Selección de Modelos: El sistema mantiene una biblioteca de modelos de Gradiente de Política Determinista Profunda (DDQN) preentrenados, cada uno entrenado en entornos urbanos específicos (por ejemplo, York, Londres, Ottawa). Cuando un UAV encuentra un nuevo entorno ($E_{new}$), el marco extrae vectores de características que representan las características ambientales (altura de los edificios, densidad, distribución de estaciones base, tamaño del mapa y altitud del UAV). Se calcula una puntuación de similitud compuesta entre $E_{new}$ y todos los entornos en la biblioteca. Si la puntuación de similitud más alta supera un umbral predefinido, se selecciona el modelo preentrenado más similar para el aprendizaje por transferencia.
2. Modelo de Respaldo General ($M_G$): En los casos en que no existe un modelo suficientemente similar en la biblioteca (es decir, cuando las puntuaciones de similitud caen por debajo del umbral), el sistema emplea un modelo de respaldo, $M_G$. Este modelo es entrenado inicialmente en un entorno urbano sintético construido mediante la agregación y el promedio de parámetros estructurales clave de todas las ciudades del mundo real disponibles. Este diseño asegura que $M_G$ represente un entorno urbano neutral y sin sesgos, evitando el sobreajuste a morfologías de ciudades específicas y proporcionando una base confiable para los escenarios de transferencia negativa.
3. Integración de Aprendizaje Continuo (CL): El marco utiliza CL para actualizar continuamente el modelo de respaldo $M_G$. A medida que los UAV operan en nuevos entornos y generan nuevas políticas, estos modelos no solo se almacenan en la biblioteca, sino que también se utilizan para refinar $M_G$ mediante una agregación ponderada. Los pesos asignados al $M_G$ existente y al nuevo modelo dependen de la similitud entre el nuevo entorno y las condiciones de entrenamiento originales, lo que permite que el sistema acumule conocimiento progresivamente a través de diversos escenarios mientras mitiga el olvido catastrófico.

Todo el sistema está embebido dentro de la estructura O-RAN. El RIC No-Tiempo Real (Non-RT RIC) alberga rApps para la selección de modelos, el aprendizaje por transferencia y las actualizaciones de aprendizaje continuo, mientras que el RIC Tiempo-Real Cercano (Near-RT RIC) utiliza xApps para la comparación de similitud de ciudades en tiempo real, el despacho de modelos y la inferencia de trayectoria.

Contribuciones Clave
El artículo detalla las siguientes contribuciones específicas:

• Selección de Modelo Adaptativa: Desarrollo de un mecanismo que selecciona la política de trayectoria preentrenada más apropiada de una biblioteca basada en una métrica de similitud ambiental, reduciendo significativamente la sobrecarga de reentrenamiento.
• Modelo de Respaldo Robusto: Creación de un modelo de respaldo sintético ($M_G$) que se actualiza continuamente mediante aprendizaje continuo, permitiendo que el sistema mantenga un rendimiento base en entornos no vistos y mejore progresivamente la generalización.
• Integración O-RAN: Implementación de un sistema de trayectoria de UAV integrado dentro de la arquitectura O-RAN, utilizando xApps y rApps para permitir la inferencia en tiempo real y los bucles de aprendizaje continuo.
• Validación con el Mundo Real: Validación del marco utilizando mapas de RSSI de alta fidelidad obtenidos mediante trazado de rayos de ciudades reales (York, Beijing, Ottawa, etc.), incorporando condiciones de propagación realistas como la difracción y los efectos de trayectoria múltiple.

Resultados
Las simulaciones realizadas en múltiples entornos urbanos (incluyendo York, Ottawa y Beijing) demuestran la eficacia del marco propuesto:

• Velocidad de Convergencia: El enfoque de aprendizaje por transferencia basado en la selección de modelos reduce el tiempo de convergencia entre un 44% y un 56% en comparación con el reentrenamiento desde cero (DDQN).
• Comparación con el TL Tradicional: El método propuesto mejora la convergencia hasta en un 40% en comparación con el aprendizaje por transferencia tradicional sin selección de modelos.
• Desempeño en Escenarios Específicos:
  • En el entorno de York, donde no existía un origen altamente similar, el modelo de respaldo $M_G$ convergió en 880 episodios, superando al mejor modelo de la biblioteca (940 episodios) y al baseline de DDQN (1380 episodios).
  • En Ottawa, la transferencia desde el modelo de Manchester, estructuralmente similar, logró la convergencia en 750 episodios, una mejora del 44.8% respecto al baseline de DDQN.
  • En Beijing, la transferencia desde el modelo de York, similar, resultó en una convergencia de 590 episodios, una mejora del 45.9% respecto al baseline.
• Transferencia Negativa: El estudio destaca que seleccionar modelos de entornos disímiles (por ejemplo, transferir desde Rosslyn a Ottawa) puede conducir a una convergencia más lenta y a un rendimiento peor que el entrenamiento desde cero, validando la necesidad del mecanismo de selección basado en similitud.
• Impacto del Aprendizaje Continuo: Aunque los modelos de respaldo actualizados por CL no siempre superaron a los mejores modelos de transferencia seleccionados en instancias específicas, demostraron una mejor adaptabilidad con el tiempo, asegurando que el sistema permanezca robusto a medida que la biblioteca de entornos se expande.

Significancia y Reivindicaciones
Los autores afirman que este trabajo aborda la brecha crítica en la optimización de trayectorias de UAV con respecto a la adaptabilidad en escenarios urbanos heterogéneos. Al combinar la selección de modelos con un mecanismo de respaldo continuamente actualizado dentro del marco O-RAN, el sistema garantiza que los UAV puedan adaptarse rápidamente a nuevos entornos sin los costos prohibitivos de reentrenar desde cero. El artículo enfatiza que este enfoque no solo acelera el aprendizaje, sino que también asegura una operación robusta y confiable al prevenir la transferencia negativa. La integración de datos de trazado de rayos del mundo real y la arquitectura O-RAN posiciona al marco como un paso práctico hacia el despliegue inteligente y escalable de redes 6G. Los autores señalan que el trabajo futuro explorará más mejoras en las estrategias de selección de modelos y la planificación de trayectorias con eficiencia energética.