Resumen Técnico: Reconfiguración Dinámica de Clústeres Basada en DRL Multi-Agente Jerárquico para la Gestión de la Movilidad de UAV

1. Declaración del Problema

El artículo aborda el desafío de la gestión de la movilidad para Vehículos Aéreos No Tripulados (UAV) en redes de interferencia inalámbrica con conectividad múltiple. A diferencia de las redes tradicionales centradas en celdas donde los usuarios se conectan a un único Punto de Acceso (AP), las arquitecturas de conectividad múltiple (por ejemplo, redes cell-free, CoMP) sirven a los usuarios mediante clústeres dinámicos de APs distribuidos. Este paradigma ofrece robustez para las trayectorias 3D de alta movilidad de los UAV, pero introduce tres desafíos críticos:

1. Fiabilidad bajo Longitud de Bloque Finita: Las aplicaciones de mando y control de UAV requieren Comunicaciones Ultra-Fiables de Baja Latencia (URLLC). En regímenes de longitud de bloque finita, las probabilidades de error de decodificación son distintas de cero, lo que requiere restricciones estrictas de Relación Señal-Interferencia más Ruido (SINR) para cumplir con los objetivos de fiabilidad.
2. Eficiencia Energética: Las transmisiones concurrentes desde múltiples APs aumentan el consumo total de energía. El sistema debe minimizar el consumo de potencia conjunto mientras mantiene la calidad de la comunicación.
3. Estabilidad del Clúster: La reconfiguración frecuente de los clústeres de servicio a medida que los usuarios se mueven genera una sobrecarga de control y latencia significativas. El sistema debe minimizar la frecuencia de reconfiguración sin comprometer la Calidad de Servicio (QoS).

Los enfoques convencionales de optimización, emparejamiento y teoría de juegos tienen dificultades con estos problemas debido a su dependencia de información de estado de canal (CSI) perfecta y en tiempo real, y su incapacidad para escalar a medida que aumenta el tamaño de la red. Aunque el Aprendizaje por Refuerzo Profundo (DRL) ofrece adaptabilidad, el DRL centralizado carece de escalabilidad, y el DRL Multi-Agente (MADRL) estándar suele sufrir limitaciones de rendimiento debido a la observabilidad parcial y la complejidad de los objetivos heterogéneos y estrechamente acoplados (clústeres frente a control de potencia).

2. Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo Profundo Multi-Agente Jerárquico (H-MADRL), implementado específicamente como H-MAPPO (Optimización de Política Próxima Multi-Agente Jerárquica). El enfoque descompone el problema de optimización conjunta en dos subproblemas interdependientes gestionados por agentes en diferentes niveles de la red.

Arquitectura del Sistema

• Agente de Alto Nivel (Edge Cloud): Responsable de la reconfiguración dinámica de clústeres. Observa los estados globales de la red (ubicación de usuarios, cargas de AP, condiciones de canal) y determina el clúster de servicio $\Gamma$ óptimo para cada UAV.
• Agentes de Bajo Nivel (APs): Responsables de la asignación de potencia eficiente en energía. Cada AP actúa como un agente independiente que asigna potencia de transmisión a sus usuarios asignados basándose en observaciones locales y la decisión de clúster recibida del agente de alto nivel.

Mecanismo Novedoso: Transición Acción-Observación

Para abordar el problema de la observabilidad parcial en MADRL y mejorar la coordinación, el artículo introduce un mecanismo de transición acción-observación. La acción tomada por el agente de alto nivel (la decisión de clúster) se inyecta directamente en el espacio de observación de los agentes de bajo nivel. Esto permite que los agentes de bajo nivel incorporen el contexto global de clúster en sus decisiones locales de asignación de potencia, creando un sistema cohesivo donde las políticas de nivel inferior son guiadas por las estrategias de nivel superior.

Formulación Matemática

El problema se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP).

• Objetivo: Maximizar una suma ponderada de la estabilidad del clúster (minimizando las reconfiguraciones) y la eficiencia energética (maximizando los bits transmitidos por unidad de potencia), sujeto a:
  • Restricciones de probabilidad máxima de error de decodificación ($\varepsilon_{max}$) derivadas de la teoría de la información de longitud de bloque finita.
  • Restricciones de potencia de transmisión máxima ($P_{max}$).
  • Umbrales mínimos de SINR ($\gamma_{th}$).
• Funciones de Recompensa:
  • Alto Nivel: Recompensas por clústeres estables y penalizaciones por interrupciones de SINR.
  • Bajo Nivel: Recompensas por minimización de potencia y penalizaciones por violaciones de la probabilidad de error.

Entrenamiento y Despliegue

El marco se entrena utilizando Optimización de Política Próxima (PPO) para el agente de alto nivel y MAPPO (Multi-Agent PPO) para los agentes de bajo nivel. El entrenamiento ocurre en un entorno de gemelo digital (OpenAI Gym con Ray RLlib) utilizando rollouts on-policy. Las políticas resultantes se despliegan como redes "congeladas", donde el edge cloud emite comandos de clúster a través de un backhaul óptico, y los APs realizan la inferencia local para el control de potencia sin exploración en línea.

3. Contribuciones Clave

1. Formulación de Optimización: Los autores formulan un problema de optimización multiobjetivo para la asignación conjunta de clústeres dinámicos y potencia en una red de interferencia inalámbrica, considerando explícitamente las restricciones de fiabilidad de longitud de bloque finita y las probabilidades de error.
2. Marco Jerárquico: Proponen un marco H-MADRL escalable que desacopla el agrupamiento (clustering) y el control de potencia. Un agente de alto nivel en el edge cloud optimiza el clúster, mientras que los agentes de AP distribuidos de bajo nivel optimizan la potencia, equilibrando la escalabilidad con el rendimiento.
3. Transición Acción-Observación: Se introduce un mecanismo novedoso donde la acción del agente de alto nivel (clúster) se convierte en parte del espacio de observación de los agentes de bajo nivel. Esto mejora la coordinación y permite que los agentes de bajo nivel asignen la potencia de manera más eficiente basándose en el contexto global del clúster.
4. Validación: La viabilidad y el rendimiento del algoritmo propuesto H-MAPPO se validan mediante extensas simulaciones numéricas contra líneas base centralizadas y distribuidas.

4. Resultados Numéricos

El artículo compara H-MAPPO contra varias líneas base: MSAC (centralizado), MAPPO estándar (distribuido), agrupamiento oportunista, JCPC (basado en optimización) y un esquema de AP "Más Cercano" (Closest).

• Eficiencia de Aprendizaje: H-MAPPO converge aproximadamente un 15% más rápido y logra recompensas acumuladas mayores que la línea base de MAPPO distribuido. La descomposición jerárquica simplifica el espacio de acciones, ayudando a una exploración y estabilización más rápidas.
• Fiabilidad (Probabilidad de Interrupción): H-MAPPO logra una probabilidad de interrupción de SINR cercana a $10^{-8}$, comparable al esquema de optimización JCPC ($10^{-9}$) y significativamente mejor que MSAC centralizado ($10^{-5}$) y MAPPO distribuido. Cumple eficazmente con los umbrales estrictos de Probabilidad de Error de Decodificación (DEP).
• Eficiencia de Potencia: H-MAPPO logra la fiabilidad requerida con la menor potencia de transmisión total entre los métodos basados en aprendizaje. Opera por debajo del 60% de la potencia máxima disponible en el 90% de los casos, mientras que los esquemas oportunistas no basados en aprendizaje utilizan >90% de la potencia.
• Estabilidad del Clúster: H-MAPPO demuestra una estabilidad superior con una tasa de reconfiguración de clúster de solo el 9%, en comparación con el 83% del enfoque de optimización JCPC. Esto indica que el agente de aprendizaje captura con éxito los patrones de movilidad a largo plazo para evitar reconfiguraciones innecesarias.
• Escalabilidad: Cuando el número de APs se duplica (de 16 a 32), el tiempo de decisión de H-MAPPO aumenta solo un 10%. En contraste, el enfoque MSAC centralizado ve un aumento del 90% en el tiempo de decisión, y el MAPPO estándar ve un aumento del 70%. Esto destaca la escalabilidad superior del enfoque jerárquico.

5. Significado y Reivindicaciones

El artículo afirma que el marco H-MAPPO propuesto ofrece una solución práctica al compromiso entre escalabilidad y rendimiento en redes de UAV con conectividad múltiple. Al descomponer el problema y utilizar el mecanismo de transición acción-observación, el sistema logra:

• Un rendimiento comparable a la optimización centralizada (específicamente en fiabilidad y eficiencia de potencia) pero con una escalabilidad significativamente mejor.
• Reducción de la sobrecarga de control mediante la minimización de las reconfiguraciones de clúster.
• Eficiencia energética al adaptar dinámicamente la asignación de potencia para cumplir con estrictas restricciones de fiabilidad sin sobreaprovisionamiento.

Los autores concluyen que este enfoque jerárquico cierra eficazmente la brecha entre la adaptabilidad del aprendizaje distribuido y la coordinación requerida para una QoS estricta en escenarios de movilidad 3D dinámica. Reconocen las limitaciones respecto a la complejidad de la coordinación entre niveles y la dependencia de un controlador central de alto nivel, sugiriendo que trabajos futuros podrían explorar formulaciones jerárquicas totalmente descentralizadas.