Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning

Resumen Técnico: Optimización de Asignación de Recursos en Redes Heterogéneas (HetNets) mediante Aprendizaje por Refuerzo Profundo

1. Planteamiento del Problema

La evolución hacia las redes 5G y la futura 6G ha impulsado el despliegue de Redes Heterogéneas (HetNets), que superponen celdas macro tradicionales con capas densas de pequeñas celdas (micro, pico y femto). Si bien esto mejora la eficiencia espectral y la capacidad, introduce desafíos críticos en la asignación de recursos (RA):

• Interferencia compleja: La densidad de estaciones base (BS) genera interferencia severa entre niveles (cross-tier) y dentro del mismo nivel (co-tier).
• Limitaciones de métodos tradicionales: Las estrategias clásicas de optimización o heurísticas dependen de modelos estáticos y simplificados, fallando ante la naturaleza no convexa y combinatoria de los problemas de RA conjunta (potencia, ancho de banda y programación de usuarios).
• Falta de visión global: Los enfoques distribuidos carecen de la visión global necesaria para coordinar la interferencia de manera óptima.

El objetivo es lograr una asignación de recursos dinámica que maximice el rendimiento (throughput), garantice la equidad entre usuarios (QoS) y minimice el consumo energético, todo ello bajo las restricciones de la arquitectura O-RAN (Open Radio Access Network).

2. Metodología Propuesta

Los autores proponen un xApp (aplicación inteligente) alojado en el Near-RT RIC (Controlador Inteligente de RAN en Tiempo Cercano) que utiliza Aprendizaje por Refuerzo Profundo (DRL) para orquestar los recursos de forma centralizada.

• Formulación del Problema:

  • Se modela como un Proceso de Decisión de Markov (MDP) compatible con O-RAN.
  • Estado ($S$): Incluye mediciones globales de interferencia (CQI), potencia anterior y geometría de la topología.
  • Acción ($A$): Un espacio de acción continuo y jerárquico que controla:
    1. Potencia de transmisión ($p_b$).
    2. Rebanado de ancho de banda ($W_b$).
    3. Pesos de prioridad para la programación de usuarios (mediante una función softmax para derivar fracciones de recursos).
  • Recompensa ($R$): Una función escalada que pondera el throughput total, el índice de equidad de Jain y el consumo energético.

• Algoritmos Comparados:
  Se evalúan dos algoritmos de DRL de vanguardia diseñados para espacios de acción continuos:

  1. TD3 (Twin Delayed Deep Deterministic Policy Gradient): Un algoritmo off-policy que utiliza dos redes de crítica para mitigar la sobreestimación de valores y actualizaciones retrasadas para mayor estabilidad.
  2. PPO (Proximal Policy Optimisation): Un algoritmo on-policy que utiliza una función objetivo recortada (clipped surrogate objective) para limitar el tamaño de las actualizaciones de la política, asegurando un entrenamiento estable y robusto.

• Entorno de Simulación:

  • Se utilizó un entorno de simulación personalizado basado en datos geoespaciales reales de un operador en Ciudad del Cabo, Sudáfrica (3 celdas macro y 10 micro celdas).
  • A diferencia de modelos teóricos puramente estocásticos (Poisson), se preservó la geometría real de interferencia.
  • Se compararon los agentes DRL contra tres baselines heurísticas: Greedy OFDMA, Interference Pricing y Proportional Fair.

3. Contribuciones Clave

1. Marco MDP Realista: Formulación de un MDP compatible con Near-RT RIC que gestiona potencia y programación utilizando conocimiento global del canal, justificado mediante los bucles de retroalimentación E2 de O-RAN.
2. Entorno de Simulación con Datos Reales: Implementación de una topología basada en coordenadas reales de estaciones base, capturando geometrías de interferencia realistas en lugar de modelos sintéticos simplificados.
3. Derivación Matemática y Comparativa: Derivación de métricas de throughput y equidad a partir de acciones continuas de RL, comparando rigurosamente TD3 y PPO contra heurísticas estándar.
4. Validación de Viabilidad: Demostración de que la orquestación centralizada basada en IA es factible dentro de las ventanas de tiempo del Near-RT RIC (10 ms - 1 s).

4. Resultados Principales

Los experimentos se realizaron en escenarios de Urbano Denso, Suburbano Disperso, Punto Caliente (Hotspot) y Mixto.

• Eficiencia Energética:

  • El xApp basado en PPO logró una reducción de hasta un 70% en el consumo de energía en escenarios densos en comparación con la heurística Greedy OFDMA, sin sacrificar el rendimiento.
  • Los agentes aprendieron a utilizar periodos de "silencio" y control de potencia para mitigar la interferencia en lugar de simplemente aumentar la potencia de transmisión.

• Equidad y QoS:

  • PPO demostró una gestión superior de la equidad, alcanzando un Índice de Jain de 0.65 - 0.75 en todas las topologías.
  • En el escenario mixto, PPO mejoró la equidad en más de un 300% comparado con Greedy OFDMA y un 100% frente a Interference Pricing.
  • Las heurísticas tradicionales tendían a "hambrientar" a los usuarios en el borde de la celda para maximizar la tasa de usuarios centrales.

• Convergencia y Complejidad:

  • TD3 mostró una convergencia rápida inicial (alta eficiencia de muestras) pero sufrió inestabilidad y degradación del rendimiento en etapas posteriores debido a la complejidad del paisaje de interferencia.
  • PPO demostró un ascenso monótono y estable, alcanzando una recompensa media significativamente mayor.
  • Aunque la inferencia de DRL es más lenta que las heurísticas, los tiempos de latencia se mantuvieron dentro de la ventana de 10 ms a 1 s, validando su uso como xApps en el Near-RT RIC.

5. Significado e Impacto

Este trabajo valida la viabilidad de utilizar inteligencia artificial centralizada y consciente de la energía para la orquestación de redes en arquitecturas futuras (6G).

• Cambio de Paradigma: Demuestra que los agentes DRL pueden superar significativamente a los métodos heurísticos tradicionales en la gestión conjunta de múltiples objetivos (rendimiento, equidad, energía).
• Sostenibilidad: La reducción drástica del consumo energético contribuye directamente a los objetivos de redes "verdes" y sostenibles.
• Escalabilidad: La arquitectura propuesta es compatible con los estándares O-RAN, lo que facilita su implementación en redes reales.
• Dirección Futura: Los autores sugieren extender este marco a arquitecturas de DRL multi-agente distribuido (como MAPPO o MADDPG) para abordar problemas de escalabilidad y movilidad de alta velocidad.

En conclusión, el estudio establece que, aunque TD3 es eficiente para la adaptación rápida, PPO es la candidata superior para la implementación en xApps de Near-RT RIC debido a su capacidad para encontrar políticas globales óptimas que equilibran eficazmente la equidad del usuario y la eficiencia energética.