EARL: Energy-Aware Adaptive Antenna Control with Reinforcement Learning in O-RAN Cell-Free Massive MIMO Networks

Resumen Técnico: EARL para Redes Cell-Free Massive MIMO en O-RAN

1. Planteamiento del Problema

Las redes Cell-Free Massive MIMO (Multi-Input Multi-Output sin celdas) prometen una experiencia de usuario uniforme mediante la transmisión conjunta coherente de Unidades de Radio (RUs) distribuidas conectadas a una nube central. Sin embargo, esta arquitectura conlleva un alto costo energético debido a:

• La transmisión conjunta desde múltiples RUs distribuidas.
• El procesamiento centralizado en la nube.
• La infraestructura de fronthaul óptico.

Aunque la arquitectura O-RAN (Open Radio Access Network) permite el desactivado dinámico de recursos inactivos, los métodos existentes presentan dos limitaciones clave:

1. Enfoques basados en optimización: Son computacionalmente intensivos y poco prácticos para la implementación en tiempo real.
2. Métodos de Aprendizaje por Refuerzo (RL) actuales: A menudo ignoran el control a nivel de antena individual, desconsideran el consumo de energía del procesamiento en la nube y del fronthaul, o asumen precodificación distribuida (subóptima en eficiencia espectral).

El objetivo es minimizar el consumo de energía total (radio, fronthaul y nube) manteniendo las demandas de Eficiencia Espectral (SE) de los usuarios, bajo esquemas de precodificación centralizada (Opciones de división funcional 7.1 y 8 de 3GPP).

2. Metodología: Framework EARL

Los autores proponen EARL (Energy-Aware Reinforcement Learning), un marco de control de antenas adaptativo que funciona como una aplicación xApp en la nube O-RAN (O-Cloud).

• Modelo del Sistema:

  • Se considera un sistema TDD-OFDM con $L$ RUs y $K$ usuarios (UEs).
  • Se utiliza precodificación centralizada (MMSE) en la nube, lo que permite un mejor rendimiento en los bordes de la red.
  • Se modela el consumo de energía end-to-end, incluyendo:
    • Potencia estática y dinámica de las RUs (dependiente de las antenas activas).
    • Potencia de procesamiento en la nube (O-Cloud).
    • Potencia del fronthaul óptico.
  • El problema se formula como una minimización de energía sujeta a restricciones de SINR (Relación Señal-Interferencia-Ruido), donde la variable de decisión es el número de antenas activas en cada RU ($n_l$).

• Enfoque de Aprendizaje por Refuerzo (RL):

  • Algoritmo: Se utiliza Proximal Policy Optimization (PPO), un método de política on-policy robusto para espacios de acción discretos y multidimensionales.
  • Espacio de Estados ($s_t$): Incluye la matriz de ganancias de canal a gran escala ($\Phi$), el estado actual de activación de antenas ($n_t$), el consumo de potencia normalizado y la fracción de usuarios que violan la restricción de SE.
  • Espacio de Acción ($a_t$): Un vector incremental $\{-1, 0, +1\}$ que ajusta el número de antenas activas en cada RU.
  • Función de Recompensa ($r_t$): Diseñada para maximizar la eficiencia energética penalizando las violaciones de la SE y las acciones inválidas (como apagar todas las antenas). Incluye un factor de Lagrange adaptativo para equilibrar energía y fiabilidad.

• Estrategia de Inferencia y Refinamiento:

  1. Fase RL: El agente PPO toma decisiones basadas en las ganancias de canal sin necesidad de CSI completo (solo estadísticas). Se prueban dos modos de inicialización (todo encendido / todo apagado) y se selecciona la mejor configuración.
  2. Refinamiento Codicioso (Greedy): Una etapa post-procesamiento que elimina iterativamente antenas redundantes identificadas por la política RL, siempre que no se violen las restricciones de SE. Esto busca un óptimo local adicional.

3. Contribuciones Clave

1. Modelado de Consumo End-to-End: Formulación de un modelo de potencia que escala con las antenas activas y las RUs activas, considerando explícitamente las opciones de división funcional 7.1 y 8 de O-RAN.
2. Marco RL Escalable: Transformación del problema de minimización de potencia (no convexo y combinatorio) en un marco de RL con penalizaciones por violación de restricciones.
3. Arquitectura Híbrida: Combinación de la toma de decisiones rápida de RL con un refinamiento codicioso para maximizar el ahorro energético sin sacrificar la calidad de servicio (QoS).
4. Validación en Tiempo Real: Demostración de que el enfoque cumple con los límites de tiempo de la capa near-real-time de O-RAN.

4. Resultados Numéricos

Las simulaciones se realizaron en un escenario de 400m x 400m con 16 RUs y múltiples usuarios, comparando EARL contra un sistema "todo encendido" (full-on) y un algoritmo heurístico.

• Ahorro de Energía:
  • EARL (RL + Greedy): Logra un ahorro de energía de hasta el 81% comparado con el sistema "todo encendido" y un 50% adicional comparado con el algoritmo heurístico.
  • EARL (Solo RL): Reduce el consumo un 45% más que el heurístico, pero el refinamiento codicioso es crucial para alcanzar el máximo ahorro.
• Tiempo de Ejecución:
  • Solo RL: ~220 ms (bien dentro del límite de 1-2 segundos de O-RAN para xApps near-real-time).
  • RL + Greedy: ~2 segundos (alcanza el límite superior, siendo viable para redes más pequeñas o menos dinámicas).
  • Heurístico: ~70 ms (muy rápido, pero con menor eficiencia energética).
• Impacto de la División Funcional:
  • La Opción 8 (todo procesamiento en la nube) reduce el consumo total de energía de la red en un 30% en comparación con la Opción 7.1, gracias al intercambio eficiente de recursos de procesamiento en la nube, a pesar de aumentar ligeramente el uso de la nube.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha de eficiencia: Demuestra que es posible lograr ahorros energéticos masivos en redes Cell-Free sin sacrificar la eficiencia espectral, algo que los métodos de optimización tradicionales no logran en tiempo real.
• Habilita la sostenibilidad en 6G: Proporciona una solución práctica para la gestión de energía en redes densas y virtualizadas, alineándose con los objetivos de sostenibilidad de las futuras redes 6G.
• Validación de O-RAN: Confirma la viabilidad de implementar agentes de IA complejos (xApps) dentro de la arquitectura O-RAN para la gestión dinámica de recursos a nivel de antena.
• Flexibilidad: El enfoque es adaptable a diferentes esquemas de precodificación y divisiones funcionales, ofreciendo una ruta clara para la implementación en redes comerciales.

En conclusión, EARL representa un avance crucial hacia redes celulares más verdes y eficientes, demostrando que el aprendizaje por refuerzo puede gestionar la complejidad de las redes Massive MIMO distribuidas de manera efectiva y en tiempo real.