Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

A continuación se presenta un resumen técnico detallado del artículo "Precodificación Distribuida para Massive MIMO sin Células en O-RAN: Un Marco de Aprendizaje por Refuerzo Profundo Multiagente."

1. Declaración del Problema

El artículo aborda el desafío de la precodificación en sistemas Massive MIMO sin células integrados dentro de la arquitectura de Red de Acceso Radio Abierta (O-RAN).

• Contexto: En Massive MIMO sin células, múltiples Unidades de Radio Abiertas (O-RU) sirven colaborativamente a los usuarios para garantizar una cobertura uniforme y una alta capacidad. La precodificación es crítica para dirigir los haces y mitigar la interferencia entre usuarios.
• El Desafío:
  • Los esquemas centralizados (por ejemplo, C-RZF Regularizado Centralizado) ofrecen un alto rendimiento pero sufren problemas de escalabilidad, alta complejidad computacional y sobrecarga de señalización excesiva en la interfaz E2 (entre O-DU y RIC).
  • Los esquemas totalmente distribuidos (por ejemplo, RZF Distribuido) reducen la sobrecarga pero a menudo conducen a un rendimiento subóptimo debido a la alta interferencia entre O-RU y la falta de coordinación global.
  • Enfoques de ML existentes: El Aprendizaje por Refuerzo Profundo (DRL) directo para determinar matrices de precodificación a menudo falla en despliegues densos debido a espacios de estado/acción de alta dimensión, lo que genera problemas de convergencia. Además, muchos métodos existentes se centran únicamente en maximizar el rendimiento agregado sin garantizar los requisitos de tasa de datos mínimos para usuarios individuales.
• Objetivo: Desarrollar un marco de precodificación distribuido, escalable y de baja latencia que garantice los requisitos de tasa mínima de los usuarios, maximice el rendimiento agregado y minimice la sobrecarga de señalización dentro de la jerarquía O-RAN.

2. Metodología

Los autores proponen un marco híbrido de múltiples escalas de tiempo que combina conocimiento experto de algoritmos de optimización iterativa con Aprendizaje por Refuerzo Profundo (DRL) Multiagente. La solución aprovecha la arquitectura jerárquica de O-RAN (RIC No-RT, RIC Near-RT y O-DU).

A. Formulación Matemática

• Problema de Optimización: Los autores formulan un problema de optimización no convexa para maximizar el rendimiento agregado sujeto a restricciones de tasa mínima ($R_{min}$) y restricciones de potencia de transmisión.
• Transformación: El problema se reformula como un problema equivalente de Error Cuadrático Medio Mínimo Ponderado (WMMSE).
• Solución Iterativa: Se utiliza un enfoque de Descenso de Coordenadas por Bloques (BCD) para actualizar iterativamente:
  1. Filtros de recepción ($U$)
  2. Matrices de ponderación ($W$)
  3. Matrices de precodificación ($V$)
• Insight Clave: En sistemas sin células, las matrices de precodificación están acopladas a través de las O-RU. Sin embargo, los filtros de recepción ($U$) y los pesos ($W$) dependen de sumas de canales efectivos que exhiben "endurecimiento del canal", lo que los hace menos sensibles a las fluctuaciones rápidas que las matrices de precodificación instantáneas.

B. El Marco Propuesto de DRL Multiagente

En lugar de utilizar DRL para predecir directamente matrices de precodificación de alta dimensión (lo cual es computacionalmente costoso y difícil de entrenar), el marco utiliza DRL para aprender las variables intermedias de baja dimensión ($U$ y $W$) derivadas del algoritmo iterativo.

• Arquitectura Multiagente:
  • Agentes: Se asigna un agente DRL a cada usuario.
  • Observación: Cada agente observa los canales de interferencia efectivos ($\Xi_{k,i}$) de un subconjunto de usuarios interferentes ($I_k$) que comparten perfiles de desvanecimiento a gran escala similares.
  • Acción: El agente genera el filtro de recepción ($U_k$) y el factor de Cholesky de la matriz de ponderación ($L_k$, donde $W_k = L_k L_k^H$). Esto reduce significativamente la dimensión del espacio de acciones.
  • Algoritmo: Se utiliza una extensión multiagente del algoritmo Soft Actor-Critic (SAC) para maximizar una combinación de recompensa (rendimiento) y entropía de la política.

C. Despliegue Multi-Escala de Tiempo en O-RAN

El marco se distribuye entre diferentes componentes de O-RAN según sus escalas de tiempo operativas:

1. Bucle No-RT (>1 seg):
   • Componente: RIC No-RT (rApps).
   • Tarea: Entrenamiento de los modelos DRL (redes Actor y Crítico) y actualización de parámetros.
2. Bucle Near-RT (10 ms – 1 seg):
   • Componente: RIC Near-RT (xApps).
   • Tarea: Los agentes determinan $U_k$ y $W_k$ para cada usuario basándose en las estadísticas actuales del canal. Estos se envían a las O-DU.
3. Tiempo Real (RT) (<1 ms):
   • Componente: O-DU (dApps).
   • Tarea: Utilizando los $U_k$ y $W_k$ recibidos, junto con la Información de Estado del Canal (CSI) instantánea y un multiplicador de Lagrange aprendido ($\xi_l$) para las restricciones de potencia, las O-DU calculan las matrices finales de precodificación ($V_{k,l}$) mediante una ecuación de actualización de forma cerrada.
   • Comunicación Inter-O-DU: Se propone una nueva interfaz D2 para permitir que las O-DU intercambien información de canal/precodificación necesaria para O-RU acopladas, minimizando la carga en la interfaz E2.

3. Contribuciones Clave

1. Formulación de Optimización Novel: Se formuló un problema de precodificación no convexo para Massive MIMO sin células con transmisión conjunta coherente, reformulado como un problema WMMSE y resuelto mediante BCD.
2. DRL Guiado por Expertos: Se propuso un marco híbrido donde el DRL aprende variables intermedias de baja dimensión ($U, W$) en lugar de matrices de precodificación de alta dimensión. Esto aprovecha la teoría de optimización para guiar el proceso de aprendizaje, mejorando la convergencia y la estabilidad.
3. Implementación Jerárquica en O-RAN: Se diseñó un despliegue práctico a través de los bucles No-RT, Near-RT y RT, utilizando dApps para la precodificación en tiempo real y xApps/rApps para la optimización y el entrenamiento.
4. Adaptabilidad Dinámica: El marco se adapta dinámicamente a los cambios en los requisitos de tasa de datos mínima de los usuarios ($R_{min}$) actualizando los multiplicadores de Lagrange en tiempo real sin reentrenar.
5. Reducción de Señalización: Se introdujo un mecanismo distribuido que reduce drásticamente la sobrecarga de señalización en la interfaz E2 en comparación con los esquemas centralizados.

4. Resultados de Rendimiento

Se realizaron simulaciones extensas comparando el marco propuesto con C-RZF, D-RZF, WMMSE y varias bases de DRL (E2E-DRL, DRL-WMMSE).

• Rendimiento Agregado:
  • Supera a D-RZF hasta en un 24.4%.
  • Supera a WMMSE hasta en un 35.8%.
  • Supera a DRL de Extremo a Extremo hasta en un 50.2%.
  • Logra un rendimiento comparable al RZF Centralizado (C-RZF) pero con una complejidad significativamente menor.
• Sobrecarga de Señalización:
  • Reduce la sobrecarga de señalización de la interfaz E2 hasta en un 99.81% en comparación con C-RZF. Esto se debe a que solo se intercambian variables intermedias de baja dimensión, no matrices de canal completas.
• Escalabilidad:
  • La complejidad computacional escala eficientemente con el número de usuarios y O-RU, a diferencia de los métodos centralizados que escalan cúbicamente.
  • La latencia de inferencia por bucle Near-RT es de 6.38 ms, muy por debajo del objetivo de 10 ms.
• Robustez:
  • Movilidad: El marco mantiene el rendimiento incluso a altas velocidades de usuario (hasta 45 km/h), con una degradación mínima (<4%).
  • CSI Imperfecta: Bajo errores severos de estimación de canal, el método propuesto basado en aprendizaje supera al método analítico centralizado (C-RZF).
  • Equidad: Al ajustar $R_{min}$, el marco puede equilibrar entre maximizar el rendimiento agregado y garantizar la equidad para los usuarios en el borde de la celda.

5. Significado

Este artículo cierra la brecha entre la optimización teórica y el despliegue práctico en redes inalámbricas de próxima generación.

• Practicidad: Demuestra cómo la arquitectura flexible de O-RAN puede albergar soluciones complejas de IA/ML (DRL) mientras se adhiere a estrictas restricciones de tiempo real.
• Eficiencia: Resuelve la "maldición de la dimensionalidad" en DRL para sistemas inalámbricos utilizando conocimiento del dominio (algoritmos iterativos) para reducir el espacio de aprendizaje.
• Preparación para el Futuro: El marco está diseñado para manejar condiciones de red dinámicas (movilidad de usuarios, requisitos cambiantes de QoS) e información de canal imperfecta, lo que lo convierte en un candidato viable para redes Massive MIMO sin células de 6G.

En resumen, el artículo presenta una solución robusta, escalable y eficiente para la precodificación en Massive MIMO sin células que aprovecha la sinergia entre la teoría de optimización y el aprendizaje por refuerzo multiagente dentro del ecosistema O-RAN.