Multi-Agent DRL for QoS and Energy Optimization in RIS-Enabled Open-RAN Industrial 6G TN/NTN Networks

Resumen Técnico: DRL Multi-Agente para la Optimización de QoS y Energía en Redes TN/NTN de 6G con Capacidad de Open-RAN y RIS

Planteamiento del Problema
Las redes industriales 6G enfrentan desafíos críticos para cumplir con los requisitos de comunicaciones ultra-fiables y de baja latencia (URLLC) y de eficiencia energética en entornos dinámicos y propensos a bloqueos. Las infraestructuras celulares terrestres tradicionales suelen fallar al proporcionar una cobertura estable en entornos industriales densos caracterizados por grandes fábricas, centros logísticos y condiciones de propagación severas. Si bien la integración de redes no terrestres (NTN) mediante Vehículos Aéreos No Tripulados (UAV) y Plataformas de Gran Altitud (HAP) ofrece una solución, la optimización conjunta de la asignación de recursos, los desplazamientos de fase de las Superficies Inteligentes Reconfigurables (RIS), el uso compartido del espectro y la descarga de computación (computing offloading) en tales entornos heterogéneos Terrestres/No Terrestres (TN/NTN) crea un problema de alta dimensionalidad y fuertemente acoplado. Las técnicas de optimización centralizadas convencionales son computacionalmente intratables para estos escenarios dinámicos, y los enfoques de aprendizaje existentes a menudo carecen de la integración del control de propagación habilitado por RIS, la coordinación TN/NTN y la inteligencia de Open-RAN.

Metodología
Los autores proponen un marco de trabajo Open-RAN habilitado por RIS para redes industriales 6G integradas TN/NTN. La arquitectura del sistema comprende:

• Capa Terrestre: Unidades de Radio Terrestres (GRU) y dispositivos de Internet de las Cosas Industrial (IIoT) distribuidos.
• Capa No Terrestre: Una plataforma HAP equipada con un servidor de Computación de Borde Multi-Acceso (MEC) y múltiples UAV montados con RISs.
• Plano de Control: Arquitectura Open-RAN utilizando Controladores de Red Inteligentes (RIC) de Tiempo Real Cercano (Near-RT) y No-Tiempo Real (Non-RT) para un control desagregado.

El enfoque técnico central consiste en modelar la optimización conjunta de las tasas de datos, la latencia y el consumo de energía como un Proceso de Decisión de Markov Parcialmente Observable Descentralizado (Dec-POMDP).

• Modelo del Sistema: El marco considera enlaces directos (GRU-IIoT, HAP-IIoT) y enlaces indirectos asistidos por RIS (UAV-RIS-IIoT). Los modelos de canal contabilizan las condiciones de Línea de Visión (LoS) y No-Línea de Visión (NLoS), utilizando desvanecimiento de Rice para los enlaces aéreos y modelos de pérdida de trayectoria para los enlaces terrestres.
• Objetivo de Optimización: El objetivo es maximizar una función de utilidad que equilibra la utilidad de la tasa de comunicación (utilidad de tasa logarítmica) frente a las penalizaciones por latencia y consumo de energía, sujeto a restricciones de ancho de banda, potencia de transmisión, capacidad de computación, desplazamientos de fase de RIS y requisitos de QoS.
• Algoritmo de Solución: Para resolver el Dec-POMDP, los autores emplean un marco de Optimización de Política de Proximidad Multi-Agente (MAPPO).
  • Agentes: Las GRUs, el HAP y los controladores de RIS montados en UAV actúan como agentes independientes.
  • Observaciones: Los agentes operan basados en observaciones locales (condiciones de canal, demandas de tráfico, energía residual) en lugar de información de estado global.
  • Entrenamiento: Un crítico centralizado utiliza información de estado global para estimar la función de valor conjunta, mitigando la no estacionariedad, mientras que los agentes actualizan sus políticas (actores) utilizando un objetivo de sustitución recortado (clipped surrogate objective).
  • Acciones: Los agentes determinan conjuntamente la asociación de usuarios, la asignación de ancho de banda, la potencia de transmisión, la asignación de recursos de computación y las configuraciones de desplazamiento de fase de RIS.

Contribuciones Clave

1. Arquitectura: Desarrollo de una arquitectura Open-RAN habilitada por RIS para redes industriales 6G integradas TN/NTN, aprovechando los RIS montados en UAV para mejorar la cobertura y la fiabilidad en entornos desafiantes.
2. Formulación: Una formulación de optimización exhaustiva que captura los recursos de computación, la configuración de RIS, el uso compartido del espectro y la provisión de QoS bajo restricciones prácticas de latencia y energía.
3. Algoritmo: Propuesta de un marco de Aprendizaje por Refuerzo Profundo Multi-Agente (MADRL) (específicamente MAPPO) que permite un control escalable, adaptativo y descentralizado de las políticas aprendidas sin requerir el conocimiento total del estado global.
4. Validación: Simulaciones extensas comparando el enfoque propuesto contra líneas base de vanguardia, incluyendo Multi-Agent Actor-Critic (MAAC), MAPPO sin RIS y una línea base codiciosa (greedy).

Resultados
Los resultados de la simulación, realizados en un área industrial de 1000m × 1000m con 100 dispositivos IIoT, demuestran la efectividad del marco propuesto:

• Tasa de Datos: El MAPPO propuesto con RIS logra una tasa de datos de estado estacionario de aproximadamente 220 Mbps, lo que representa una mejora del 75% sobre MAPPO sin RIS y una mejora del 25% sobre el esquema MAAC.
• Latencia: El marco logra una reducción de hasta un 25% en la latencia en comparación con MAPPO sin RIS y una reducción del 20% en comparación con MAAC.
• Consumo de Energía: El enfoque produce hasta un ahorro de energía del 16% en comparación con el enfoque MAAC y una mejora de casi el 20% sobre MAPPO sin RIS.
• Convergencia: El método propuesto demuestra una convergencia rápida y un rendimiento superior a través de diversas cargas de red en comparación con las líneas base codiciosas y sin RIS.

Significación y Reivindicaciones
El artículo afirma que la integración de la inteligencia asistida por RIS en Open-RAN ofrece una solución viable para redes industriales 6G escalables y energéticamente eficientes. Al permitir el control descentralizado mediante MADRL, el marco supera la intratabilidad computacional de la optimización centralizada en entornos industriales dinámicos. Los autores aseguran que su enfoque equilibra eficazmente las compensaciones entre el rendimiento (throughput), la latencia y el consumo de energía, abordando los estrictos requisitos de las aplicaciones IIoT de misión crítica. El trabajo destaca el potencial de los RIS montados en UAV para mitigar los bloqueos y los huecos de cobertura mientras se mantiene la eficiencia espectral. Se identifica como trabajo futuro la extensión del marco para incluir la movilidad dinámica de los UAV, la transmisión de enlace descendente (downlink) y mecanismos de aprendizaje federado para mejorar aún más la escalabilidad y la adaptabilidad en tiempo real.