Energy-Efficient IRS-Assisted Green Cellular Networks With Ground Base Station Sleep Mode

Resumen Técnico: Redes Celulares Verdes Asistidas por IRS con Modo de Sueño de Estaciones Base Terrestres para la Eficiencia Energética

Formulación del Problema
Esta investigación aborda el desafío de maximizar la eficiencia energética (EE) en redes inalámbricas de más allá de la quinta generación (B5G) y sexta generación (6G). El escenario específico involucra una red celular de enlace descendente que integra tres componentes clave: Estaciones Base Terrestres (GBS), una única Estación Base Aérea (ABS) y Superficies Inteligentes de Reflexión (IRS). El problema central surge de la necesidad de equilibrar el ahorro de energía con los requisitos de Calidad de Servicio (QoS). Si bien los modos de sueño de las GBS reducen el consumo de potencia estática, pueden crear brechas de cobertura y degradar el rendimiento, particularmente para los usuarios en el borde de la celda. Por el contrario, las ABS ofrecen una cobertura flexible pero introducen costos de energía de plataforma (por ejemplo, el vuelo estacionario), y las IRS mejoran la propagación de la señal pero requieren la optimización conjunta de los desplazamientos de fase.

Los autores formulan esto como un problema de optimización no convexo de enteros mixtos. El objetivo es maximizar la relación entre el rendimiento total de la red y el consumo total de potencia. Las variables de optimización incluyen:

• Variables discretas: Estados de activación de las GBS (sueño/activa) y asociación de usuarios (qué transmisor sirve a qué usuario en qué subcanal).
• Variables continuas: Asignación de potencia de transmisión para las GBS y la ABS, el posicionamiento horizontal de la ABS y los desplazamientos de fase de los elementos de la IRS.

El problema está sujeto a restricciones de presupuesto de potencia, requisitos de QoS (tasa de datos mínima), restricciones de módulo unitario para los elementos de la IRS y el modelado explícito de la interferencia de canal compartido entre transmisores terrestres y aéreos activos. La naturaleza no convexa del problema, impulsada por objetivos fraccionales, variables binarias y términos de interferencia acoplados, hace que los métodos de optimización convencionales sean computacionalmente intratables.

Metodología
Para resolver este complejo problema de optimización, los autores proponen un marco de Aprendizaje por Refuerzo Profundo Híbrido (Hybrid DRL). Este enfoque descompone el espacio de decisión en componentes discretos y continuos, aprovechando las fortalezas de dos algoritmos distintos:

1. Double Deep Q-Learning (DDQL): Utilizado para manejar tareas de toma de decisiones discretas. Específicamente, el agente DDQL determina los indicadores de modo de sueño de las GBS ($\alpha_m$) y las variables de asociación de usuarios ($\beta_{k,m,l}, \beta_{k,a,l}$). Este módulo aprende la topología de red óptima y los patrones de activación para minimizar el uso innecesario de energía manteniendo la cobertura.
2. Deep Deterministic Policy Gradient (DDPG): Utilizado para optimizar las variables de control continuo. El agente DDPG ajusta la posición horizontal de la ABS, la asignación de potencia de transmisión tanto para los nodos terrestres como para los aéreos, y las matrices de desplazamiento de fase de la IRS. Este módulo se adapta a las condiciones dinámicas del canal y a los patrones de interferencia.

El sistema se modela como un Proceso de Decisión de Markov (MDP). El espacio de estados incluye la información del estado del canal, la actividad actual de las GBS, las asociaciones de usuarios, los niveles de potencia, la posición de la ABS y las configuraciones de la IRS. La función de recompensa está diseñada para maximizar la eficiencia energética mientras impone penalizaciones por violaciones de QoS (usuarios que no cumplen con los requisitos de tasa mínima) y violaciones de restricciones (por ejemplo, límites de potencia).

Contribuciones Clave
El artículo detalla las siguientes contribuciones específicas:

• Desarrollo del Marco de Trabajo: El diseño de un marco de red eficiente energéticamente que integra conjuntamente la asistencia de IRS, la movilidad de la ABS y los modos de sueño de las GBS.
• Modelado Consciente de la Interferencia: La creación de un modelo de sistema que contabiliza explícitamente la interferencia de canal compartido entre las transmisiones terrestres y aéreas dentro de un esquema de asignación de recursos ortogonal.
• Formulación de Optimización: La formulación de un problema no convexo de enteros mixtos que optimiza conjuntamente los indicadores de sueño, la asociación de usuarios, la potencia, el posicionamiento y los desplazamientos de fase.
• Algoritmo Híbrido: La propuesta de una solución de DRL híbrida que combina DDQL y DDPG para navegar eficientemente el espacio de decisión de alta dimensión y variables mixtas.
• Validación del Rendimiento: La demostración de que el enfoque propuesto mejora la eficiencia energética mientras satisface las restricciones de QoS, superando a los puntos de referencia convencionales.

Resultados Numéricos
El marco propuesto fue evaluado mediante simulaciones numéricas que involucraron 3 GBS, 6 usuarios y 2 IRS dentro de un área de radio de 500 m. Los resultados se compararon contra tres esquemas de referencia: un sistema sin IRS, un sistema sin ABS y un sistema donde todas las GBS permanecen activas (sin modo de sueño).

• Convergencia: El marco de DRL híbrido demostró una convergencia estable, con la eficiencia energética aumentando de aproximadamente $3 \times 10^6$ bit/J a entre $5.5$y$6.5 \times 10^6$ bit/J después del entrenamiento.
• Compromisos (Trade-offs): El sistema logró con éxito una mejora dual: aumentar la tasa de datos promedio del usuario y, simultáneamente, reducir el consumo total de potencia.
• Efectividad del Modo de Sueño: La política aprendida redujo progresivamente el número de GBS activas a lo largo de los episodios de entrenamiento. Los resultados indican que los enlaces asistidos por IRS y el soporte de la ABS permiten que la red mantenga la QoS incluso con menos estaciones base terrestres activas.
• Rendimiento Comparativo: El método propuesto alcanzó la mayor eficiencia energética entre todos los esquemas comparados. La brecha de rendimiento con las líneas base de "Sin-IRS" y "Sin-ABS" resaltó los beneficios específicos de la mejora de la reflexión de la señal y la flexibilidad aérea, respectivamente.

Significancia y Reivindicaciones
El artículo afirma que la integración de la flexibilidad de la ABS, la propagación asistida por IRS y el control inteligente del modo de sueño permite una operación de red altamente eficiente y adaptable. Los autores sostienen que su enfoque de DRL híbrido proporciona una solución prometedora para abordar los desafíos de eficiencia energética en las redes inalámbricas del futuro al equilibrar eficazmente la cobertura, la gestión de la interferencia y el consumo de energía. El estudio concluye que el marco propuesto mejora significamente la eficiencia energética en comparación con los esquemas que carecen de asistencia de IRS, soporte de ABS o optimización del modo de sueño, sin comprometer las tasas de datos de los usuarios.

Los autores mantienen un alcance modesto respecto al trabajo futuro, señalando que las direcciones de investigación futuras incluyen la extensión del marco a escenarios con múltiples ABS, estrategias de despliegue de IRS dinámicas y modelos de movilidad y tráfico más realistas.