Scalable machine learning-based approaches for energy saving in densely deployed Open RAN

Título: Abordagens de Aprendizado de Máquina Escaláveis para Economia de Energia em Open RAN Densamente Implantado

1. Problema

A densa implantação de estações base (BS) e Unidades de Rádio (RUs) é essencial para atender à demanda de dados em horários de pico, mas resulta em um consumo energético excessivo na Rede de Acesso Rádio (RAN). Estudos indicam que as BSs consomem entre 73% e 77% da energia total da rede. O problema central é que, mesmo em períodos de baixa demanda, muitas RUs permanecem ativas, desperdiçando energia.
O desafio técnico reside em desligar (colocar em modo de sono) seletivamente essas RUs sem comprometer a Qualidade de Serviço (QoS) dos Usuários (UEs). Este problema é classificado como NP-difícil devido à natureza combinatória das decisões de ligar/desligar e ao acoplamento temporal (mudanças de tráfego e mobilidade dos usuários). Abordagens tradicionais de otimização tornam-se computacionalmente intratáveis em redes grandes e dinâmicas. Além disso, soluções centralizadas de Aprendizado por Reforço (RL) enfrentam desafios de escalabilidade, sobrecarga de comunicação e dificuldade de generalização em redes distribuídas geograficamente.

2. Metodologia

O trabalho propõe uma solução baseada na arquitetura Open RAN (O-RAN), que permite a integração de inteligência artificial através de controladores inteligentes (RIC). A abordagem utiliza Aprendizado por Reforço Profundo (DRL) para gerenciar o estado de sono/ativo das RUs.

• Arquitetura de Controle:
  • Near-RT RIC (Controlador em Tempo Quase Real): Hospeda xApps que executam decisões de controle em tempo real (ciclo de 10–1000 ms) baseadas em observações locais de tráfego e mobilidade.
  • Non-RT RIC (Controlador em Tempo Não Real): Hospeda rApps que realizam orquestração de políticas de longo prazo e agregação global de modelos.
• Formulação do Problema: O controle de sono das RUs é formulado como um Processo de Decisão de Markov (MDP).
  • Estado: Inclui taxas de dados dos UEs, estados de ativação anteriores das RUs, carga de PRBs (Resource Blocks) e posições espaciais dos UEs.
  • Ação: Vetor binário indicando quais RUs devem estar ativas ou em sono.
  • Recompensa: Função que equilibra a minimização do consumo de energia total (incluindo consumo fixo, dependente da carga e custo de transição) e a satisfação da QoS (penalizando usuários com taxas abaixo do mínimo).
• Algoritmos Propostos:
  1. Abordagens Centralizadas:
     • DQNMA (Multiple Action): Enumera todas as configurações conjuntas de RUs (espaço de ação exponencial $2^M$).
     • DQNSA (Single Action): Altera o estado de apenas uma RU por vez (espaço de ação linear $2M$).
     • TD3 (Twin Delayed DDPG): Utiliza um espaço de ação contínuo para prever a probabilidade de ativação, discretizado posteriormente. Isso evita a explosão combinatória do espaço de ação.
  2. Abordagem Federada (Fed-DRL):
     • Propõe uma arquitetura Federated Learning (FL) onde cada região geográfica treina seu agente localmente (xApp) usando dados locais.
     • Os parâmetros do modelo (pesos da rede neural) são periodicamente enviados ao Non-RT RIC para agregação global (usando FedAvg), sem compartilhar dados brutos.
     • O modelo global atualizado é redistribuído para os agentes locais, permitindo escalabilidade e adaptação a heterogeneidades regionais.

3. Principais Contribuições

• Framework de Controle de Energia O-RAN: Desenvolvimento de um sistema que alterna dinamicamente RUs entre modos ativo e sono, alinhado com as interfaces padronizadas do O-RAN (E2, A1).
• Formulação MDP Robusta: Criação de um modelo que considera tráfego, mobilidade e distribuição espacial, com uma função de recompensa que gerencia o trade-off entre energia e QoS.
• Arquitetura Federada Escalável: Introdução de uma solução Fed-DRL onde agentes locais (xApps) interagem com RUs regionais e seus modelos são agregados globalmente. Isso supera as limitações de escalabilidade do treinamento centralizado e reduz a sobrecarga de comunicação.
• Comparação Abrangente: Avaliação de três paradigmas DRL (DQNMA, DQNSA, TD3) em cenários centralizados e federados, demonstrando a superioridade do TD3 contínuo e da abordagem federada.

4. Resultados

As simulações foram realizadas em layouts de rede variando de 6 a 24 RUs e áreas de 500m a 1000m.

• Desempenho do Algoritmo: O algoritmo TD3 (contínuo) superou consistentemente as variantes baseadas em DQN (discretas), oferecendo maior estabilidade e recompensas mais altas, especialmente em ambientes complexos com muitas RUs.
• Economia de Energia: A solução proposta alcançou mais de 50% de economia de energia de rede em comparação com o cenário onde todas as RUs permanecem ativas.
• Convergência Federada: O Fed-TD3 convergiu 43,75% mais rápido (em média 858 episódios vs. 1421 do TD3 centralizado) com significância estatística (p < 0,05).
• Eficiência Energética no Treinamento: A abordagem federada reduziu o consumo de energia durante o treinamento em 37,4% em comparação com o modelo centralizado TD3 (153,72 Wh vs. 243,48 Wh), devido à distribuição da carga computacional.
• Generalização: Os modelos federados treinados em sub-regiões independentes demonstraram capacidade de generalização superior ao serem testados em cenários compostos, mantendo a QoS e a eficiência energética.

5. Significância

Este trabalho é significativo por demonstrar a viabilidade prática de aplicar Aprendizado por Reforço Federado na arquitetura Open RAN para otimização de energia.

• Escalabilidade: Resolve o gargalo de escalabilidade de soluções centralizadas de IA em redes 5G/6G densas, permitindo que redes cresçam sem aumentar exponencialmente a complexidade de treinamento.
• Privacidade e Eficiência: Elimina a necessidade de compartilhar dados brutos de usuários entre regiões, preservando a privacidade e reduzindo a latência de backhaul.
• Sustentabilidade: Oferece uma rota clara para reduzir a pegada de carbono das operadoras de telecomunicações, alinhando-se com as metas de eficiência energética da indústria 6G.
• Adaptabilidade: A arquitetura proposta é robusta a mudanças dinâmicas de tráfego e mobilidade, superando as limitações de regras estáticas ou heurísticas tradicionais.

Em suma, o artigo valida que a combinação de Open RAN, DRL contínuo (TD3) e Aprendizado Federado é uma estratégia superior para gerenciar a energia em redes de próxima geração, equilibrando desempenho, custo e sustentabilidade.