EARL: Energy-Aware Adaptive Antenna Control with Reinforcement Learning in O-RAN Cell-Free Massive MIMO Networks

Resumo Técnico: EARL para Redes Cell-Free Massive MIMO

1. Problema e Contexto

O artigo aborda o alto custo energético associado às redes Cell-Free Massive MIMO (Multiple-Input Multiple-Output) implementadas sob a arquitetura O-RAN (Open Radio Access Network). Embora essas redes ofereçam desempenho uniforme e alta eficiência espectral através da transmissão conjunta coerente de Unidades de Rádio (RUs) distribuídas, elas introduzem desafios significativos de consumo de energia devido a:

• Transmissão conjunta de RUs distribuídas.
• Processamento centralizado na nuvem (O-Cloud).
• Consumo de energia nas ligações de fronthaul óptico.

Desafios Específicos Identificados:

• Limitações dos Métodos Atuais: Abordagens baseadas em otimização matemática são computacionalmente intensivas e inviáveis para decisões em tempo real. Métodos de aprendizado de máquina existentes frequentemente ignoram o controle no nível de antena individual e negligenciam o consumo de energia do processamento na nuvem e do fronthaul.
• Complexidade do Cenário: A maioria dos trabalhos assume precodificação distribuída (subótima para usuários na borda da célula). Este trabalho foca em precodificação centralizada (Opções de divisão funcional 8 e 7.1 do 3GPP), que oferece ganhos de eficiência espectral, mas torna a configuração de antenas e RUs energeticamente mais complexa.
• Objetivo: Minimizar o consumo total de energia (rádio, fronthaul óptico e processamento em nuvem) mantendo as exigências de eficiência espectral (SE) dos Usuários (UEs).

2. Metodologia: Framework EARL

Os autores propõem o EARL (Energy-Aware Reinforcement Learning), um framework de controle adaptativo de antenas que atua como um xApp (aplicação de rede) no O-Cloud, operando dentro do limite de tempo quase real (Near-RT) do O-RAN.

Componentes Principais:

• Modelo de Consumo de Energia End-to-End:
  • Desenvolvido um modelo detalhado que considera o consumo das RUs (hardware e processamento local), da nuvem (processamento de camada física centralizada) e do fronthaul óptico.
  • O modelo é escalável com o número de antenas ativas e RUs ativas, diferenciando-se entre as opções de divisão funcional 7.1 (processamento híbrido) e 8 (todo o processamento na nuvem).
• Formulação do Problema:
  • O problema é formulado como uma minimização de potência sujeita a restrições de SINR (Relação Sinal-Interferência-Ruído) e integridade de variáveis inteiras (número de antenas).
  • Devido à natureza não convexa e combinatória do problema (especialmente com precodificação centralizada), a solução por otimização tradicional é impraticável.
• Abordagem de Aprendizado por Reforço (RL):
  • Algoritmo: Utiliza Proximal Policy Optimization (PPO), um método de política on-policy robusto para espaços de ação discretos e multidimensionais.
  • Agente: O agente RL decide incrementalmente o número de elementos de antena a ativar/desativar em cada RU ($n_l \in \{0, ..., N\}$).
  • Espaço de Estado: Inclui ganhos de canal de longo prazo (matriz de atenuação), status atual de ativação das antenas, consumo de potência normalizado e a fração de usuários violando a restrição de SE.
  • Função de Recompensa: Penaliza o consumo de energia e aplica penalidades adaptativas (via atualização Lagrangiana online) para violações de QoS (Qualidade de Serviço), garantindo que o agente aprenda a equilibrar economia de energia e desempenho.
• Refinamento Ganancioso (Greedy Refinement):
  • Após a decisão do agente RL, uma etapa de refinamento ganancioso é aplicada para desativar antenas redundantes que não violam as restrições de SE, visando reduzir ainda mais o consumo de energia.

3. Principais Contribuições

1. Modelagem de Energia: Formulação de um modelo de consumo de energia end-to-end para sistemas Cell-Free Massive MIMO sob O-RAN (Opções 8 e 7.1), escalando com antenas ativas e RUs ativas.
2. Framework RL Escalável: Transformação do problema de minimização de potência com restrições de SE em um framework de RL, utilizando penalizações para violações de restrição, superando a complexidade computacional de métodos de otimização clássicos.
3. Desempenho Superior: Demonstração de que o EARL supera significativamente tanto o estado "sempre ligado" (full-on) quanto heurísticas simples.
4. Viabilidade em Tempo Real: Validação de que a solução baseada em RL opera dentro de 220 ms, atendendo aos limites de tempo quase real do O-RAN (2 segundos).

4. Resultados Numéricos

As simulações foram realizadas em um cenário de 16 RUs e múltiplos UEs distribuídos em uma área de 400m x 400m.

• Economia de Energia:
  • Comparado ao cenário "Full-On" (todas as antenas ativas): Redução de até 81% no consumo de energia.
  • Comparado a uma heurística de alocação de antenas baseada em força de canal: Redução de 50%.
  • A versão com refinamento ganancioso (RL + Greedy) reduz o consumo pela metade em relação à versão apenas RL.
• Eficiência Espectral (SE):
  • O agente RL prioriza as necessidades de SE dos usuários, mantendo a média de SE acima dos requisitos mínimos.
  • O refinamento ganancioso reduz a SE para níveis próximos ao limite mínimo exigido, maximizando a economia de energia sem violar as restrições.
• Tempo de Execução:
  • EARL (Apenas RL): ~220 ms (bem abaixo do limite de 2s).
  • EARL (RL + Greedy): ~1,98 s (atinge o limite, mas oferece maior economia).
  • Heurística: ~70 ms (mais rápida, mas menos eficiente energeticamente).
• Impacto das Opções de Divisão Funcional:
  • A Opção 8 (todo processamento na nuvem) mostrou-se superior à Opção 7.1 em termos de consumo total de energia (redução de ~30%), devido ao compartilhamento eficiente de recursos de processamento na nuvem, apesar do aumento no consumo da nuvem.

5. Significância e Conclusão

O trabalho EARL representa um avanço significativo na sustentabilidade das redes 6G e O-RAN. Ele demonstra que é possível gerenciar dinamicamente a granularidade do hardware (nível de antena) em redes densas e centralizadas sem comprometer a qualidade do serviço.

• Impacto Prático: A solução permite que operadoras reduzam drasticamente os custos operacionais (OPEX) e a pegada de carbono, ativando recursos de rede apenas quando e onde são estritamente necessários.
• Inovação: A integração de RL com refinamento ganancioso oferece um equilíbrio prático entre a velocidade de decisão necessária para redes móveis e a otimização global de energia.
• Futuro: O trabalho abre caminho para futuras pesquisas sobre a associação conjunta de RUs e UEs e a escalabilidade do algoritmo para redes de maior porte.

Em resumo, o EARL valida que o controle adaptativo de antenas baseado em IA, dentro da arquitetura O-RAN, é uma estratégia viável e altamente eficaz para atingir os objetivos de eficiência energética das futuras redes de comunicação móveis.