⚡ electrical engineering

Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning

O artigo propõe um xApp baseado em aprendizado por reforço profundo para o controlador RIC próximo ao tempo real em redes O-RAN heterogêneas, demonstrando que o algoritmo PPO otimiza a alocação de recursos, reduzindo o consumo de energia em até 70% e melhorando a justiça entre usuários em mais de 30% em comparação com abordagens heurísticas tradicionais.

Autores originais: Oluwaseyi Giwa, Jonathan Shock, Jaco Du Toit, Tobi Awodumila

Publicado 2026-04-08

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Oluwaseyi Giwa, Jonathan Shock, Jaco Du Toit, Tobi Awodumila

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a rede de internet móvel (como a 4G ou a futura 5G/6G) é como uma grande cidade movimentada, cheia de torres de celular (as "estações base") e milhões de pessoas tentando usar seus celulares ao mesmo tempo.

O problema é que, quando muita gente usa a internet ao mesmo tempo, ocorre um "engarrafamento" de sinais. É como se todos na cidade gritassem ao mesmo tempo: ninguém consegue ouvir ninguém, a bateria dos celulares acaba rápido e a internet fica lenta.

Este artigo apresenta uma solução inteligente para esse caos, usando uma espécie de "cérebro artificial" que aprende a organizar a cidade.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Cenário: A Cidade Caótica (Redes Heterogêneas)

A rede não é feita apenas de torres gigantes. Existem torres grandes (Macro) e torres pequenas escondidas em postes ou prédios (Micro).

O Problema: Quando essas torres tentam ajudar os usuários, elas acabam se atrapalhando. A torre grande grita tão alto que abafa a torre pequena, e vice-versa. Isso gasta muita energia e deixa alguns usuários (especialmente os mais distantes) sem sinal.
A Solução Antiga: Os gerentes de rede usavam regras fixas, como "sempre gritar no máximo" ou "dê prioridade a quem está mais perto". Isso funcionava mal porque a cidade muda o tempo todo.

2. O Herói: O "Maestro" Inteligente (O xApp com IA)

Os autores criaram um programa chamado xApp, que vive dentro de um "cérebro central" da rede (o RIC). Pense nele como um Maestro de Orquestra que usa Inteligência Artificial (Aprendizado por Reforço Profundo).

Como ele funciona: Em vez de seguir regras fixas, o Maestro observa a cidade em tempo real. Ele vê quem está gritando, quem está calado e onde está o engarrafamento.
O que ele faz: Ele toma três decisões rápidas:
1. Ajusta o Volume (Potência): Se uma torre está gritando demais e atrapalhando a vizinha, o Maestro pede para ela baixar o volume.
2. Divide o Tempo (Banda): Ele decide quem fala quando, garantindo que todos tenham uma chance de usar a internet.
3. Escolhe quem atende (Agendamento): Ele garante que a pessoa no canto da rua (que tem sinal fraco) não seja ignorada só porque a pessoa no centro da rua tem sinal forte.

3. Os Treinadores: PPO vs. TD3

Para ensinar esse Maestro, os pesquisadores usaram dois métodos de treinamento diferentes, como se fossem dois professores de música:

O Professor TD3 (Técnico e Rápido): Ele é muito eficiente no começo. Aprende rápido a tocar as notas básicas e a evitar erros graves. É como um aluno que decorou a partitura e toca rápido, mas às vezes, quando a música fica muito complexa, ele fica nervoso e erra o ritmo.
O Professor PPO (Explorador e Estável): Ele é mais lento no início, mas é muito cuidadoso. Ele não tenta mudar tudo de uma vez. Ele explora diferentes formas de tocar, garantindo que a música fique perfeita e equilibrada. Ele é mais "robusto" e não se desespera quando a cidade fica muito barulhenta.

4. O Resultado: A Cidade Perfeita

Depois de treinar esses Maestros em uma simulação baseada em uma cidade real (Cidade do Cabo, na África do Sul), os resultados foram impressionantes:

Economia de Energia (A conta de luz): O Maestro PPO conseguiu reduzir o consumo de energia da rede em até 70% em áreas muito cheias. Ele aprendeu que, às vezes, é melhor ficar em silêncio do que gritar alto e atrapalhar todo mundo.
Justiça (Ninguém fica de fora): Em redes antigas, quem estava longe da torre ficava sem internet. Com o Maestro PPO, a "justiça" na distribuição da internet melhorou em mais de 30%. Ninguém é deixado para trás.
Velocidade: Mesmo economizando energia, a internet ficou mais rápida para todos, porque o "engarrafamento" de sinais foi resolvido.

5. Conclusão: Por que isso importa para o futuro?

Este trabalho mostra que podemos usar Inteligência Artificial para gerenciar redes de internet de forma mais inteligente, econômica e justa.

Analogia Final: Imagine que a rede atual é como um trânsito onde todos os carros aceleram ao máximo, causando um engarrafamento e gastando muita gasolina. O sistema proposto é como um semáforo inteligente que ajusta o fluxo dos carros, faz alguns dirigirem mais devagar para economizar combustível e garante que ninguém fique preso no trânsito, mesmo que esteja longe do centro.

Em resumo, os pesquisadores provaram que um "cérebro" de IA (especificamente o método chamado PPO) é o melhor maestro para conduzir a orquestra da internet do futuro (6G), tornando-a mais verde (menos energia), mais justa e mais rápida.

1. Problema Abordado

O artigo foca no desafio complexo de alocação dinâmica de recursos em Redes Heterogêneas (HetNets) dentro da arquitetura de Open Radio Access Network (O-RAN).

Contexto: A evolução para redes 5G e 6G exige uma densa sobreposição de células macro com células pequenas (micro, pico e femto) para aumentar a capacidade e eficiência espectral.
Desafio: Essa densidade gera interferência severa (co-tier e cross-tier), tornando a gestão conjunta de potência de transmissão, fatiamento de banda (bandwidth slicing) e agendamento de usuários (scheduling) extremamente difícil.
Limitações Atuais: Estratégias tradicionais baseadas em otimização clássica ou heurísticas são inadequadas devido à natureza não convexa e combinatória do problema, além de dependerem de modelos estáticos que não capturam a dinâmica em tempo real.
Objetivo: Desenvolver um controlador inteligente (xApp) que otimize simultaneamente a eficiência energética, a taxa de dados (throughput) e a justiça entre os usuários (fairness), operando dentro das restrições de tempo do Near-RT RIC (aprox. 10ms a 1s).

2. Metodologia

Os autores propõem uma solução baseada em Aprendizado por Reforço Profundo (Deep Reinforcement Learning - DRL) integrada ao controlador Near-RT RIC da O-RAN.

Formulação do Problema: O problema é modelado como um Processo de Decisão de Markov (MDP):
- Estado ( $S$ ): Inclui medições globais de interferência (CQI), topologia fixa e alocação de potência anterior.
- Ação ( $A$ ): Um espaço de ação contínuo e hierárquico que controla:
  1. Potência de transmissão ( $p_b$ ).
  2. Fatias de banda ( $W_b$ ).
  3. Pesos de prioridade para agendamento de usuários (mapeados via função softmax para garantir validade).
- Recompensa ( $R$ ): Uma função escalonada que equilibra três objetivos conflitantes: maximizar a taxa total de dados, maximizar o Índice de Justiça de Jain e minimizar o consumo de energia da rede.
Ambiente de Simulação:
- Utiliza topologias reais baseadas em coordenadas geoespaciais de operadoras em Cidade do Cabo, África do Sul (3 células macro e 10 microcélulas), em vez de modelos sintéticos puramente teóricos (como Processos de Pontos de Poisson).
- O canal de comunicação considera perda de caminho, sombreamento log-normal e desvanecimento Rayleigh.
Algoritmos Comparados:
- TD3 (Twin Delayed Deep Deterministic Policy Gradient): Um algoritmo off-policy que utiliza dupla Q-learning para reduzir o viés de superestimação e atualizações atrasadas da política para estabilidade.
- PPO (Proximal Policy Optimisation): Um algoritmo on-policy que utiliza uma função objetivo "cortada" (clipped surrogate) para limitar o tamanho das atualizações da política, garantindo treinamento estável.
- Baselines: Comparados contra heurísticas padrão: OFDMA Ganancioso (G-OFDMA), Precificação de Interferência (IP-PC) e Agendamento Justo Proporcional (PF-EQ).

3. Contribuições Principais

Integração O-RAN Realista: Formulação de um MDP compatível com o Near-RT RIC, onde um agente centralizado gerencia potência e agendamento com conhecimento global do canal, justificando o uso de loops de feedback E2.
Ambiente de Simulação Híbrido: Desenvolvimento de um simulador que combina dados geoespaciais reais (para geometria de interferência realista) com modelos de canal padronizados, evitando o overfitting em dados proprietários específicos.
Análise Comparativa Robusta: Derivação matemática de métricas de throughput e justiça a partir de ações contínuas de RL, comparando rigorosamente PPO e TD3 contra heurísticas em cenários variados (Urbano Denso, Suburbano, Hotspot).
Validação de Viabilidade: Demonstração de que agentes de IA centralizados podem operar dentro das janelas de latência do Near-RT RIC (10ms-1s), validando a orquestração de IA para futuras arquiteturas 6G.

4. Resultados Chave

Os experimentos foram conduzidos em 1000 episódios com 1000 passos cada, avaliando quatro cenários topológicos.

Eficiência Energética vs. Throughput:
- O agente baseado em PPO alcançou uma redução de até 70% no consumo de energia em cenários urbanos densos em comparação com a base gananciosa (G-OFDMA), mantendo um throughput superior.
- A heurística G-OFDMA consumiu quase o máximo de energia (normalização ~0.95-1.0) para obter bom throughput, enquanto a IP-PC economizou energia mas sacrificou drasticamente o throughput dos usuários.
Justiça (Fairness) e QoS:
- O PPO demonstrou superioridade na gestão de justiça, alcançando um Índice de Jain de 0.65 a 0.75 em todas as topologias.
- Em cenários mistos, o PPO melhorou a justiça em mais de 300% comparado ao G-OFDMA e 100% comparado à IP-PC, garantindo que usuários na borda da célula não fossem "morrer de fome" (starved).
Convergência e Complexidade:
- TD3: Convergiu mais rapidamente no início (alta eficiência de amostra), mas sofreu instabilidade e degradação de desempenho em estágios posteriores devido à complexidade da paisagem de interferência.
- PPO: Apresentou uma ascensão monótona e estável, alcançando uma recompensa média significativamente maior e mais robusta.
- Latência: Embora os tempos de inferência do DRL sejam maiores que as heurísticas, permanecem dentro da janela de 10ms-1s, validando seu uso como xApps.

5. Significado e Conclusão

O estudo conclui que, embora o TD3 seja eficiente para adaptação rápida, o PPO é a escolha superior para a orquestração de recursos em HetNets O-RAN devido à sua estabilidade e capacidade de encontrar políticas globalmente ótimas que equilibram eficiência energética, capacidade de rede e justiça.

Impacto: Os resultados validam a viabilidade de orquestração centralizada e consciente de energia baseada em IA para arquiteturas futuras de 6G.
Futuro: Os autores sugerem expandir o trabalho para arquiteturas de DRL multi-agente distribuído (como MAPPO) para lidar com escalabilidade e mobilidade de alta velocidade.

Em resumo, o artigo demonstra que a aplicação de DRL (especificamente PPO) em controladores Near-RT RIC pode resolver o dilema clássico entre desempenho e eficiência energética em redes heterogêneas complexas, superando significativamente as abordagens heurísticas tradicionais.