Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

Nos rios invisíveis de dados que fluem através do nosso mundo moderno, as redes sem fio enfrentam uma luta constante: como servir mais pessoas com a mesma quantidade limitada de espectro. Durante décadas, a solução padrão foi dividir as frequências de rádio disponíveis em faixas separadas, atribuindo a cada usuário seu próprio caminho exclusivo. Este método, conhecido como acesso múltiplo ortogonal, funciona de forma confiável, mas é ineficiente, como uma rodovia onde os carros são forçados a fazer turnos em uma estrada de pista única mesmo quando as outras faixas estão vazias. Uma abordagem mais nova, chamada Acesso Múltiplo Não Ortogonal, ou NOMA, muda as regras completamente. Em vez de separar os usuários por tempo ou frequência, ela permite que múltiplos usuários compartilhem exatamente a mesma frequência ao mesmo tempo. Para fazer isso funcionar, o transmissor envia um sinal único e combinado, onde diferentes usuários recebem diferentes níveis de potência. O usuário com a conexão mais forte recebe um sinal mais fraco, enquanto o usuário com a conexão mais fraca recebe um sinal mais forte. No lado do receptor, um processo chamado cancelamento sucessivo de interferência atua como um filtro, removendo os sinais mais fortes para revelar os sinais mais fracos por baixo. Esta técnica promete compactar muito mais dados no mesmo espaço, uma necessidade para as redes de quinta geração, ou 5G, que estão conectando atualmente bilhões de dispositivos.

No entanto, a promessa do NOMA depende de um delicado equilíbrio: decidir exatamente quanta potência dar a cada usuário. Se a potência for distribuída de forma deficiente, os usuários com conexões fracas podem falhar em receber seus dados, enquanto a rede como um todo desperdiça capacidade. Este problema torna-se ainda mais difícil no mundo real, onde o equipamento não é perfeito. O processo de remoção de sinais é propenso a pequenos erros, deixando para trás um resíduo tênue de interferência que pode degradar a conexão. Além disso, o ambiente sem fio é caótico; os sinais ricocheteiam em edifícios e desaparecem de forma imprevisível. Os métodos tradicionais de gestão desta potência frequentemente dependem de regras fixas ou cálculos centralizados complexos que têm dificuldade em acompanhar estas mudanças rápidas. Eles tendem a favorecer os usuários com as melhores conexões, deixando aqueles com sinais pobres para trás, ou tornam-se demasiado lentos para se adaptar quando as condições mudam.

Para enfrentar estes desafios, uma equipa de investigadores da Universidade Internacional de Kampala e outras instituições na Nigéria propôs uma nova forma de gerir esta distribuição de potência utilizando uma forma de inteligência artificial. Em vez de depender de um único cérebro central para tomar decisões para toda a rede, eles desenharam um sistema onde cada utilizador atua como um agente inteligente e independente. Esta abordagem, conhecida como Aprendizagem por Reforço Profundo Multiagente, permite que cada utilizador aprenda com a sua própria experiência local. Imagine um grupo de condutores que, em vez de esperarem que uma torre de controlo de tráfego lhes diga quando se mover, aprendem a navegar num cruzamento movimentado observando os carros ao seu redor e ajustando a sua velocidade com base no que funciona melhor para o grupo. Neste sistema, cada utilizador observa a sua própria qualidade de sinal e a interferência que enfrenta, e toma a sua própria decisão sobre quanta potência solicitar. Estes agentes não estão a agir de forma egoísta; eles são treinados com um objetivo partilhado que recompensa todo o grupo por ser justo e eficiente.

Os investigadores testaram este sistema descentralizado num ambiente simulado que imitava as condições imprevisíveis de uma rede 5G real. Eles compararam o seu novo método com várias técnicas estabelecidas, incluindo regras fixas simples, distribuição de potência igual e algoritmos mais avançados, como algoritmos genéticos e sistemas de aprendizagem centralizada. As simulações foram executadas milhares de vezes para garantir que os resultados fossem fiáveis. Os resultados revelaram que, embora o sistema centralizado pudesse alcançar a maior velocidade de dados total sob condições perfeitas, a nova abordagem multiagente oferecia um equilíbrio superior de desempenho e fiabilidade. Especificamente, o novo método reduziu significativamente o número de vezes que os utilizadores falhavam a ligação, uma métrica conhecida como probabilidade de interrupção (outage probability), mantendo-a abaixo de dez por cento mesmo quando a força do sinal era relativamente baixa. Também manteve um alto nível de justiça, garantindo que os utilizadores com más conexões não fossem deixados para trás, alcançando uma pontuação de justiça de 0,96 em forças de sinal elevadas.

Talvez o mais importante, o estudo mostrou que esta nova abordagem é robusta contra as imperfeições encontradas no hardware do mundo real. Quando os investigadores introduziram erros no processo de cancelamento de sinal e na medição das condições do canal, o desempenho do sistema centralizado caiu de forma mais acentuada do que o do sistema descentralizado. Porque o sistema multiagente depende de observações locais em vez de uma visão global perfeita, foi menos abalado por estas imprecisões. Em termos de precisão de dados, o novo método reduziu a taxa de erros para menos de um em mil sob forças de sinal elevadas, superando os outros métodos testados. Os investigadores concluíram que, embora a inteligência centralizada tenha o seu lugar, uma rede onde os utilizadores aprendem a cooperar e a adaptar-se localmente oferece uma solução mais escalável e resiliente para o futuro das comunicações sem fios. Este trabalho sugere que a próxima geração de redes poderá não precisar de um controlador único e onisciente, mas sim de uma coleção de agentes inteligentes e cooperativos que possam navegar juntos no caos do mundo sem fios.