Digital Twin-Assisted Adaptive Multi-Agent DRL for Intelligent Spectrum and Resource Management in Open-RAN UAV-Enabled 6G Networks

Resumo Técnico: Gêmeo Digital Assistido por Aprendizado por Reforço Profundo Multiagente Adaptativo para Gestão Inteligente de Espectro e Recursos em Redes 6G com UAVs em Open-RAN

Declaração do Problema
A evolução para redes sem fio 6G exige arquiteturas capazes de taxas de dados ultra-altas, confiabilidade extrema e baixa latência (xURLLC) sob condições altamente dinâmicas. Embora o Open-RAN ofereça uma estrutura flexível e desacoplada de hardware-software, e os Veículos Aéreos Não Tripulados (UAVs) forneçam mobilidade crítica e extensão de cobertura para usuários terrestres (GUs), sua integração apresenta desafios significativos. Especificamente, a gestão de espectro e recursos em ambientes assistidos por UAVs é complicada por interações de sistema não lineares, variações de topologia induzidas pela mobilidade e restrições rigorosas de latência e energia. Os métodos de otimização e teoria dos jogos existentes frequentemente falham em abordar a adaptabilidade em tempo real e a coordenação simultânea necessária no 6G. Além disso, as aplicações anteriores de Gêmeo Digital (DT) têm sido limitadas a redes terrestres ou modelos simplificados que não capturam totalmente as complexidades dos sistemas de comunicação sem fio.

Metodologia
Para enfrentar esses desafios, os autores propõem um framework híbrido que integra um Gêmeo Digital (DT) com Aprendizado por Reforço Profundo Multiagente (MADRL) Adaptativo dentro de uma arquitetura Open-RAN. O modelo do sistema inclui Plataformas de Alta Altitude (HAPs), Unidades Centralizadas/Distribuídas (CU/DU) de Open-RAN, múltiplos UAVs atuando como Unidades de Rádio Aéreas (ARUs), Unidades de Rádio Terrestres (GRUs) e GUs distribuídos.

O problema de otimização central é formulado como uma tarefa de Programação Não Linear de Inteiros Mistos (MINLP) visando maximizar o serviço total de provisão (taxa de dados) para os GUs. O problema é decomposto em dois subproblemas inter-relacionados para lidar com a não convexidade e a complexidade computacional:

1. Otimização de Trajetória de UAV: Um algoritmo de Otimização por Enxame de Partículas (PSO) leve é empregado para determinar as posições ideais dos UAVs. Esta etapa foca em maximizar a cobertura e minimizar a interferência, enquanto adere a restrições de mobilidade, desvio de colisão e energia.
2. Gestão de Recursos: Um framework MADRL adaptativo, baseado em um algoritmo de Gradiente de Política Determinística Profunda (DDPG) aprimorado, lida com a alocação dinâmica de recursos. Isso inclui associação RU-GU, alocação de largura de banda e controle de potência de transmissão.
   • Arquitetura: O framework utiliza uma estrutura hierárquica de Open-RAN. O Non-RT RIC (hospedado no O-Cloud) executa o DT para treinamento centralizado, agregação de estado global e otimização de política, enquanto o Near-RT RIC (na borda) executa políticas de ator descentralizadas para inferência e adaptação em tempo real.
   • Melhorias do Algoritmo: O agente MADRL emprega redes de crítico gêmeo para neutralizar o viés de superestimação, suavização de política alvo para reduzir a sensibilidade às variações de valor Q, e adaptação de ruído de parâmetro para exploração dependente de estado.
   • Restrições: A solução impõe estritamente restrições relativas à capacidade da bateria do UAV (modelo de energia de propulsão), latência de ponta a ponta (atrasos de acesso, backhaul e sincronização de DT), limiares mínimos de SINR e desvio de colisão.

Principais Contribuições
O artigo descreve quatro contribuições primárias:

• Proposta de Framework: Um framework de DT baseado em UAV para compartilhamento inteligente de espectro e gestão de recursos em 6G, abordando especificamente latência, consumo de energia e adaptabilidade dinâmica.
• Formulação do Problema: Um problema de maximização de taxa de dados conjunta que otimiza posições de UAV, potência de transmissão de RU, alocação de largura de banda e associações RU-GU sob rigorosas restrições de energia, latência e sincronização de DT.
• Solução Híbrida: Uma solução híbrida iterativa e adaptativa combinando PSO para otimização de trajetória e MADRL para alocação descentralizada de recursos para superar a não convexidade do problema.
• Validação: Simulações extensas demonstrando o desempenho superior do framework proposto em relação às soluções de estado da arte (MADDPG, MAPPO, MA Actor-Critic e algoritmos Greedy) em termos de eficiência espectral, maximização da taxa de dados e utilização de energia.

Resultados de Simulação
O framework proposto DT-assisted PSO-MADRL foi avaliado em uma área de 1000m × 1000m com 100 GUs e três clusters UAV-GRU. As principais descobertas incluem:

• Convergência: O método proposto alcançou uma convergência significativamente mais rápida (estabilizando após ~200 episódios) e recompensas médias mais altas em comparação com os algoritmos de referência.
• Taxa de Dados: O framework alcançou consistentemente taxas de dados médias mais altas em vários números de clusters, demonstrando escalabilidade e utilização eficiente de espectro em implantações densas.
• Latência: A solução alcançou a latência mais baixa e estável, convergindo rapidamente para aproximadamente 60 ms, atendendo aos requisitos de xURLLC de forma mais eficaz do que os benchmarks.
• Trajetória: O PSO otimizou com sucesso as trajetórias dos UAVs para garantir cobertura quase completa dos GUs dentro dos clusters, mantendo a eficiência energética.

Significância e Alegações
Os autores afirmam que este trabalho representa um caminho transformador para a conectividade 6G autônoma e autoevolutiva. Ao integrar o treinamento centralizado baseado em DT com a execução descentralizada, o framework permite a tomada de decisão inteligente e consciente ao contexto, além de coordenação adaptativa entre os UAVs. O estudo afirma que esta abordagem preenche efetivamente a lacuna entre a otimização teórica e a implementação prática em tempo real em redes Open-RAN assistidas por UAV em ambientes dinâmicos, oferecendo uma solução robusta para cenários como recuperação pós-desastre e transporte inteligente, onde a conectividade confiável e de baixa latência é crítica. O trabalho é apoiado pelo Fundo Nacional de Pesquisa do Luxemburgo (FNR).