Digital-Twin Empowered Deep Reinforcement Learning For Site-Specific Radio Resource Management in NextG Wireless Aerial Corridor

Resumo Técnico: Aprendizado por Reforço Profundo Potencializado por Gêmeo Digital para Gerenciamento de Recursos de Rádio Específico de Localidade em Corredores Aéreos Sem Fio NextG

Definição do Problema
O artigo aborda o complexo desafio de Gerenciamento de Recursos de Rádio (RRM) para a otimização conjunta da associação de Estações Base (BS) e seleção de feixes (beams) para múltiplos Veículos Aéreos Não Tripulados (UAVs) operando em um corredor aéreo específico de uma localidade (SS). Este problema é caracterizado por:

• Espaços de ação de alta dimensão: A natureza combinatória de atribuir $M$ UAVs a $L$ BSs e $N$ feixes cria um problema de otimização NP-difícil.
• Ambientes Dinâmicos: Canais de propagação que variam rapidamente e a mobilidade dos UAVs tornam a adaptação em tempo real difícil.
• Sobrecarga de CSI: Métodos ótimos convencionais exigem Informação de Estado de Canal (CSI) global, o que acarre em sobrecarga de sinalização e requisitos de sincronização proibitivos em cenários densos e móveis.
• Escassez de Dados de Treinamento: Embora o Aprendizado por Reforço Profundo (DRL) ofereça um caminho para reduzir a complexidade computacional, o treinamento de modelos robustos normalmente requer conjuntos de dados extensos e específicos de cada localidade, que são difíceis de adquirir de redes vivas sem interromper as operações.

Metodologia
Os autores propõem uma estrutura de dois estágios, habilitada por Gêmeo Digital (DT), que acopla modelagem baseada em física com Aprendizado por Reforço Profundo.

1. Construção de Digital Twin e Channel Twin (CT):

   • Um ambiente de DT de alta fidelidade foi construído utilizando o campus da Howard University como banco de testes, utilizando dados do OpenStreetMap, Blender para modelagem 3D e NVIDIA Sionna para ray tracing acelerado por GPU.
   • O Channel Twin (CT) captura características de propagação específicas da localidade (multicaminho, difração, reflexão) integrando contextos geoespaciais, localizações de BS e posições de UAV.
   • Estágio 1 (Otimização de Ganho de Feixe): Um algoritmo de dual annealing é empregado offline para pré-computar ângulos de varredura horizontal ($\phi_{scan}$) ótimos para cada combinação BS-UAV-feixe. Isso maximiza o ganho de antena compatível com a 3GPP ($G_{5G}$) em direção à localização física do UAV, criando efetivamente uma biblioteca de ganhos de feixe otimizados.

2. Multi-Head Proximal Policy Optimization (MH-PPO):

   • Estágio 2 (Aprendizado de Associação): Um agente Multi-Head Proximal Policy Optimization (MH-PPO) é treinado no conjunto de dados offline gerado pelo CT.
   • Arquitetura: O agente utiliza um backbone de extração de características compartilhado (processando ganhos de canal achatados e Ângulos de Chegada) alimentando $M$ cabeças de atores descentralizadas (uma por UAV) e uma rede de crítico centralizada. Este design permite que a rede escale com a densidade de UAVs sem mudanças arquiteturais.
   • Tratamento de Restrições: Em vez de restrições rígidas, a estrutura impõe o balanceamento de carga e a exclusividade de feixe através de um mecanismo de recompensa baseado em penalidades. Se múltiplos UAVs selecionarem a mesma BS, o ambiente admite os top-$N$ links mais fortes e penaliza o excesso, permitindo que o agente aprenda associações balanceadas de carga implicitamente.
   • Espaço de Estado: O estado de entrada inclui ganho de canal, ângulos de azimute e zenite de chegada derivados do CT.
   • Espaço de Ação: O agente produz uma distribuição categórica sobre pares BS-feixe para cada UAV.

Principais Contribuições

1. Metodologia de Treinamento Impulsionada por DT: O artigo constrói um conjunto de dados offline fisicamente consistente usando um CT de alta fidelidade que adere às especificações 3GPP TR 37.840 e ECC Report 281. Este conjunto de dados sustenta o treinamento de um agente PPO, permitindo o aprendizado de políticas robustas através de diversas condições de canal sem exigir exploração de rede ao vivo.
2. Estrutura Escalável MH-PPO: Os autores formulam a associação UAV-BS-feixe como uma tarefa de aprendizado de política usando uma arquitetura ator-crítico de múltiplas cabeças especializada. Esta abordagem mapeia características de CSI de alta dimensão diretamente para decisões de alocação de recursos, eliminando a necessidade de otimização iterativa durante o implante online.
3. Balanceamento de Carga Implícito: Um mecanismo de recompensa inovador penaliza violações de capacidade, permitindo que o agente aprenda equidade e balanceamento de carga através do comportamento, em vez de codificação de restrições explícitas na rede de política.
4. Desempenho e Latência: A estrutura demonstra melhorias significativas de throughput em relação aos baselines, enquanto alcança latências de inferência na ordem de milissegundos, adequadas para operações 6G.

Resultados
Simulações extensas foram conduzidas em um ambiente 3D com parâmetros de antena padronizados pela 3GPP, comparando o MH-PPO proposto contra um Vanilla DQN, um algoritmo de Hungarian de dois estágios e vários heurísticos (Max-Gain, Closest-BS, Random).

• Ganhos de Throughput: Em cenários densos ($M=30$ UAVs), o agente MH-PPO alcançou uma melhoria de 44%–121% sobre o DQN e um ganho de 249%–807% sobre os esquemas heurísticos tradicionais. Por exemplo, a 60m de altitude com 20 UAVs, o MH-PPO alcançou 12,59 Mbps, um ganho de 43,8% sobre o DQN e de 720,6% sobre o heurístico Closest-BS.
• Robustez e Generalização: O agente MH-PPO demonstrou estabilidade superior em ambientes de alta dimensão e limitados por interferência. Enquanto o DQN sofreu com desajuste de distribuição e degeneração de política (evidenciado por uma longa cauda esquerda na distribuição de throughput), o MH-PPO manteve um desempenho consistente. O percentil 5 de throughput (desempenho do usuário no pior caso) para o MH-PPO foi significativamente maior que o do DQN, indicando melhor equidade.
• Latência de Inferência: A estrutura proposta alcançou uma latência média de inferência de 2,43 ms, o que é aproximadamente 2,4% do tempo mínimo de coerência de canal para UAVs viajando a 20–50 km/h. Isso é várias ordens de magnitude mais rápido que o tempo necessário para otimização iterativa e está bem dentro do requisito de latência de 40 ms para pacotes de Comando-e-Controle (C2).
• Escalabilidade: A latência de inferência escalou de forma sublinear com o número de UAVs, confirmando a viabilidade da abordagem para implantes ultra-densos.

Significância
O artigo afirma que este trabalho estabelece um caminho viável para o gerenciamento de recursos em tempo real em redes de corredores aéreos de próxima geração. Ao alavancar Gêmeos Digitais para gerar dados de treinamento de alta fidelidade, os autores superam os duplos desafios da intratabilidade computacional em otimização combinatória e da impraticabilidade de adquirir CSI global em tempo real. Os resultados demonstram que as pipelines de treinamento impulsionadas por DT podem entregar políticas de RRM de alto desempenho e baixa latência adaptadas para implantes específicos de localidade, efetivamente preenchendo a lacuna entre a otimização teórica e a implementação prática de 6G em tempo real. O trabalho estende contribuições anteriores de conferência ao considerar explicitamente a interferência intercelular no design da recompensa e fornecer um benchmark abrangente para comunicações de corredores de UAV.