Resumo Técnico: Reconfiguração Dinâmica de Clusters Baseada em H-MADRL para Gestão de Mobilidade de UAVs

1. Definição do Problema

O artigo aborda o desafio da gestão de mobilidade para Veículos Aéreos Não Tripulados (UAVs) em redes de interferência com conectividade múltipla. Ao contrário das redes tradicionais centradas em células, onde os usuários se conectam a um único Ponto de Acesso (AP), as arquiteturas de conectividade múltipla (ex: redes cell-free, CoMP) servem usuários por meio de clusters dinâmicos de APs distribuídos. Esse paradigma oferece robustez para trajetórias 3D de alta mobilidade de UAVs, mas introduz três desafios críticos:

1. Confiabilidade sob Comprimento de Bloco Finito: Aplicações de comando e controle de UAV exigem Comunicação Ultra-Confiável de Baixa Latência (URLLC). Em regimes de comprimento de bloco finito, as probabilidades de erro de decodificação são não nulas, necessitando de restrições rigorosas de Razão Sinal-Interferência mais Ruído (SINR) para atender às metas de confiabilidade.
2. Eficiência Energética: Transmissões simultâneas de múltiplos APs aumentam o consumo total de energia. O sistema deve minimizar o consumo de potência conjunta enquanto mantém a qualidade da comunicação.
3. Estabilidade do Cluster: A reconfiguração frequente de clusters de serviço conforme os usuários se movem gera um overhead de controle e latência significativos. O sistema deve minimizar a frequência de reconfiguração sem comprometer a Qualidade de Serviço (QoS).

Abordagens convencionais de otimização, correspondência (matching) e teoria dos jogos lutam contra esses problemas devido à dependência de Informação de Estado de Canal (CSI) perfeita e em tempo real, além de sua incapacidade de escalar conforme o tamanho da rede aumenta. Embora o Aprendizado por Reforço Profundo (DRL) ofereça adaptabilidade, o DRL centralizado carece de escalabilidade, e o Multi-Agent DRL (MADRL) padrão frequentemente sofre com limitações de desempenho devido à observabilidade parcial e à complexidade de objetivos heterogêneos e fortemente acoplados (clustering vs. controle de potência).

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço Profundo Multi-Agente Hierárquico (H-MADRL), implementado especificamente como H-MAPPO (Hierarchical Multi-Agent Proximal Policy Optimization). A abordagem decompõe o problema de otimização conjunta em dois subproblemas interdependentes gerenciados por agentes em diferentes níveis da rede.

Arquitetura do Sistema

• Agente de Alto Nível (Edge Cloud): Responsável pela reconfiguração dinâmica de clusters. Ele observa os estados globais da rede (localização de usuários, cargas de AP, condições de canal) e determina o cluster de serviço $\Gamma$ ideal para cada UAV.
• Agentes de Baixo Nível (APs): Responsáveis pela alocação de potência eficiente em termos de energia. Cada AP atua como um agente independente que aloca potência de transmissão para seus usuários atribuídos com base em observações locais e na decisão de clustering recebida do agente de alto nível.

Mecanismo Inovador: Transição Ação-Observação

Para abordar o problema de observabilidade parcial no MADRL e melhorar a coordenação, o artigo introduz um mecanismo de transição ação-observação. A ação tomada pelo agente de alto nível (a decisão de clustering) é injetada diretamente no espaço de observação dos agentes de baixo nível. Isso permite que os agentes de baixo nível incorporem o contexto global de clustering em suas decisões locais de alocação de potência, criando um sistema coeso onde as políticas de baixo nível são guiadas pelas estratégias de alto nível.

Formulação Matemática

O problema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP).

• Objetivo: Maximizar uma soma ponderada da estabilidade do cluster (minimizando reconfigurações) e eficiência energética (maximizando bits transmitidos por unidade de potência), sujeito a:
  • Restrições de probabilidade máxima de erro de decodificação ($\varepsilon_{max}$) derivadas da teoria da informação de comprimento de bloco finito.
  • Restrições de potência máxima de transmissão ($P_{max}$).
  • Limiares mínimos de SINR ($\gamma_{th}$).
• Funções de Recompensa:
  • Alto Nível: Recompensas para clusters estáveis e penalidades para interrupções de SINR (outages).
  • Baixo Nível: Recompensas para minimização de potência e penalidades para violações da probabilidade de erro.

Treinamento e Implantação

O framework é treinado usando Proximal Policy Optimization (PPO) para o agente de alto nível e Multi-Agent PPO (MAPPO) para os agentes de baixo nível. O treinamento ocorre em um ambiente de gêmeo digital (OpenAI Gym com Ray RLlib) usando rollouts on-policy. As políticas resultantes são implantadas como redes "congeladas", onde o edge cloud emite comandos de clustering via backhaul óptico, e os APs realizam inferência local para controle de potência sem exploração online.

3. Principais Contribuições

1. Formulação de Otimização: Os autores formulam um problema de otimização multiobjetivo para o clustering dinâmico conjunto e alocação de potência em uma rede de interferência wireless, contabilizando explicitamente as restrições de confiabilidade de comprimento de bloco finito e probabilidades de erro.
2. Framework Hierárquico: Eles propõem um framework H-MADRL escalável que desacopla o clustering e o controle de potência. Um agente de alto nível no edge cloud otimiza o clustering, enquanto agentes de AP distribuídos de baixo nível otimizam a potência, equilibrando escalabilidade com desempenho.
   ção.
3. Transição Ação-Observação: Um mecanismo inovador é introduzido onde a ação do agente de alto nível (clustering) torna-se parte do espaço de observação dos agentes de baixo nível. Isso melhora a coordenação e permite que os agentes de baixo nível aloquem potência de forma mais eficiente com base no contexto global de clustering.
4. Validação: A viabilidade e o desempenho do algoritmo H-MAPPO proposto são validados através de extensas simulações numéricas contra baselines centralizados e distribuídos.

4. Resultados Numéricos

O artigo compara o H-MAPPO contra vários baselines: MSAC (centralizado), MAPPO padrão (distribuído), clustering oportunista, JCPC (baseado em otimização) e um esquema de AP "Mais Próximo" (Closest).

• Eficiência de Aprendizado: O H-MAPPO converge aproximadamente 15% mais rápido e alcança recompensas cumulativas maiores do que o baseline distribuído MAPPO. A decomposição hierárquica simplifica o espaço de ação, auxiliando na exploração e estabilização mais rápidas.
• Confiabilidade (Probabilidade de Outage): O H-MAPPO alcança uma probabilidade de outage de SINR próxima a $10^{-8}$, comparável ao esquema de otimização JCPC ($10^{-9}$) e significativamente melhor que o MSAC centralizado ($10^{-5}$) e o MAPPO distribuído. Ele atende efetivamente aos limiares rigorosos de Probabilidade de Erro de Decodificação (DEP).
• Eficiência de Potência: O H-MAPPO alcança a confiabilidade necessária com a menor potência de transmissão total entre os métodos baseados em aprendizado. Ele opera abaixo de 60% da potência máxima disponível em 90% das instâncias, enquanto esquemas oportunistas não baseados em aprendizado utilizam >90% de potência.
• Estabilidade de Cluster: O H-MAPPO demonstra superior estabilidade com uma taxa de reconfiguração de cluster de apenas 9%, comparado a 83% para a abordagem de otimização JCPC. Isso indica que o agente de aprendizado captura com sucesso padrões de mobilidade de longo prazo para evitar reconfigurações desnecessárias.
• Escalabilidade: Quando o número de APs dobra (de 16 para 32), o tempo de decisão do H-MAPPO aumenta em apenas 10%. Em contraste, a abordagem MSAC centralizada vê um aumento de 90% no tempo de decisão, e o MAPPO padrão vê um aumento de 70%. Isso destaca a escalabilidade superior da abordagem hierárquica.

5. Significância e Alegações

O artigo alega que o framework H-MAPPO proposto oferece uma solução prática para o equilíbrio entre escalabilidade e desempenho em redes de UAV com conectividade múltipla. Ao decompor o problema e utilizar o mecanismo de transição ação-observação, o sistema alcança:

• Desempenho comparável à otimização centralizada (especificamente em confiabilidade e eficiência de potência), mas com escalabilidade significativamente melhor.
• Redução do overhead de controle através de reconfigurações de cluster minimizadas.
• Eficiência energética ao adaptar dinamicamente a alocação de potência para atender a restrições de confiabilidade rigorosas sem superprovisionamento.

Os autores concluem que esta abordagem hierárquica efetivamente preenche a lacuna entre a adaptabilidade do aprendizado distribuído e a coordenação necessária para QoS rigorosa em cenários de mobilidade 3D dinâmica. Eles reconhecem limitações relativas à complexidade de coordenação entre níveis e a dependência de um controlador central de alto nível, sugerindo que trabalhos futuros poderiam explorar formulações hierárquicas totalmente descentralizadas.