Resumo Técnico: Algoritmos Genéticos e Abordagens de Aprendizado por Reforço para Posicionamento Conjunto, Controle de Potência e Ativação de Estações Base Voadoras

1. Definição do Problema

O artigo aborda a otimização de Estações Base Voadoras (FBSs) em redes celulares heterogêneas de larga escala. O desafio central é a otimização conjunta de três variáveis de decisão acopladas para múltiplas FBSs:

1. Posicionamento tridimensional: Coordenadas horizontais contínuas ($x, y$) e altitude ($z$).
2. Potência de transmissão: Níveis de potência contínuos ($P$).
3. Status de ativação: Decisões discretas de ligado/desligado ($P_s \in \{0, 1\}$).

Este problema é formulado como um Programa Não Linear de Inteiros Mistos (MINLP). O objetivo é maximizar uma função de custo unificada que equilibra a conectividade do usuário (definida pela Relação Sinal-Interferência mais Ruído, SINR, excedendo um limite) e a potência total de transmissão das FBSs. A otimização deve levar em conta condições de propagação realistas, incluindo links ar-terra, transições LoS/NLoS (Linha de Visada/Não Linha de Visada) e padrões de interferência complexos em ambientes urbanos densos.

2. Metodologia

Os autores propõem um framework de avaliação unificado para comparar dois paradigmas de otimização distintos sob modelos de sistema, restrições e funções de custo idênticos.

Modelo de Sistema e Simulação de Canal

• Topologia de Rede: Uma rede heterogênea composta por Estações Base Macro (MBSs) terrestres fixas e FBSs controláveis que atendem a um conjunto distribuído de usuários.
• Modelagem de Canal: O estudo utiliza o QuaDRiGa, um simulador de canal estocástico baseado em geometria compatível com os padrões 3GPP. Isso substitui modelos analíticos simplificados para capturar perda de percurso, sombreamento, desvanecimento e efeitos de interferência realistas.
• Métrica de Conectividade: Um usuário é considerado conectado se sua SINR máxima alcançável (entre todas as MBSs e FBSs ativas) exceder um limite predefinido.

Framework de Otimização

A função objetivo $J(d)$ combina conectividade normalizada e consumo de potência normalizado, moldados por hiperparâmetros ($\beta, \gamma, \eta, w$) para permitir o ajuste entre a maximização da conectividade e a eficiência de potência.

Duas abordagens específicas são avaliadas:

1. Algoritmo Genético (GA):

   • Tipo: Um algoritmo evolutivo de código real e inteiro misto.
   • Mecanismo: Cromossomos codificam o vetor de decisão completo (posição, potência e bit de ativação binária) para todas as FBSs.
   • Operadores: Utiliza crossover BLX-$\alpha$ para variáveis contínuas e tratamento específico para bits de ativação binária (herança ou inversão aleatória). A mutação aplica ruído Gaussiano aos genes contínuos e inversão de bits aos bits de ativação.
   • Estratégia: Capacidade de busca global para escapar de ótimos locais induzidos pela natureza não convexa e de inteiros mistos do problema.

2. Aprendizado por Reforço (RL):

   • Tipo: Uma linha de base de Otimização de Política Próxima (PPO) de agente único.
   • Mecanismo: Trata o problema como um processo de tomada de decisão sequencial sobre um horizonte fixo. O agente observa deltas agregados de conectividade e ajusta os parâmetros das FBSs via incrementos contínuos e sinais de ativação.
   • Estratégia: Aprende uma política para maximizar a recompensa descontada cumulativa. O espaço de estados é limitado a métricas agregadas (sem mapas de SINR por usuário) para garantir uma comparação justa com o loop de feedback do GA.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Extensão de Rede Heterogênea de Larga Escala: Os autores desenvolveram um ambiente de simulação cobrindo áreas geográficas significativamente maiores com múltiplas MBSs e FBSs, capturando interações de interferência mais densas e distribuições de usuários diversas em comparação com estudos típicos de pequena escala.
2. Modelagem de Canal Realista: A integração do simulador QuaDRiGa garante que a propagação, o desvanecimento e a interferência sejam modelados com precisão compatível com o 3GPP, indo além de aproximações analíticas simplificadas.
3. Framework de Otimização Unificado: O estudo estabelece um framework comum para comparar diretamente métodos evolutivos (GA) e baseados em política (RL) para implantação de múltiplas FBSs. Crucialmente, avalia ambos os métodos sob os mesmos modelos de canal, restrições e configurações de função de custo, isolando as diferenças de desempenho atribuíveis à própria estratégia de otimização.

4. Resultados de Simulação

O estudo avalia as abordagens através de dois cenários (variando o tamanho da área e a contagem de MBS) e duas configurações de custo (focada em conectividade vs. consciente de potência).

• Desempenho de Conectividade: O Algoritmo Genético supera consistentemente a linha de base de RL em termos de total de usuários conectados.
  • Em cenários com muita interferência e duas MBSs, o GA alcançou até 23,9% mais conectividade do que o agente de RL.
  • O GA explora efetivamente os graus de liberdade espaciais, ativando múltiplas FBSs e remodelando agressivamente a topologia da rede para atender mais usuários.
• Eficiência de Potência: O agente de RL demonstra superioridade na eficiência de potência.
  • A política de RL é mais conservadora, frequentemente desativando FBSs redundantes e dependendo mais fortemente da camada MBS que está sempre ligada.
  • Em vários casos, a abordagem de RL alcançou menor consumo de potência por usuário conectado (até ~26% de melhoria em configurações específicas de duas MBSs).
• Impacto da Modelagem de Custo: A introdução de uma penalidade de potência ($\gamma > 0$) fez com que o agente de RL reduzisse drasticamente a potência e desativasse as FBSs. O GA adaptou-se modificando o posicionamento espacial e a alocação de serviço em vez de apenas reduzir a potência, mantendo maior conectividade ao custo de um aumento na potência de transmissão.
• Comportamento de Ativação: Um diferencial fundamental é o tratamento da ativação binária. O GA frequentemente ativa múltiplas FBSs para aproveitar a cobertura combinada, enquanto o agente de RL tende a convergir para a operação de FBS única em configurações conscientes de potência, preferindo estratégias de controle simplificadas.

5. Significância e Alegações

O artigo afirma que a escolha do método de otimização deve ser impulsionada por prioridades operacionais específicas:

• Algoritmos Genéticos são mais adequados para implantações de maximização de conectividade, particularmente em ambientes limitados por interferência onde a flexibilidade espacial e a ativação de múltiplos nós aéreos geram ganhos significativos.
• Aprendizado por Reforço é preferível quando a eficiência de potência e a sensibilidade à interferência são primordiais, pois a abordagem baseada em política converge naturalmente para configurações conservadoras de economia de energia.

Os autores enfatizam que sua principal contribuição não é a superioridade de um algoritmo sobre o outro em todos os contextos, mas o framework unificado que permite uma comparação justa de "maçãs com maçãs". Eles observam que a literatura existente frequentemente desacopla variáveis (por exemplo, fixando a altitude) ou usa modelos de canal simplificados, enquanto este trabalho aborda o problema totalmente acoplado de posicionamento 3D e potência com modelagem de canal realista.

O estudo reconhece limitações, incluindo suposições controladas quanto à distribuição de usuários e a falta de mobilidade de usuários na simulação, sugerindo que trabalhos futuros explorem condições operacionais e dinâmicas de usuários mais diversas.