Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

Resumo Técnico: Estrutura de Aprendizado de Máquina Adaptativa para Otimização de Trajetória de UAV em O-RAN

Definição do Problema
A implantação de Veículos Aéreos Não Tripulados (UAVs) como Unidades de Rádio Abertas (O-RUs) dentro de arquiteturas de Rede de Acesso de Rádio Aberta (O-RAN) de 6G oferece uma solução promissora para cobertura de rede escalável e adaptável. No entanto, otimizar as trajetórias de UAVs em ambientes urbanos dinâmicos e desconhecidos apresenta um desafio significativo. Abordagens tradicionais de Aprendizado por Reforço (RL), embora eficazes para otimização em ambientes únicos, sofrem com baixa adaptabilidade em diversos cenários. Quando um UAV entra em um novo ambiente com diferentes layouts de edifícios, terrenos ou características de comunicação, os modelos de RL padrão normalmente exigem o retreinamento do zero. Esse processo é computacionalmente caro e demorado, dificultando operações em tempo real e a escalabilidade. Além disso, os métodos existentes de Aprendizado por Transferência (TL) frequentemente carecem de mecanismos para avaliar a aplicabilidade de modelos de origem em ambientes de destino, correndo o risco de "transferência negativa", onde o conhecimento de ambientes dissimilares degrada o desempenho em vez de melhorá-lo.

Metodologia
O artigo propõe uma nova estrutura que integra o Aprendizado de Transferência Contínua (CTL) aprimorado dentro da arquitetura O-RAN para abordar essas limitações. A metodologia central consiste em três componentes principais:

1. Mecanismo de Seleção de Modelo: O sistema mantém uma biblioteca de modelos Deep Deterministic Policy Gradient (DDQN) pré-treinados, cada um treinado em ambientes urbanos específicos (ex: York, Londres, Ottawa). Quando um UAV encontra um novo ambiente ($E_{new}$), a estrutura extrai vetores de características que representam as características ambientais (altura dos edifícios, densidade, distribuição de estações base, tamanho do mapa e altitude do UAV). Uma pontuação de similaridade composta é calculada entre $E_{new}$ e todos os ambientes na biblioteca. Se a maior pontuação de similaridade exceder um limiar predefinido, o modelo pré-treinado mais similar é selecionado para o aprendizado por transferência.
2. Modelo de Fallback Geral ($M_G$): Nos casos em que nenhum modelo suficientemente similar existe na biblioteca (ou seja, as pontuações de similaridade caem abaixo do limiar), o sistema emprega um modelo de fallback, $M_G$. Este modelo é inicialmente treinado em um ambiente urbano sintético construído através da agregação e média de parâmetros estruturais chave de todas as cidades reais disponíveis. Este design garante que $M_G$ represente um cenário urbano neutro e imparcial, evitando o overfitting a morfologias de cidades específicas e fornecendo uma base confiável para cenários de transferência negativa.
3. Integração de Aprendizado Contínuo (CL): A estrutura utiliza CL para atualizar continuamente o modelo de fallback $M_G$. À medida que os UAVs operam em novos ambientes e geram novas políticas, esses modelos não são apenas armazenados na biblioteca, mas também são usados para refinar o $M_G$ por meio de agregação ponderada. Os pesos atribuídos ao $M_G$ existente e ao novo modelo dependem da similaridade entre o novo ambiente e as condições originais de treinamento, permitendo que o sistema acumule conhecimento progressivamente através de diversos cenários enquanto mitiga o esquecimento catastrófico.

Todo o sistema está incorporado na estrutura O-RAN. O RIC de Tempo Não-Real (Non-RT RIC) hospeda rApps para seleção de modelos, aprendizado por transferência e atualizações de aprendizado contínuo, enquanto o Near-RT RIC utiliza xApps para comparação de similaridade de cidade em tempo real, despacho de modelos e inferência de trajetória.

Principais Contribuições
O artigo descreve as seguintes contribções específicas:

• Seleção Adaptativa de Modelo: Desenvolvimento de um mecanismo que seleciona a política de trajetória pré-treinada mais apropriada de uma biblioteca com base em uma métrica de similaridade de ambiente, reduzindo significamente o overhead de retreinamento.
• Modelo de Fallback Robusto: Criação de um modelo de fallback sintético ($M_G$) que é continuamente atualizado via aprendizado contínuo, permitindo que o sistema mantenha o desempenho de base em ambientes não vistos e melhore progressivamente a generalização.
• Integração O-RAN: Implementação de um sistema de trajetória de UAV integrado na arquitetura O-RAN, utilizando xApps e rApps para permitir inferência em tempo real e loops de aprendizado contínuo.
• Validação com o Mundo Real: Validação da estrutura usando mapas de RSSI de alta fidelidade obtidos por ray-tracing de cidades reais (York, Pequim, Ottawa, etc.), incorporando condições de propagação realistas, como difração e efeitos de multipath.

Resultos
Simulações conduzidas em múltiplos ambientes urbanos (incluindo York, Ottawa e Pequim) demonstram a eficácia da estrutura proposta:

• Velocidade de Convergência: A abordagem de aprendizado por transferência baseada em seleção de modelos reduz o tempo de convergência em 44% a 56% em comparação com o retreinamento do zero (DDQN).
• Comparação com TL Tradicional: O método proposto melhora a convergência em até 40% em comparação com o aprendizado por transferência tradicional sem seleção de modelo.
• Desempenho em Cenários Específicos:
  • No ambiente de York, onde não havia uma origem altamente similar, o modelo de fallback $M_G$ convergiu em 880 episódios, superando o melhor modelo da biblioteca (940 episódios) e o baseline DDQN (1380 episódios).
  • Em Ottawa, a transferência do modelo de Manchester, estruturalmente similar, alcançou convergência em 750 episódios, uma melhoria de 44,8% sobre o baseline DDQN.
  • Em Pequim, a transferência do modelo York, similar, resultou em convergência em 590 episódios, uma melhoria de 45,9% sobre o baseline.
• Transferência Negativa: O estudo destaca que selecionar modelos de ambientes dissimilares (ex: transferir de Rosslyn para Ottawa) pode levar a uma convergência mais lenta e um desempenho pior do que o treinamento do zero, validando a necessidade do mecanismo de seleção baseado em similaridade.
• Impacto do Aprendizado Contínuo: Embora os modelos de fallback atualizados pelo CL nem sempre tenham superado os melhores modelos de transferência selecionados em instâncias específicas, eles demonstraram melhor adaptabilidade ao longo do tempo, garantindo que o sistema permaneça robusto à medida que a biblioteca de ambientes se expande.

Significância e Alegações
Os autores afirmam que este trabalho aborda a lacuna crítica na otimização de trajetória de UAV em relação à adaptabilidade em cenários urbanos heterogêneos. Ao combinar a seleção de modelos com um mecanismo de fallback continuamente atualizado dentro da estrutura O-RAN, o sistema garante que os UAVs possam se adaptar rapidamente a novos ambientes sem os custos proibitivos de retreinar do zero. O artigo enfatiza que esta abordagem não apenas acelera o aprendizado, mas também garante uma operação robusta e confiável ao prevenir a transferência negativa. A integração de dados de ray-tracing do mundo real e da arquitetura O-RAN posiciona a estrutura como um passo prático para o implante inteligente e escalável de redes 6G. Os autores observam que trabalhos futuros explorarão mais aprimoramentos nas estratégias de seleção de modelos e no planejamento de trajetória energeticamente eficiente.