xApp Empowered Resource Management for Non-Terrestrial Users in 5G O-RAN Networks

Resumo Técnico: Gerenciamento de Recursos Impulsionado por xApp para Usuários Não Terrestres em Redes O-RAN 5G

Declaração do Problema
A integração de Veículos Aéreos Não Tripulados (VANTs) em redes celulares existentes apresenta desafios distintos em comparação com equipamentos de usuário (UE) terrestres. Os VANTs operam com alta mobilidade, padrões de movimento tridimensional (3D) e altitudes elevadas, levando a eventos frequentes de handover, aumento da sobrecarga de sinalização e possíveis falhas de enlace de rádio. Esquemas tradicionais de gerenciamento de handover são majoritariamente reativos, baseando-se em medições instantâneas de sinal e limiares predefinidos. Essas abordagens são inadequadas para cenários de VANTs, onde a mobilidade rápida e trajetórias de voo previsíveis oferecem oportunidades para otimização proativa. Além disso, as soluções existentes de gerenciamento de mobilidade não aproveitaram plenamente as capacidades inteligentes da arquitetura de Rede de Acesso Rádio Aberta (O-RAN), particularmente em cenários envolvendo trajetórias de voo predeterminadas, onde a otimização preditiva é viável. O desafio central reside em equilibrar a minimização da probabilidade de interrupção com a redução da frequência de handover para garantir conectividade contínua para operações aéreas críticas.

Metodologia
Os autores propõem um framework proativo de gerenciamento de mobilidade de VANTs implementado como um xApp dentro do Controlador Inteligente de Rádio em Tempo Quase Real (Near-RT RIC) da O-RAN. O sistema emprega um algoritmo de aprendizado por reforço (RL) baseado em Double Deep Q-Network (DDQN) para otimizar decisões de handover para VANTs operando ao longo de trajetórias de voo predeterminadas.

• Modelo do Sistema: O framework considera uma rede celular com múltiplas estações rádio-base (ERBs) terrestres e um VANT seguindo uma trajetória 3D. Os objetivos de otimização são duplos: minimizar a probabilidade média de interrupção (garantindo que a Relação Sinal-Interferência-Ruído (SINR) permaneça acima de um limiar) e minimizar a frequência de eventos de handover.
• Framework de Aprendizado por Reforço:
  • Espaço de Estados: Inclui as posições 3D atual e futura do VANT, medições de SINR das três estações rádio-base mais relevantes e a identidade das células de serviço e candidatas.
  • Espaço de Ações: Ações discretas permitindo que o VANT mantenha a conexão atual ou alterne para uma de duas estações rádio-base candidatas.
  • Função de Recompensa: Projetada para penalizar tanto eventos de interrupção quanto handovers desnecessários. Uma aproximação suave baseada em sigmoide é utilizada para a penalidade de handover, equilibrando valores contínuos de interrupção com eventos de handover discretos.
  • Seleção do Algoritmo: Os autores selecionaram o DDQN em vez do DQN padrão e de métodos de gradiente de política (PPO, A2C). Experimentos mostraram que os métodos de gradiente de política sofreram convergência prematura para políticas de "sem handover" devido à alta variância do gradiente e viés de penalidade de curto prazo. O DDQN foi escolhido por sua capacidade de mitigar o viés de superestimação nas atualizações de valores Q, proporcionando aprendizado mais estável em ambientes dinâmicos.
• Aprendizado por Transferência: Para abordar o desafio de implantar modelos em diversos cenários de voo sem retreinamento extensivo, os autores propõem uma abordagem de média centralizada de pesos. Múltiplos modelos DDQN são treinados independentemente em trajetórias de voo distintas. Seus pesos são então mediados para criar um modelo global. Este modelo global é subsequentemente ajustado (fine-tuned) em novas trajetórias de voo não vistas, utilizando uma taxa de aprendizado reduzida e congelamento de parâmetros camada por camada (congelando camadas inferiores para preservar padrões gerais enquanto se adaptam as camadas superiores).
• Integração O-RAN: O xApp opera dentro do Near-RT RIC, utilizando a interface E2 para receber Métricas de Desempenho Chave (KPMs) como SINR das Unidades Distribuídas (DUs) e a interface A1 para receber Informações de Enriquecimento (EI), especificamente dados de trajetória de voo de VANTs de um sistema de Gerenciamento de Tráfego de Sistema de Aeronaves Não Tripuladas (UTM). Isso permite que o xApp antecipe condições de rede e execute decisões de controle com latência subsegundo.

Contribuições Principais

1. xApp Proativo para O-RAN: O desenvolvimento de um xApp baseado em DDQN que transforma decisões de handover reativas em otimização preditiva, aproveitando trajetórias de voo predeterminadas.
2. Framework de Aprendizado por Transferência: Uma abordagem inovadora usando média centralizada de pesos para consolidar conhecimento de múltiplos cenários de voo em um modelo global, permitindo generalização para ambientes não vistos com retreinamento mínimo.
3. Avaliação Abrangente: Uma avaliação detalhada demonstrando que o framework proposto alcança um trade-off superior entre redução da frequência de handover e confiabilidade de conectividade em comparação com esquemas tradicionais.

Resultados
O framework foi avaliado em um ambiente de simulação com uma área de 2000 × 2000 m², cinco estações rádio-base e dez trajetórias de voo distintas de VANTs. Os resultados foram comparados contra um esquema Ganancioso (Greedy), um esquema baseado em Histerese, um esquema de Probabilidade Mínima de Interrupção (MOP) e um DQN padrão.

• Redução de Handover: A abordagem DDQN proposta reduziu os eventos de handover em 54,6% em comparação com a linha de base gananciosa (2,45 eventos vs. 5,40 eventos). Também superou o esquema de Histerese (2,45 vs. 4,30 eventos) e o esquema MOP (2,45 vs. 4,00 eventos).
• Probabilidade de Interrupção: Embora o esquema ganancioso tenha alcançado a menor probabilidade de interrupção (0,021%), a abordagem DDQN manteve a probabilidade de interrupção em um nível praticamente negligenciável (0,048%), representando apenas um aumento marginal de 0,027 pontos percentuais. Isso é considerado operacionalmente insignificante em comparação com a redução significativa na sobrecarga de sinalização.
• Estabilidade: A abordagem DDQN demonstrou menor variância nos eventos de handover em comparação com os métodos de base, indicando desempenho mais consistente.
• Eficácia do Aprendizado por Transferência: Análises de similaridade cosseno e distância euclidiana confirmaram que o modelo global generalizou com sucesso padrões de decisão de handover entre diferentes trajetórias de voo, com pontuações de similaridade melhorando após o ajuste fino.

Significado e Alegações
O artigo afirma que o framework proposto valida a eficácia de abordagens inteligentes e baseadas em aprendizado para gerenciamento de mobilidade de VANTs em arquiteturas O-RAN de próxima geração. Ao antecipar condições de rede por meio de trajetórias de voo predeterminadas, o sistema minimiza tanto a probabilidade de interrupção quanto a frequência de handover, abordando as limitações dos mecanismos reativos. A implementação bem-sucedida do aprendizado por transferência sugere que modelos globais robustos podem ser implantados em diversos ambientes operacionais sem o ônus computacional de retreinamento para cada novo cenário. Os autores afirmam que este trabalho contribui para a integração contínua de equipamentos de usuário aéreos em redes celulares, fornecendo uma solução escalável e proativa que equilibra eficiência de recursos com confiabilidade de conectividade. O estudo reconhece que, embora a abordagem mostre generalização eficaz dentro das condições testadas, a validação no mundo real em bancadas de teste O-RAN e a exploração de cenários com múltiplos VANTs permanecem como objetivos futuros.