⚡ electrical engineering

DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

Este artigo propõe um algoritmo baseado em Deep Q-Network (DQN) para o planejamento conjunto de trajetória e associação de UAVs em redes integradas terrestres e via satélite GEO, visando minimizar o consumo de energia, a frequência de handover e a desconexão em cenários de Mobilidade Aérea Avançada.

Autores originais: Afsoon Alidadi Shamsabadi, Cosmas Mwaba, Thomas Nugent, Jie Gao, Pablo Madoery, Halim Yanikomeroglu, Subhadeep Pal

Publicado 2026-03-24

📖 3 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Afsoon Alidadi Shamsabadi, Cosmas Mwaba, Thomas Nugent, Jie Gao, Pablo Madoery, Halim Yanikomeroglu, Subhadeep Pal

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um pombo-correio futurista (um drone) que precisa entregar uma mensagem urgente de um ponto A a um ponto B em uma cidade grande. O seu maior desafio? Você tem uma bateria pequena e precisa voar o caminho mais eficiente possível, sem ficar sem energia e sem perder o sinal de comunicação com sua base.

Aqui está a explicação do artigo, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: O "Pulo do Gato" no Céu

Atualmente, os drones voam perto do chão e se conectam às torres de celular (como as que você vê nas ruas). Mas isso tem dois problemas:

Cobertura Falha: Em áreas rurais ou entre prédios altos, o sinal some (como se você entrasse num elevador sem sinal).
Troca Constante: Para manter o sinal, o drone precisa trocar de torre de celular o tempo todo. É como tentar falar com alguém enquanto corre de um amigo para outro em uma festa barulhenta; você gasta energia gritando e pode perder a mensagem no meio da troca.

2. A Solução: O "Satélite-Guia"

Os autores propõem uma ideia genial: misturar o celular de rua com um satélite gigante que fica parado no espaço (GEO).

As Torres de Celular (Terrestres): São rápidas e boas para curtas distâncias, mas têm "buracos" de sinal.
O Satélite (GEO): É como um farol gigante no céu. Ele cobre tudo, não importa onde você esteja, mas tem um pouco mais de atraso (latência) e custa mais para usar.

O objetivo é fazer o drone saber quando voar direto (poupar energia), quando trocar de torre (evitar ficar sem sinal) e quando ligar para o satélite (para não cair no "buraco" do sinal).

3. O Cérebro Artificial (DQN)

Como fazer um drone tomar essas decisões sozinho? Eles usaram uma inteligência artificial chamada DQN (uma rede neural que aprende por tentativa e erro).

Pense no DQN como um treinador de drone que está ensinando o piloto:

A Lição: O drone tenta voar. Se ele gasta muita bateria, o treinador dá um "chute" (punição). Se ele perde o sinal, outro "chute". Se ele faz muitas trocas de torre, mais um "chute".
A Recompensa: Se o drone chega ao destino rápido, com bateria sobrando e sem perder o sinal, ganha um "biscoito" (recompensa).
O Aprendizado: Após milhares de tentativas (simulações), o drone aprende o caminho perfeito. Ele descobre, por exemplo: "Ah, quando eu passar perto daquele prédio, o sinal da torre vai sumir. Melhor eu ligar para o satélite agora, voar reto e só desligar o satélite quando estiver perto da torre de novo."

4. O Resultado: O Caminho de Ouro

Os testes mostraram que, com esse "cérebro" de IA:

Caminho Mais Curto: O drone não fica dando voltas desnecessárias tentando achar sinal. Ele usa o satélite como uma "ponte" para voar reto.
Menos Trocas: Ele evita ficar trocando de torre o tempo todo (o efeito "ping-pong"), o que economiza bateria.
Sem Quedas: Se ele entra numa área sem sinal de celular, o satélite está lá para segurar a mão dele. Nada de mensagem perdida.

Resumo em uma Frase

O artigo ensina drones a serem pilotos inteligentes que sabem exatamente quando usar o celular da rua e quando ligar para o satélite, economizando bateria e garantindo que a mensagem chegue sempre, mesmo em lugares onde o sinal costuma falhar. É como ter um GPS que não só diz "vire à direita", mas também diz "ligue para o satélite agora para não ficar mudo".

1. Problema Investigado

O artigo aborda os desafios de comunicação e navegação para Veículos Aéreos Não Tripulados (UAVs) no contexto da Mobilidade Aérea Avançada (AAM). Os principais problemas identificados são:

Limitações das Redes Terrestres: As estações rádio-base terrestres (MBS) frequentemente possuem antenas inclinadas para o solo, resultando em sinal fraco para UAVs em voo. Além disso, a cobertura em áreas rurais ou remotas é limitada, criando "buracos de cobertura" (coverage holes).
Gestão de Energia e Handover: Os UAVs possuem energia limitada a bordo. A necessidade de realizar trocas frequentes de conexão (handovers) entre diferentes estações terrestres ou entre terrestres e satélites consome recursos e pode degradar a qualidade do link (efeito ping-pong).
Otimização Conjunta: Existe uma necessidade crítica de planejar simultaneamente a trajetória do UAV e sua associação à rede (seja com uma MBS terrestre ou um satélite) para minimizar o consumo de energia, a frequência de handovers e a desconexão, garantindo conectividade contínua.

2. Metodologia Proposta

Os autores propõem uma arquitetura integrada de rede Satélite GEO (Órbita Geoestacionária) – Terrestre e desenvolvem um algoritmo baseado em Deep Q-Network (DQN) para resolver o problema de Planejamento Conjunto de Trajetória e Associação (JUTAP).

Modelo do Sistema:
- Um UAV voa entre um ponto de partida e um destino em uma área 3D discretizada em uma grade.
- O UAV pode se associar a uma das MBSs terrestres ou ao satélite GEO.
- O satélite GEO fornece cobertura ampla (especialmente em áreas remotas), enquanto as MBSs oferecem alta capacidade em áreas urbanas.
- O modelo considera perdas de caminho, ganho de antena, interferência co-canal (entre MBSs) e condições de linha de visada (LoS).
Formulação do Problema:
- O objetivo é minimizar uma função de custo composta por três termos ponderados:
  1. Consumo de Energia: Relacionado à propulsão do UAV e distância percorrida.
  2. Custo de Handover: Penaliza trocas desnecessárias de conexão.
  3. Desconectividade: Penaliza a entrada em áreas de cobertura nula.
- O problema é formulado como um problema de otimização não convexa e mista-inteira, complexo demais para soluções clássicas em grandes espaços de estado.
Algoritmo DQN (Deep Q-Network):
- Abordagem: Utiliza Aprendizado por Reforço Profundo (DRL) para aprender políticas ótimas através da interação com o ambiente.
- Espaço de Estados ( $s_t$ ): Inclui as coordenadas normalizadas do UAV e um indicador binário de associação (0 para terrestre, 1 para satélite).
- Espaço de Ações ( $a_t$ ): Combina uma das 8 direções de movimento possíveis com a decisão de associação para o próximo passo (0 ou 1).
- Função de Recompensa: Projetada para maximizar a eficiência, penalizando consumo de energia, handovers e buracos de cobertura.
- Simplificação: Para reduzir a complexidade do espaço de ação (que seria exponencial com o número de MBSs), o algoritmo simplifica a decisão de associação para um modo binário (Terrestre vs. Satélite), escolhendo automaticamente a melhor MBS dentro do modo terrestre com base no SINR.

3. Principais Contribuições

Arquitetura Integrada: Propõe e modela um sistema híbrido onde UAVs alternam dinamicamente entre redes terrestres e satélites GEO para garantir conectividade ubíqua.
Algoritmo JUTAP via DQN: Desenvolve um algoritmo específico que resolve simultaneamente o problema de trajetória e associação, superando as limitações de dimensionamento de algoritmos de Q-learning tradicionais em grandes espaços de estado.
Gestão de Trade-offs: Demonstra como ajustar os pesos da função de recompensa permite priorizar diferentes objetivos (ex: minimizar energia vs. minimizar handovers), oferecendo flexibilidade operacional.
Validação Realista: O modelo incorpora parâmetros de canal realistas, incluindo perdas atmosféricas, cintilação e desalinhamento de polarização para o enlace satélite, além de interferência entre células terrestres.

4. Resultados das Simulações

As simulações foram realizadas em uma área de 3km x 3km com 10 MBSs e um satélite GEO.

Convergência: O algoritmo DQN demonstrou convergência estável após aproximadamente 400 episódios de treinamento.
Desempenho vs. Rede Terrestre Pura:
- A rede integrada (GEO + Terrestre) permitiu trajetórias mais diretas e curtas.
- Redução de Buracos de Cobertura: A rede integrada reduziu o número de eventos de desconexão de 5 (na rede puramente terrestre) para 1.
- Eficiência: A trajetória na rede integrada foi de ~4.072 metros, enquanto a terrestre foi de ~4.354 metros, resultando em economia de energia e menor tempo de voo.
Impacto dos Pesos ( $w_1, w_2, w_3$ ):
- Quando priorizado o minimização de handovers ( $w_2$ alto), o UAV tende a evitar o satélite (devido ao custo de troca) e mantém-se na rede terrestre, resultando em trajetos mais longos.
- Quando priorizado o consumo de energia ( $w_1$ alto), o UAV utiliza o satélite para evitar desvios e buracos de cobertura, seguindo o caminho mais curto possível.

5. Significado e Conclusão

O trabalho demonstra que a integração de redes não terrestres (NTN), especificamente satélites GEO, com redes terrestres, é fundamental para viabilizar operações seguras e eficientes de UAVs em larga escala (AAM).

Viabilidade Operacional: A solução proposta resolve o problema de cobertura em áreas remotas e reduz a dependência de infraestrutura terrestre densa.
Inteligência Artificial: Confirma que o DQN é uma ferramenta eficaz para tomada de decisão em tempo real em ambientes dinâmicos e complexos, superando métodos tradicionais.
Futuro: Os resultados sugerem que frameworks baseados em IA são essenciais para o gerenciamento de redes híbridas satélite-terrestre futuras, permitindo otimizar recursos, energia e confiabilidade simultaneamente.

Em resumo, o artigo oferece uma solução robusta para o planejamento de voo de UAVs, garantindo que eles permaneçam conectados e energeticamente eficientes, mesmo em cenários onde a infraestrutura terrestre é insuficiente.