💻 computer science

Multi-UAV Path Planning in 3D based on APF-MADDPG

Este artigo propõe uma estrutura de aprendizado por reforço profundo hierárquico que integra uma função de recompensa densa baseada em um campo de potencial artificial aprimorado com o algoritmo Multi-Agent Deep Deterministic Policy Gradient (MADDPG) para alcançar o planejamento de trajetória 3D eficiente e ótimo para múltiplos UAVs em ambientes desconhecidos com obstáculos complexos.

Autores originais: Ming Bai, Yan Chen, Yi Liu

Publicado 2026-08-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ming Bai, Yan Chen, Yi Liu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um céu repleto de pequenas aeronaves autônomas, cada uma com a tarefa de voar de diferentes pontos de partida para um único ponto de encontro. Sua missão não é apenas chegar lá, mas chegar ao mesmo tempo, tecendo-se através de um mundo tridimensional que pode estar repleto de paredes invisíveis, zonas perigosas e outras aeronaves em movimento. Este é o desafio do planejamento de trajetória de múltiplos drones. Por décadas, engenheiros tentaram resolver isso usando regras baseadas em geometria ou simples tentativas e erros, mas esses métodos frequentemente ficam presos ou falham quando o ambiente se torna muito complexo ou muda inesperadamente. Nos últimos anos, uma abordagem diferente surgiu: ensinar essas máquinas a aprender fazendo. Ao permitir que elas interajam com um mundo simulado e as recompensando por boas decisões, pesquisadores podem ajudá-las a descobrir como navegar por conta própria. No entanto, esse processo de aprendizado é frequentemente lento e difícil, especialmente quando as máquinas precisam coordenar-se entre si sem colidir.

Uma equipe de pesquisadores da Universidade de Yan'an desenvolveu um novo método para tornar esse processo de aprendizado mais rápido e confiável para grupos de drones voando em três dimensões. Eles combinaram duas ideias existentes: uma maneira de múltiplas máquinas aprenderem juntas enquanto observam umas às outras, e um conceito clássico de navegação que utiliza forças invisíveis para guiar o movimento. Em sua abordagem, eles criaram um sistema onde os drones recebem feedback constante, em vez de apenas um sinal de "bom trabalho" ou "mau trabalho" ao final de um voo. Esse feedback constante atua como um empurrão suave e contínuo, dizendo aos drones exatamente o quão próximos estão de seu objetivo e o quão longe estão de obstáculos a cada momento. Isso ajuda os drones a aprenderem muito mais rápido do que antes.

Os pesquisadores testaram seu método em uma simulação de computador envolvendo três drones. Os drones começaram em locais diferentes dentro de um espaço medindo 10 quilômetros por 10 quilômetros por 10 quilômetros. O objetivo deles era voar para um ponto de encontro específico localizado nas coordenadas 7, 4 e 1 quilômetros, enquanto evitavam dois grandes obstáculos esféricos e um obstáculo cilíndrico alto. A equipe comparou seu novo método com outras duas abordagens comuns. Um dos métodos de comparação tinha os drones aprendendo inteiramente por conta própria, sem compartilhar informações, enquanto o outro permitia que aprendessem juntos, mas sem o sistema especial de feedback contínuo. Os resultados mostraram que os drones usando o novo método aprenderam a melhor estratégia mais rapidamente. Eles alcançaram o alvo com sucesso e evitaram todos os obstáculos, enquanto os drones que aprendiam sozinhos falharam em evitar colisões em várias tentativas.

Ao observar a eficiência dos voos, o novo método também produziu distâncias totais de viagem menores. O grupo de drones usando a nova abordagem voou um total combinado de 24,7056 quilômetros para completar sua missão. Em contraste, o grupo usando o método de aprendizado cooperativo padrão voou uma distância maior de 25,9426 quilômetros. Os drones que aprenderam sem cooperação falharam em completar a missão com segurança de qualquer forma. Os pesquisadores descobriram que, ao fornecer aos drones um fluxo constante de informações sobre seu progresso e segurança, o sistema poderia encontrar um caminho melhor mais rapidamente. Eles também estruturaram o treinamento em duas camadas: uma camada focada em planejar a rota geral e outra focada em executar os movimentos específicos, o que ajudou os drones a aprender a tarefa complexa de forma mais eficaz.

Este trabalho sugere que, ao refinar a maneira como as máquinas recebem feedback durante o treinamento, podemos ajudá-las a resolver problemas de navegação complexos muito mais rápido. O estudo não testou esses drones no mundo físico real, mas as simulações forneceram um quadro claro de como o método performa sob condições controladas. As descobertas indicam que, para grupos de veículos autônomos trabalharem juntos com segurança em um espaço tridimensional lotado, eles precisam de uma maneira de entender seu progresso continuamente, em vez de esperar até o fim de uma tarefa para saber se tiveram sucesso. O novo método oferece uma maneira de fornecer esse entendimento, levando a voos mais seguros e eficientes.

Resumo Técnico: Planejamento de Trajetória de Multi-UAV em 3D baseado em APF-MADDPG

1. Definição do Problema

O artigo aborda o desafio do planejamento de trajetória de múltiplos UAVs (Veículos Aéreos Não Tripulados) em ambientes desconhecidos em 3D. Este problema é caracterizado por um espaço de ação de alta dimensão, restrições rigorosas de desvio de colisões (tanto entre os UAVs quanto com obstáculos) e uma natureza computacional NP-difícil.

Os desafios específicos identificados incluem:

Colaboração vs. Individualidade: Diferente do planejamento de um único UAV, que foca na otimalidade individual, o planejamento de múltiplos UAVs requer o equilíbrio entre colaboração, desvio de colisões e conclusão simultânea da missão (agregação).
Limitações dos Métodos Tradicionais: Métodos geométricos (ex: Voronoi) têm dificuldade com mudanças dinâmicas; métodos de Campo de Potencial Artificial (APF) sofrem com mínimos locais; e algoritmos heurísticos (ex: Algoritmos Genéticos, PSO) frequentemente enfrentam convergência lenta ou problemas de otimização local em espaços de alta dimensão.
Limitações das Abordagens de RL Existentes: Embora o Deep Deterministic Policy Gradient (DDPG) funcione para agentes únicos, ele ignora as diferenças estratégicas entre agentes, levando a colisões. O Multi-Agent DDPG (MADDPG) aborda a colaboração, mas frequentemente sofre com recompensas esparsas, tornando o design da função de recompensa difícil e a convergência lenta em ambientes complexos.

2. Metodologia

Os autores propõem um novo algoritmo, o APF-MADDPG, que integra a estrutura Multi-Agent Deep Deterministic Policy Gradient (MADDPG) com um mecanismo de recompensa aprimorado baseado no Campo de Potencial Artificial (APF).

2.1 Modelagem do Problema

Modelo de Missão: Definida como uma missão de agregação onde $N$ UAVs partem de locais dispersos e devem alcançar uma área alvo comum simultaneamente, evitando zonas de ameaça, zonas de exclusão aérea e obstáculos.
Modelo de Movimento: É utilizado um modelo cinemático 3D onde os UAVs controlam a aceleração linear, a aceleração angular de pitch (arfagem) e a aceleração angular de yaw (guinada). Restrições são aplicadas à velocidade, aceleração e ângulos.
Modelo de Obstáculo: Os obstáculos são modelados como corpos convexos (esferas ou cilindros) definidos por parâmetros geométricos.
Formulação de Teoria dos Jogos: O problema é formulado como um Jogo de Markov Parcialmente Observável (POMG).
- Espaço de Estados ( $S_i$ ): Inclui posição, velocidade, ângulos de pitch e yaw.
- Espaço de Ação ( $A_i$ ): Aceleração linear, aceleração angular de pitch e aceleração angular de yaw.
- Espaço de Observação ( $o_i$ ): Observações locais incluindo o próprio estado do UAV, estados relativos de outros UAVs e posições relativas de obstáculos.

2.2 Algoritmo Central: APF-MADDPG

O algoritmo utiliza uma estrutura de execução distribuída e treinamento centralizado.

Mecanismo de Treinamento Hierárquico: Uma estrutura de dois níveis é introduzida:
- Camada de Planejamento de Trajetória: Cada UAV possui uma rede actor-critic independente. O ator recebe observações locais para gerar ações com ruído de exploração.
- Camada de Execução de Ação: Os UAVs executam ações no ambiente, gerando novas observações e recompensas.
Função de Recompensa Densa (Inovação Principal): Para superar as recompensas esparsas, os autores projetam uma função de recompensa composta ( $R_{sum}$ $R_{s u m}$ ) baseada nos princípios do APF:
- Atração ( $R_{ut}$ ): Incentiva o movimento em direção ao alvo usando uma função de decaimento exponencial baseada na distância euclidiana.
- Repulsão ( $R_{uu}$ ): Penaliza a proximidade entre os UAVs para evitar colisões.
- Repulsão de Obstáculos ( $R_{uo}$ ): Penaliza a proximidade com obstáculos usando uma função exponencial.
- Recompensa de Partida ( $R_{depart}$ ): Recompensa o progresso em direção ao alvo calculando a diferença entre a distância anterior e a distância atual até o alvo ( $d(p_{last}, p_{target}) - d(p_{now}, p_{target})$ ). Este mecanismo é projetamente para resolver o problema de alvos inalcançáveis no APF e evitar que o agente vagueie próximo ao alvo para acumular o máximo de recompensas sem alcançá-lo.
- Recompensa Total: $R_{sum} = w_1R_{ut} + w_2R_{uu} + w_3R_{uo} + w_4R_{depart}$ .

2.3 Processo de Treinamento

O algoritmo emprega as regras padrão de atualização do MADDPG com redes alvo para estabilidade.

Atualização do Crítico: Minimiza a perda entre o valor Q previsto e o valor alvo ( $y_i$ ), que incorpora a recompensa imediata e o valor Q futuro descontado das redes alvo.
Atualização do Ator: Maximiza o retorno esperado usando o gradiente de política.
Atualizações Suaves (Soft Updates): Os parâmetros da rede alvo são atualizados via atualizações suaves ( $\tau \ll 1$ ) para garantir a estabilidade do treinamento.

3. Principais Contribuições

O artigo reivindica explicitamente duas contribuições primárias:

Função de Recompensa Densa: A integração de uma função de recompensa densa baseada em APF na estrutura MADDPG. Isso aborda os problemas de recompensas esparsas e convergência lenta encontrados no aprendizado por reforço multi-agente tradicional para planejamento de trajetória.
Mecanismo de Treinamento Hierárquico: O estabelecimento de uma estrutura de aprendizado por reforço profundo hierárquica, compreendendo uma camada de planejamento de trajetória e uma camada de execução de ação para treinar estratégias ótimas de forma eficiente.

4. Resultados Experimentais

O método proposto foi avaliado em um ambiente de simulação 3D (10 km $\times$ 10 km $\times$ 10 km) com três UAVs e três obstáculos (duas esferas, um cilindro). Foi comparado contra o MADDPG (usando recompensas esparsas tradicionais) e o ILDDPG (Independent Learner DDPG).

Velocidade de Convergência: As curvas de recompensa por episódio (Fig. 4) demonstram que o APF-MADDPG converge significativamente mais rápido que o MADDPG e o ILDDPG.
Qualidade da Política:
- ILDDPG: Falhou em evitar obstáculos na simulação (UAVs 1 e 2 colidiram), tornando-o inadequado para este cenário multi-agente.
- MADDPG: Evitou obstáculos com sucesso, mas resultou em um comprimento de trajetória total maior.
- APF-MADDPG: Evitou todos os obstáculos com sucesso e alcançou o menor comprimento de trajetória total.
Comparação de Comprimento de Trajetória:
- Comprimento Total MADDPG: 25.9426 km
- Comprimento Total APF-MADDPG: 24.7056 km
- O algoritmo APF-MADDPG reduziu o comprimento total da trajetória em comparação ao MADDPG padrão.

5. Significância e Alegações

O artigo conclui que o algoritmo APF-MADDPG supera tanto o ILDDPG quanto o MADDPG padrão em termos de:

Eficiência de Aprendizado de Política: Convergência mais rápida para uma estratégia ótima.
Otimalidade do Planejamento de Trajetória: Geração de trajetórias mais curtas e eficientes.
Segurança: Evitando efetivamente colisões com obstáculos e outros UAVs em um ambiente 3D.

Os autores afirmam que a combinação da recompensa densa baseada em APF e o mecanismo de treinamento hierárquico resolve eficazmente os desafios de recompensas esparsas e mínimos locais no planejamento de trajetória 3D de múltiplos UAVs, fornecendo uma solução robusta para missões colaborativas em ambientes desconhecidos.