Path Planning Using Deep Deterministic Policy Gradient: A Reinforcement Learning Approach

Resumo Técnico: Planejamento de Trajetória Usando Gradiente de Política Determinística Profunda

Definição do Problema
O artigo aborda o desafio do planejamento de trajetória para veículos autônomos operando em ambientes carregados de ameaças contendo obstáculos. Os autores caracterizam este problema como inerentemente não linear e não convexo, mesmo em cenários simples. Embora os métodos tradicionais de controle ótimo (como o pseudo-espectral e o controle preditivo baseado em modelo) possam teoricamente encontrar trajetórias ótimas, eles frequentemente sofrem com altos custos computacionais que os tornam inadequados para a tomada de decisão em tempo real. Além disso, o desenvolvimento de modelos de alta fidelidade exigidos por esses métodos tradicionais é demorado. Por outro lado, embora métodos heurísticos como Algoritmos Genéticos e diagramas de Voronoi não exijam modelos de alta fidelidade, eles também enfrentam gargalos computacionais para aplicações em tempo real. O artigo busca uma solução que equilibre eficiência computacional com a capacidade de lidar com espaços de estados e ações contínuos sem depender de modelos ambientais complexos.

Metodologia
A solução proposta utiliza o Gradiente de Política Determinística Profunda (DDPG), um algoritmo de aprendizado por reforço (RL) livre de modelo (model-free). A abordagem modela as ameaças como uma ou múltiplas zonas de "não passagem" circulares. Uma missão é definida como uma falha se o veículo entrar em uma zona restrita ou falhar em alcançar uma vizinhança do destino.

Os componentes principais da metodologia incluem:

1. Arquitetura do Agente: O sistema emprega duas redes neurais:

   • Rede do Ator (Actor Network): Mapeia o estado atual (coordenadas de posição $x, y$, rumo anterior e passos de tempo) diretamente para uma ação contínua (novo rumo).
   • Rede do Crítico (Critic Network): Estima o valor Q (recompensa descontada esperada a longo prazo) para um determinado par estado-ação.
   • Estratégia de Exploração: Para equilibrar exploração e explotação, o ruído de Gauss ou de Ornstein-Uhlenbeck é adicionado à saída do ator. O desvio padrão deste ruído é ajustado, começando mais alto durante o treinamento inicial e sendo reduzido durante o re-treinamento para refinar o desempenho.

2. Design da Função de Recompensa: A função de recompensa é construída usando campos de potencial artificiais e consiste em três componentes distintos:

   • Campo Atrativo: Um potencial baseado em Gauss centrado no destino ($P_f$) que recompensa o agente por se aproximar do objetivo.
   • Campo Repulsivo: Um potencial baseado em Gauss centrado nas origens dos obstáculos circulares ($P_c$) que penaliza o agente por entrar ou se aproximar de zonas restritas.
   • Penalidade de Energia de Controle: Um termo proporcional ao quadrado da mudança de rumo ($|A|^2$), que indiretamente incentiva trajetórias mais retas e minimiza o consumo de combustível.
   • Penalidade de Tempo: Uma penalidade discreta de -10 é aplicada para cada passo que não atinge o destino para minimizar o tempo total de viagem.

3. Rumo Inicial Inteligente (Smart Initial Heading): Uma heurística chave introduzida neste trabalho envolve o cálculo de um rumo inicial "inteligente" no início de cada episódio. Se a linha direta para o destino interceptar um obstáculo, o agente calcula os pontos de tangente a partir de sua posição inicial para o obstáculo. Ele então seleciona o ponto de tangente que minimiza a distância até o destino final, definindo o rumo inicial em direção a esse ponto. Esta estratégia visa evitar que o agente se mova em direção aos obstáculos nos primeiros passos da trajetória.

4. Processo de Treinamento: O agente é treinado por tentativa e erro em um ambiente simulado (implementado em MATLAB). O treinamento envolve uma fase inicial com alto ruído de exploração seguida por uma fase de re-treinamento com ruído reduzido para refinar a política.

Principais Contribuições
O artigo apresenta várias contribuições específicas para a aplicação de DDPG no planejamento de trajetória:

• Integração do Rumo Inicial Inteligente: Os autores propõem e validam uma heurística para calcular um rumo inicial ideal baseado em tangentes geométricas aos obstáculos. Isso melhora significamente a capacidade do agente de evitar obstáculos no início da trajetória.
• Função de Recompensa Refinada: O estudo modifica a função de recompensa para incluir uma recompensa passo a passo para o movimento em direção ao destino (baseada na diferença entre distribuições Gaussianas normalizadas entre os passos de tempo), juntamente com a penalidade de energia.
• Mapeamento de Viabilidade: O agente treinado é usado para gerar um "conjunto viável" de pontos de partida. Este mapa indica a partir de quais locais um caminho seguro até o destino é garantido, fornecendo informações críticas de planejamento pré-missão.
• Extensão para Múltiplos Obstáculos: O método é estendido com sucesso de um cenário de obstáculo único para um cenário complexo envolvendo três obstáculos com raios e posições variados, demonstrando a escalabilidade da abordagem.

Resultos
A abordagem foi validada através de simulações comparando o método DDPG contra um método tradicional de controle ótimo (pseudo-espectral).

• Cenário de Obstáculo Único: A inclusão do rumo inicial inteligente e da função de recompensa modificada expandiu significativamente o conjunto viável de pontos de partida em comparação com um agente de base sem essas características.
• Cenário de Múltiplos Obstáculos: O agente especializado navegou com sucesso por uma passagem estreita entre três obstáculos para atingir o destino. Os resultados confirmaram que o "princípio da otimalidade" se mantém, pois a política ótima para o cenário complexo continha sub-políticas ótimas.
• Comparação de Desempenho: O agente baseado em aprendizado produziu trajetórias eficazes enquanto era significativamente mais rápido no tempo de computação do que o método tradicional pseudo-espectral. Essa vantagem de velocidade torna a abordagem DDPG mais adequada para aplicações em tempo real.

Significância e Alegações
O artigo afirma que a abordagem proposta baseada em DDPG oferece uma solução prática para o planejamento de trajetória em tempo real em ambientes não lineares e não convexos. Ao aproveitar o aprendizado por reforço, o método evita a necessidade de modelos ambientais de alta fidelidade e supera a latência computacional do controle ótimo tradicional. A capacidade de pré-calcular um "conjunto viável" de pontos de partida é destacada como uma ferramenta crítica para o planejamento de missões, permitindo que operadores determinem antecipadamente se uma tarefa é realizável a partir de um local específico. Os autores concluem que, embora o método seja eficaz, trabalhos futuros podem explorar a combinação de aprendizado de máquina com outras técnicas de otimização para aumentar ainda mais o desempenho.