Path Planning Using Deep Deterministic Policy Gradient: A Reinforcement Learning Approach

Resumen Técnico: Planificación de Trayectorias mediante Gradiente de Política Determinista Profundo

Planteamiento del Problema
El artículo aborda el desafío de la planificación de trayectorias para vehículos autónomos que operan en entornos con amenazas que contienen obstáculos. Los autores caracterizan este problema como inherentemente no lineal y no convexo, incluso en escenarios simples. Si bien los métodos de control óptimo tradicionales (como el pseudo-espectral y el control predictivo basado en modelo) pueden teóricamente encontrar trayectorias óptimas, a menudo sufren de altos costos computacionales que los hacen inadecuados para la toma de decisiones en tiempo real. Además, el desarrollo de modelos de alta fidelidad requeridos por estos métodos tradicionales es laborioso. Por el contrario, aunque los métodos heurísticos como los Algoritmos Genéticos y los diagramas de Voronoi no requieren modelos de alta fidelidad, también enfrentan cuellos de botella computacionales para aplicaciones en tiempo real. El artículo busca una solución que equilibre la eficiencia computacional con la capacidad de manejar espacios de estado y acción continuos sin depender de modelos ambientales complejos.

Metodología
La solución propuesta utiliza el Gradiente de Política Determinista Profundo (DDPG), un algoritmo de aprendizaje por refuerzo (RL) libre de modelo. El enfoque modela las amenazas como una o múltiples zonas circulares de "no paso". Una misión se define como un fallo si el vehículo entra en una zona restringida o si no logra alcanzar la vecindad del destino.

Los componentes centrales de la metodología incluyen:

1. Arquitectura del Agente: El sistema emplea dos redes neuronales:

   • Red del Actor: Mapea el estado actual (coordenadas de posición $x, y$, rumbo anterior y pasos de tiempo) directamente a una acción continua (nuevo rumbo).
   • Red del Crítico: Estima el valor Q (recompensa descontada esperada a largo plazo) para un par estado-acción dado.
   • Estrategia de Exploración: Para equilibrar la exploración y la explotación, se añade ruido Gaussiano u Ornstein-Uhlenbeck a la salida del actor. La desviación estándar de este ruido se ajusta, comenzando más alta durante el entrenamiento inicial y reduciéndose durante el reentrenamiento para refinar el rendimiento.

2. Diseño de la Función de Recompensa: La función de recompensa se construye utilizando campos de potencial artificial y consta de tres componentes distintos:

   • Campo Atractivo: Un potencial basado en Gaussianas centrado en el destino ($P_f$) que recompensa al agente por acercarse al objetivo.
   • Campo Repulsivo: Un potencial basado en Gaussianas centrado en los orígenes de los obstáculos circulares ($P_c$) que penaliza al agente por entrar o acercarse a las zonas restringidas.
   • Penalización de Energía de Control: Un término proporcional al cuadrado del cambio de rumbo ($|A|^2$), que indirectamente fomenta trayectorias más rectas y minimiza el consumo de combustible.
   • Penalización de Tiempo: Se aplica una penalización discreta de -10 por cada paso que no alcanza el destino para minimizar el tiempo total de viaje.

3. Rumbo Inicial Inteligente: Una heurística clave introducida en este trabajo consiste en calcular un rumbo inicial "inteligente" al comienzo de cada episodio. Si la línea directa hacia el destino intersecta un obstáculo, el agente calcula los puntos de tangencia desde su posición de partida hacia el obstáculo. Luego, selecciona el punto de tangencia que minimiza la distancia al destino final, estableciendo el rumbo inicial hacia dicho punto. Esta estrategia tiene como objetivo evitar que el agente se dirija hacia los obstáculos en los primeros pasos de la trayectoria.

4. Proceso de Entrenamiento: El agente se entrena mediante ensayo y error en un entorno simulado (implementado en MATLAB). El entrenamiento involucra una fase inicial con ruido de exploración alto seguida de una fase de reentrenamiento con ruido reducido para refinar la política.

Contribuciones Clave
El artículo presenta varias contribuciones específicas a la aplicación de DDPG en la planificación de trayectorias:

• Integración del Rumbo Inicial Inteligente: Los autores proponen y validan una heurística para calcular un rumbo inicial óptimo basado en tangentes geométricas a los obstáculos. Esto mejora significativamente la capacidad del agente para evitar obstáculos al inicio de la trayectoria.
• Función de Recompensa Refinada: El estudio modifica la función de recompensa para incluir una recompensa paso a paso por avanzar hacia el destino (basada en la diferencia de las distribuciones Gaussianas normalizadas entre los pasos de tiempo), junto con la penalización de energía.
• Mapeo de Factibilidad: El agente entrenado se utiliza para generar un "conjunto factible" de puntos de partida. Este mapa indica desde qué ubicaciones se garantiza un camino seguro al destino, proporcionando información crítica para la planificación previa a la misión.
• Extensión a Múltiples Obstáculos: El método se extiende con éxito de un escenario de un solo obstáculo a un escenario complejo que involucra tres obstáculos con radios y posiciones variables, demostando la escalabilidad del enfoque.

Resultados
El enfoque fue validado mediante simulaciones comparando el método DDPG contra un método de control óptimo tradicional (pseudo-espectral).

• Escenario de Obstáculo Único: La inclusión del rumbo inicial inteligente y la función de recompensa modificada expandió significativamente el conjunto factible de puntos de partida en comparación con un agente base sin estas características.
• Escenario de Múltiples Obstáculos: El agente especializado navegó con éxito un paso estrecho entre tres obstáculos para alcanzar el destino. Los resultados confirmaron que el "principio de optimalidad" se mantiene, ya que la política óptima para el escenario complejo contenía sub-políticas óptimas.
• Comparación de Rendimiento: El agente basado en aprendizaje produjo trayectorias efectivas siendo significativamente más rápido en tiempo de computación que el método tradicional pseudo-espectral. Esta ventaja de velocidad hace que el enfoque DDPG sea más adecuado para aplicaciones en tiempo real.

Significancia y Reclamaciones
El artículo afirma que el enfoque propuesto basado en DDPG ofrece una solución práctica para la planificación de trayectorias en tiempo real en entornos no lineales y no convexos. Al aprovechar el aprendizaje por refuerzo, el método evita la necesidad de modelos ambientales de alta fidelidad y supera la latencia computacional del control óptimo tradicional. La capacidad de precalcular un "conjunto factible" de puntos de partida se destaca como una herramienta crítica para la planificación de misiones, permitiendo a los operadores determinar de antemano si una tarea es realizable desde una ubicación específica. Los autores concluyen que, si bien el método es efectivo, el trabajo futuro podría explorar la combinación de aprendizaje automático con otras técnicas de optimización para mejorar aún más el rendimiento.