💻 computer science

Multi-UAV Path Planning in 3D based on APF-MADDPG

Este artículo propone un marco de aprendizaje por refuerzo profundo jerárquico que integra una función de recompensa densa basada en un campo de potencial artificial mejorado con el algoritmo Multi-Agent Deep Deterministic Policy Gradient (MADDPG) para lograr una planificación de trayectorias 3D eficiente y óptima para múltiples UAV en entornos desconocidos con obstáculos complejos.

Autores originales: Ming Bai, Yan Chen, Yi Liu

Publicado 2026-08-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ming Bai, Yan Chen, Yi Liu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un cielo lleno de pequeñas aeronaves autónomas, cada una con la tarea de volar desde diferentes puntos de partida hacia un único punto de encuentro. Su misión no es solo llegar allí, sino arribar al mismo tiempo, zigzagueando a través de un mundo tridimensional que podría estar lleno de paredes invisibles, zonas peligrosas y otras aeronaves en movimiento. Este es el desafío de la planificación de trayectorias de múltiples drones. Durante décadas, los ingenieros han intentado resolver esto utilizando reglas basadas en la geometría o en el simple ensayo y error, pero estos métodos a menudo se estancan o fallan cuando el entorno se vuelve demasiado complejo o cambia inesperadamente. En años recientes, ha surgido un enfoque diferente: enseñar a estas máquinas a aprender haciendo. Al permitirles interactuar con un mundo simulado y recompensarlas por las buenas decisiones, los investigadores pueden ayudarlas a descubrir cómo navegar por su cuenta. Sin embargo, este proceso de aprendizaje suele ser lento y difícil, especialmente cuando las máquinas tienen que coordinarse entre sí sin chocar.

Un equipo de investigadores de la Universidad de Yan'an ha desarrollado un nuevo método para hacer que este proceso de aprendizaje sea más rápido y fiable para grupos de drones que vuelan en tres dimensiones. Combinaron dos ideas existentes: una forma de que múltiples máquinas aprendan juntas mientras se observan entre sí, y un concepto de navegación clásico que utiliza fuerzas invisibles para guiar el movimiento. En su enfoque, crearon un sistema donde los drones reciben retroalimentación constante, en lugar de solo una señal única de "buen trabajo" o "mal trabajo" al final de un vuelo. Esta retroalimentación constante actúa como un pequeño y continuo empujón, diciéndoles a los drones exactamente qué tan cerca están de su objetivo y qué tan lejos están de los obstáculos en cada momento. Esto ayuda a los drones a aprender mucho más rápido que antes.

Los investigadores probaron su método en una simulación informática que involucraba a tres drones. Los drones comenzaron en diferentes ubicaciones dentro de un espacio que mide 10 kilómetros por 10 kilómetros por 10 kilómetros. Su objetivo era volar a un punto de encuentro específico ubicado en las coordenadas 7, 4 y 1 kilómetros, todo ello mientras evitaban dos grandes obstáculos esféricos y un obstáculo cilíndrico alto. El equipo comparó su nuevo método con otros dos enfoques comunes. Uno de los métodos de comparación tenía a los drones aprendiendo enteramente por su cuenta sin compartir información, mientras que el otro les permitía aprender juntos pero sin el sistema especial de retroalimentación continua. Los resultados mostraron que los drones que utilizaban el nuevo método aprendieron la mejor estrategia con mayor rapidez. Llegaron al objetivo con éxito y evitaron todos los obstáculos, mientras que los drones que aprendían solos no lograron evitar las colisiones en varios intentos.

Al observar la eficiencia de los vuelos, el nuevo método también produjo distancias de viaje totales más cortas. El grupo de drones que utilizó el nuevo enfoque voló una distancia total combinada de 24.7056 kilómetros para completar su misión. En contraste, el grupo que utilizó el método de aprendizaje cooperativo estándar voló una distancia más larga de 25.9426 kilómetros. Los drones que aprendieron sin cooperación no lograron completar la misión de manera segura en absoluto. Los investigadores descubrieron que, al proporcionar a los drones un flujo constante de información sobre su progreso y seguridad, el sistema podía encontrar una mejor ruta más rápidamente. También estructuraron el entrenamiento en dos capas: una capa se centraba en planificar la ruta general y otra se centraba en ejecutar los movimientos específicos, lo que ayudó a los drones a aprender la compleja tarea de manera más efectiva.

Este trabajo sugiere que, al refinar la forma en que las máquinas reciben retroalimentación durante el entrenamiento, podemos ayudarlas a resolver problemas de navegación complejos mucho más rápido. El estudio no probó estos drones en el mundo físico real, pero las simulaciones proporcionaron una imagen clara de cómo se desempeña el método bajo condiciones controladas. Los hallazgos indican que, para que grupos de vehículos autónomos trabajen juntos de forma segura en un espacio tridimensional congestionado, necesitan una forma de comprender su progreso continuamente, en lugar de esperar hasta el final de una tarea para saber si tuvieron éxito. El nuevo método ofrece una forma de proporcionar esa comprensión, conduciendo a vuelos más seguros y eficientes.

Resumen Técnico: Planificación de Trayectorias Multi-UAV en 3D basada en APF-MADDPG

1. Planteamiento del Problema

El artículo aborda el desafío de la planificación de trayectorias multi-UAV en entornos desconocidos en 3D. Este problema se caracteriza por un espacio de acciones de alta dimensionalidad, restricciones estrictas de evitación de colisiones (tanto entre UAVs como con obstáculos) y una naturaleza computacional NP-duro.

Los desafíos específicos identificados incluyen:

Colaboración vs. Individualidad: A diferencia de la planificación de un solo UAV que se centra en la optimalidad individual, la planificación multi-UAV requiere equilibrar la colaboración, la evitación de colisiones y la finalización simultánea de la misión (agregación).
Limitaciones de los Métodos Tradicionales: Los métodos geométricos (por ejemplo, Voronoi) tienen dificultades con los cambios dinámicos; los métodos de Campo de Potencial Artificial (APF) sufren de mínimos locales; y los algoritmos heurísticos (por ejemplo, Algoritmos Genéticos, PSO) suelen enfrentar problemas de convergencia lenta o de optimización local en espacios de alta dimensión.
Limitaciones de los Enfoques de RL Existentes: Aunque el Gradiente de Política Determinista Profundo (DDPG) funciona para agentes individuales, ignora las diferencias estratégicas entre agentes, lo que provoca colisiones. El Multi-Agent DDPG (MADDPG) aborda la colaboración, pero a menudo sufre de recompensas dispersas (sparse rewards), lo que dificulta el diseño de la función de recompensa y ralentiza la convergencia en entornos complejos.

2. Metodología

Los autores proponen un nuevo algoritmo, APF-MADDPG, que integra el marco de trabajo Multi-Agent Deep Deterministic Policy Gradient (MADDPG) con un mecanismo de recompensa mejorado basado en el Campo de Potencial Artificial (APF).

2.1 Modelado del Problema

Modelo de Misión: Definido como una misión de agregación donde $N$ UAVs parten de ubicaciones dispersas y deben alcanzar una zona objetivo común simultáneamente mientras evitan zonas de amenaza, zonas de no vuelo y obstáculos.
Modelo de Movimiento: Se utiliza un modelo cinemático 3D donde los UAVs controlan la aceleración lineal, la aceleración angular de cabeceo (pitch) y la aceleración angular de guiñada (yaw). Se aplican restricciones a la velocidad, aceleración y ángulos.
Modelo de Obstáculos: Los obstáculos se modelan como cuerpos convexos (esferas o cilindros) definidos por parámetros geométricos.
Formulación de Teoría de Juegos: El problema se formula como un Juego de Markov Parcialmente Observable (POMG).
- Espacio de Estados ( $S_i$ ): Incluye posición, velocidad, ángulos de cabeceo y guiñada.
- Espacio de Acciones ( $A_i$ ): Aceleración lineal, aceleración angular de cabeceo y aceleración angular de guiñada.
- Espacio de Observación ( $o_i$ ): Observaciones locales que incluyen el estado propio del UAV, estados relativos de otros UAVs y posiciones relativas de los obstáculos.

2.2 Algoritmo Central: APF-MADDPG

El algoritmo utiliza un marco de ejecución distribuida y entrenamiento centralizado.

Mecanismo de Entrenamiento Jerárquico: Se introduce una estructura de dos capas:
- Capa de Planificación de Trayectoria: Cada UAV tiene una red actor-crítico independiente. El actor toma observaciones locales para generar acciones con ruido de exploración.
- Capa de Ejecución de Acciones: Los UAVs ejecutan acciones en el entorno, generando nuevas observaciones y recompensas.
Función de Recompensa Densa (Innovación Clave): Para superar las recompensas dispersas, los autores diseñan una función de recompensa compuesta ( $R_{sum}$ $R_{s u m}$ ) basada en los principios de APF:
- Atracción ( $R_{ut}$ ): Fomenta el movimiento hacia el objetivo utilizando una función de decaimiento exponencial basada en la distancia euclidiana.
- Repulsión ( $R_{uu}$ ): Penaliza la proximidad entre los UAVs para prevenir colisiones.
- Repulsión de Obstáculos ( $R_{uo}$ ): Penaliza la proximidad a los obstáculos mediante una función exponencial.
- Recompensa de Salida/Progreso ( $R_{depart}$ ): Recompensa el progreso hacia el objetivo calculando la diferencia entre la distancia previa y la distancia actual al objetivo ( $d(p_{last}, p_{target}) - d(p_{now}, p_{target})$ ). Este mecanismo está diseñado para resolver el problema de los objetivos inalcanzables en APF y evitar que el agente deambule cerca del objetivo para acumular la máxima recompensa sin alcanzarlo.
- Recompensa Total: $R_{sum} = w_1R_{ut} + w_2R_{uu} + w_3R_{uo} + w_4R_{depart}$ .

2.3 Proceso de Entrenamiento

El algoritmo emplea las reglas estándar de actualización de MADDPG con redes objetivo para la estabilidad.

Actualización del Crítico: Minimiza la pérdida entre el valor Q predicho y el valor objetivo ( $y_i$ ), que incorpora la recompensa inmediata y el valor Q futuro descontado de las redes objetivo.
Actualización del Actor: Maximiza el retorno esperado utilizando el gradiente de política.
Actualizaciones Suaves (Soft Updates): Los parámetros de la red objetivo se actualizan mediante actualizaciones suaves ( $\tau \ll 1$ ) para asegurar la estabilidad del entrenamiento.

3. Contribuciones Clave

El artículo reclama explícitamente dos contribuciones primarias:

Función de Recompensa Densa: La integración de una función de recompensa densa basada en APF en el marco de MADDPG. Esto aborda los problemas de recompensas dispersas y convergencia lenta encontrados en el aprendizaje por refuerzo multi-agente tradicional para la planificación de trayectorias.
Mecanismo de Entrenamiento Jerárquico: El establecimiento de una estructura de aprendizaje por refuerzo profundo jerárquica que comprende una capa de planificación de trayectoria y una capa de ejecución de acciones para entrenar eficientemente estrategias óptimas.

4. Resultados Experimentales

El método propuesto fue evaluado en un entorno de simulación 3D (10 km $\times$ 10 km $\times$ 10 km) con tres UAVs y tres obstáculos (dos esferas, un cilindro). Se comparó contra MADDPG (usando recompensas dispersas tradicionales) e ILDDPG (Aprendiz Independiente DDPG).

Velocidad de Convergencia: Las curvas de recompensa por episodio (Fig. 4) demuestran que APF-MADDPG converge significativamente más rápido que tanto MADDPG como ILDDPG.
Calidad de la Política:
- ILDDPG: Falló en evitar obstáculos en la simulación (los UAVs 1 y 2 colisionaron), lo que lo hace inadecuado para este escenario multi-agente.
- MADDPG: Evitó con éxito los obstáculos pero resultó en una longitud de trayectoria total más larga.
- APF-MADDPG: Evitó con éxito todos los obstáculos y logró la longitud de trayectoria total más corta.
Comparación de Longitud de Trayectoria:
- Longitud Total MADDPG: 25.9426 km
- Longitud Total APF-MADDPG: 24.7056 km
- El algoritmo APF-MADDPG redujo la longitud total de la trayectoria en comparación con el MADDPG estándar.

5. Significado y Reclamaciones

El artículo concluye que el algoritmo APF-MADDPG supera tanto a ILDDPG como al MADDPG estándar en términos de:

Eficiencia de Aprendizaje de la Política: Convergencia más rápida hacia una estrategia óptima.
Optimalidad de la Planificación de Trayectorias: Generación de trayectorias más cortas y eficientes.
Seguridad: Evitación efectiva de colisiones con obstáculos y otros UAVs en un entorno 3D.

Los autores afirman que la combinación de la recompensa densa basada en APF y el mecanismo de entrenamiento jerárquico resuelve eficazmente los desafíos de las recompensas dispersas y los mínimos locales en la planificación de trayectorias 3D multi-UAV, proporcionando una solución robusta para misiones colaborativas en entornos desconocidos.