Aerial Inspection Behaviors via RL-based Quadrotor Control for Under-canopy Forest Environments

Resumen Técnico: Comportamientos de Inspección Aérea mediante Control de Cuadricópteros Basado en RL para Entornos Forestales Bajo el Dosel

Planteamiento del Problema
Este artículo aborda el desafío de desplegar cuadricópteros autónomos para misiones de inspección dentro de entornos forestales bajo el dosel. Si bien los cuadricópteros son adecuados para espacios confinados y desordenados, las pipelines de autonomía convencionales suelen depender de una pila de control estructurada (por ejemplo, PID o seguimiento geométrico) combinada con planificadores de movimiento. Los autores investigan si un controlador de nivel de motor aprendido, de extremo a extremo, puede servir como una capa de ejecución práctica dentro de una pila de autonomía guiada por planificadores. El problema específico consiste en lograr un seguimiento simultáneo de la referencia de posición y guiñada (seguimiento de pose de visión) para apoyar diversos comportamientos de inspección, como la navegación punto a punto, el escaneo circular y las trayectorias helicoidales, mientras se opera bajo ruido en las mediciones de estado y perturbaciones externas.

Metodología
La solución propuesta utiliza una arquitectura de autonomía jerárquica compuesta por tres capas distintas:

1. Navegación de Alto Nivel (Planificador TSP): Dado un mapa conocido del bosque y un conjunto de regiones de inspección definidas por el usuario, un planificador del Problema del Viajante de Comercio (TSP) calcula la secuencia óptima para visitar estos objetivos. La función de costo se basa en la distancia euclidiana, ignorando la altitud y la guiñada para la generación inicial de la secuencia.
2. Planificación de Trayectoria de Nivel Medio (Planificador RRT):* Un planificador informado de Árbol Aleatorio de Exploración Rápida Estrella 3D (RRT*) genera trayectorias libres de colisiones entre los objetivos secuenciales definidos por el TSP. Este planificador respeta las limitaciones específicas de seguimiento y los límites de seguridad del controlador de nivel inferior (por ejemplo, asegurando que los puntos de paso estén dentro de un radio de 3 metros para tener en cuenta las condiciones de terminación del entrenamiento). Genera una secuencia de puntos de paso libres de colisiones y perfiles de rumbo.
3. Ejecución de Bajo Nivel (Controlador RL): La contribución central es una política de Aprendizaje por Refuerzo (RL) profunda que mapea las observaciones de estado directamente a comandos de RPM de los motores.
   • Formulación: El problema se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP).
   • Espacio de Observación: Incluye el error de posición ruidoso, el error de cuaternión, la velocidad lineal, la velocidad angular y la acción anterior (para mantener las propiedades de Markov). Se inyecta ruido gaussiano durante el entrenamiento para mejorar la robustez.
   • Espacio de Acción: La política genera RPM de motores normalizados, que se convierten a valores de RPM crudos en la simulación.
   • Moldeado de Recompensa: Una función de recompensa de múltiples componentes fomenta la supervivencia (evitando colisiones), el seguimiento preciso de la posición (utilizando recompensas exponenciales de doble ancho de banda para los errores horizontales y verticales), la minimización de la velocidad, el seguimiento preciso del ángulo geodésico (guiñada) y la suavidad de la acción (penalizando cambios rápidos en los comandos del motor).
   • Arquitectura: La política es un Perceptrón Multicapa (MLP) con 17 entradas y 4 salidas, entrenado utilizando la biblioteca Stable-Baselines3 dentro de un entorno Gym-PyBullet-Drones.

Contribuciones Clave
Los autores presentan tres contribuciones principales:

1. Política de Control de Extremo a Extremo: Un controlador de bajo nivel basado en RL que mapea las observaciones de estado directamente a las RPM de los motores para el seguimiento simultáneo de posición y guiñada, eliminando la necesidad de una descomposición explícita en control de posición de bucle externo y control de actitud de bucle interno.
2. Integración del Sistema: Una demostración de que este controlador aprendido puede desplegarse de manera confiable como módulo de ejecución dentro de un marco de navegación de nivel superior (TSP + RRT*) para misiones de largo alcance bajo el dosel.
3. Validación: El sistema completo se valida en cinco escenarios de inspección distintos, demostrando la viabilidad del controlador RL en entornos complejos similares a un bosque.

Resultados y Validación
El sistema se evaluó en un entorno forestal simulado que contenía 200 troncos de árboles cilíndricos. La validación cubrió cinco escenarios específicos:

1. Navegación bajo el dosel: El cuadricóptero navegó con éxito entre ocho objetivos de inspección, con el TSP determinando el orden y el RRT* generando la trayectoria. El controlador RL siguió los puntos de paso resultantes libres de colisiones.
2. Seguimiento de Pose de Visión: El dron inspeccionó cinco árboles a alturas variables, manteniendo una distancia de seguridad de 1 metro y apuntando su eje x corporal hacia cada árbol.
3. Escaneo de Escena Estacionaria: El cuadricóptero mantuvo una posición fija mientras rotaba 360 grados para escanear un área específica.
4. Seguimiento de Trayectoria Circular: El dron siguió una trayectoria circular alrededor de un tronco de árbol a una altitud constante y a una distancia horizontal de 50 cm.
5. Seguimiento de Trayectoria Helicoidal: El dron ejecutó una trayectoria en hélice alrededor de un árbol, variando su guiñada para mantener una vista del centro del tronco durante todo el ascenso/descenso.

En todos los escenarios, el controlador demostró un movimiento suave y preciso con errores pequeños en el seguimiento de posición y guiñada. Los resultados indican que el controlador basado en RL maneja eficazmente la ejecución de comportamientos de inspección complejos generados por los planificadores de alto nivel.

Significado y Afirmaciones
El artículo afirma que un controlador estabilizador de nivel de motor aprendido, cuando se apoya en una capa de guía de navegación, es un módulo de ejecución de bajo nivel viable y efectivo para la inspección forestal bajo el dosel. El trabajo sugiere que las políticas de extremo a extremo pueden reducir la necesidad de una descomposición de controladores diseñada a mano, al tiempo que preservan las garantías de seguridad proporcionadas por los planificadores de nivel superior. Los autores se mantienen modestos respecto al despliegue inmediato, señalando que el trabajo actual es una validación basada en simulación. Afirman que el trabajo futuro se centrará en la transferencia de simulación a realidad y en la validación con hardware real para evaluar la aplicabilidad del controlador en misiones de inspección aérea prácticas y del mundo real.