Resumen Técnico: Un Enfoque Heurístico para el Ajuste de Rendimiento en el Control de Cuadricópteros Basado en Aprendizaje por Refuerzo

Enunciado del Problema

Si bien el Aprendizaje por Refuerzo (RL) ha demostrado capacidades impresionantes en tareas de cuadricópteros de alta velocidad y ágiles, como carreras de drones y navegación a través de entornos congestionados, a menudo carece de la capacidad de proporcionar maniobras ajustables, precisas y controladas requeridas para aplicaciones como la inspección de infraestructuras. Las configuraciones típicas de entrenamiento de RL son rígidas, lo que dificulta el ajuste iterativo de los comportamientos resultantes para cumplir con métricas específicas de teoría de control (por ejemplo, tiempo de establecimiento, sobreimpulso, error en estado estacionario) sin incurrir en costos computacionales prohibitivos. Además, a diferencia de los controladores clásicos Proporcional-Integral-Derivativo (PID), que ofrecen heurísticas de ajuste intuitivas, las funciones de recompensa de RL suelen ser complejas y difíciles de mapear a requisitos específicos de rendimiento transitorio y en estado estacionario.

Metodología

Los autores proponen un enfoque heurístico novedoso para lograr un rendimiento ajustable en el control de cuadricópteros basado en RL de extremo a extremo mediante la manipulación del diseño de recompensas y las condiciones de terminación. El sistema se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) utilizando el algoritmo de Optimización de Política Proximal (PPO).

1. Sistema y Observación

• Plataforma: El estudio utiliza un cuadricóptero Crazyflie 2.1 en configuración $X$.
• Dinámica: El sistema emplea cuaterniones unitarios para la orientación para evitar singularidades, modelando la dinámica de cuerpo rígido que incluye empuje, torque y gravedad.
• Espacio de Observación: El agente observa un vector de 17 dimensiones que comprende el error de posición, el error de cuaternión, la velocidad lineal, la velocidad angular y la acción anterior. Se inyecta ruido gaussiano en todos los componentes del estado (excepto la acción anterior) para mejorar la robustez frente al ruido de los sensores en tiempo real.
• Espacio de Acción: La política genera valores normalizados de RPM de los motores, mapeándose directamente a los cuatro motores del dron.

2. Diseño de la Función de Recompensa

Se diseña una función de recompensa multi-componente para guiar a la política hacia un control de estabilización:
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• Recompensa de Supervivencia ($s_R$): Incentiva al agente a evitar colisiones o estados inseguros.
• Recompensas por Error de Posición ($e^R_{xy}, e^R_z$): Utiliza recompensas exponenciales de doble ancho de banda. Esta estructura divide la recompensa en coeficientes que influyen en la respuesta temprana ($\alpha$) y la precisión en estado estacionario ($\beta$).
• Recompensas de Velocidad y Ángulo ($v_R, \theta_R$): Recompensa la reducción de la velocidad lineal y el error de orientación (medido mediante el ángulo geodésico).
• Penalización de Suavidad ($a^P_{\Delta}$): Penaliza la norma euclidiana al cuadrado de la diferencia entre acciones consecutivas, actuando como un término de amortiguación para fomentar un comportamiento de control derivativo.

3. Condiciones de Terminación y Truncamiento

Los autores definen condiciones específicas de fallo (por ejemplo, descender por debajo de 10 cm, aceleración excesiva) y horizontes de truncamiento. Estas condiciones se ajustan para restringir el comportamiento del cuadricóptero, influyendo en la agilidad y la naturaleza críticamente amortiguada de la respuesta.

4. Reglas Heurísticas de Ajuste

La contribución central es un conjunto de heurísticas intuitivas para ajustar los pesos de la recompensa, los coeficientes exponenciales y los límites de terminación para desplazar el rendimiento entre tres modos distintos:

• Línea Base: Una respuesta críticamente amortiguada con bajo error en estado estacionario.
• Acrobático (Más rápido): Logrado aumentando el ancho de banda de respuesta temprana de los errores de posición y relajando las restricciones de velocidad, permitiendo tiempos de establecimiento más rápidos.
• Inspección (Más lento): Logrado reduciendo los límites de terminación de velocidad, aumentando la nitidez de las recompensas por error de posición y relajando las recompensas de supervivencia para evitar mínimos locales, resultando en transiciones más suaves y lentas.

Contribuciones Clave

1. Estructura de Recompensa Novel: Introducción de recompensas exponenciales de doble ancho de banda que logran una respuesta base críticamente amortiguada con bajos errores en estado estacionario en el seguimiento de puntos de consigna.
2. Heurísticas Ajustables: Un marco de reglas intuitivas para ajustar los pesos de la recompensa y las condiciones de terminación para producir tiempos de establecimiento "tipo acrobático" (rápidos) y "tipo inspección" (lentos) manteniendo las características de error en estado estacionario de la línea base.
3. Eficiencia de Muestreo: Demostración de que el rendimiento deseado puede lograrse en aproximadamente 6 millones de pasos de tiempo utilizando PPO, sin requerir arquitecturas híbridas complejas (por ejemplo, RL en cascada con PID).
4. Validación Estadística: Validación a través de 100 ensayos con condiciones iniciales aleatorias, demostrando un rendimiento consistente en el seguimiento de posición y guiñada.

Resultados

Los autores entrenaron tres políticas distintas (Línea Base, Acrobático, Inspección) utilizando hiperparámetros PPO idénticos.

• Eficiencia de Entrenamiento: Todas las políticas alcanzaron la saturación de recompensa a los 6 millones de pasos de tiempo. La varianza entre semillas aleatorias fue baja, lo que indica estabilidad.
• Métricas de Rendimiento:
  • Tiempo de Establecimiento: La política Acrobática logró consistentemente tiempos de establecimiento más cortos, mientras que la política de Inspección exhibió transiciones más largas y suaves en comparación con la Línea Base.
  • Sobreimpulso: Las variables de posición x, y y z exhibieron un Rango Intercuartílico (IQR) de cero en el sobreimpulso, lo que indica que al menos el 75% de los ensayos lograron la respuesta críticamente amortiguada pretendida. El sobreimpulso de guiñada fue mayor, atribuido a las condiciones iniciales aleatorizadas.
  • Error en Estado Estacionario: Las tres políticas mantuvieron errores en estado estacionario dentro de la banda prescrita del 2% para posición y guiñada.
• Actuación del Motor: La política de Inspección requirió menos actuación de motor y se estabilizó más rápido en términos de estabilización de RPM en comparación con la política Acrobática más agresiva.

Significado y Afirmaciones

El artículo afirma que el enfoque heurístico propuesto constituye una metodología fiable y práctica para diseñar controladores de cuadricópteros basados en RL con rendimiento de estabilización ajustable. A diferencia de los enfoques híbridos anteriores que se centran en entrenar una sola política con expectativas fijas, este trabajo proporciona un mecanismo para controlar las características de rendimiento de la política (transitoria vs. estado estacionario) mediante ajustes intuitivos de parámetros.

Los autores enfatizan que este enfoque cierra la brecha entre la flexibilidad del RL y la predictibilidad de la teoría de control clásica, permitiendo la generación de controladores adecuados para diversas aplicaciones que van desde carreras de alta velocidad hasta la inspección precisa de infraestructuras. El trabajo es modesto en su alcance, centrándose en la validación basada en simulación con ruido gaussiano, e identifica explícitamente la transferencia sim-a-real, la aleatorización de dominios, la latencia y las limitaciones computacionales a bordo como áreas necesarias para trabajos futuros.