Learning-based control of a single-DOF Aero system

Resumen Técnico: Control Basado en Aprendizaje de un Sistema Aero de un Solo Grado de Libertad

Planteamiento del Problema
Los sistemas mecatrónicos no lineales, como las plataformas aeroespaciales y los manipuladores robóticos, enfrentan desafíos de control significativos debido a fuertes no linealidades, incertidumbres paramétricas, dinámicas no modeladas y perturbaciones externas. Si bien las técnicas de control no lineal clásicas, como la linealización por retroalimentación y el control por modo deslizante, ofrecen garantías formales de estabilidad, su desempeño depende críticamente de la disponibilidad de modelos precisos del sistema. En la práctica, los errores de modelado inevitables y las perturbaciones desconocidas suelen degradar el desempeño o comprometer la estabilidad. Por el contrario, aunque el Aprendizaje por Refuerzo (RL) ofrece adaptabilidad mediante la interacción con el entorno, los algoritmos de RL estándar carecen frecuentemente de garantías formales de estabilidad y requieren una exploración extensiva, lo que dificulta su despliegue en sistemas altamente no lineales o críticos para la seguridad. El problema central abordado es el desarrollo de una arquitectura de control que integre las garantías de estabilidad analítica del control basado en modelos con la adaptabilidad de los métodos basados en aprendizaje para manejar incertidumbres sin sacrificar la seguridad.

Metodología
Los autores proponen un marco de control híbrido aplicado a un modelo de un solo grado de libertad (pitch/cabeceo) del sistema Quanser AERO. La metodología combina un controlador de linealización por retroalimentación basado en Lyapunov con un componente de aprendizaje por refuerzo de gradiente de política.

1. Arquitectura de Control:

   • Controlador Nominal: Se deriva una ley de linealización por retroalimentación para linealizar la dinámica del sistema. Este controlador se diseña utilizando el análisis de estabilidad de Lyapunov para asegurar la estabilidad de lazo cerrado ante incertidumbres de modelado.
   • Componente de Aprendizaje: Se emplea un agente de aprendizaje por refuerzo actor-crítico para estimar y compensar las dinámicas no modeladas y las perturbaciones externas en línea. El agente aprende un compensador de perturbaciones ($\hat{d}$) que se añade a la ley de control nominal.
   • Algoritmo: El módulo de aprendizaje utiliza el algoritmo REINFORCE-con-baseline. La política (actor) se modela como una distribución Gaussiana, mientras que una red neuronal separada (crítico) estima la función de valor de estado. Para estabilizar el entrenamiento y reducir la varianza de las estimaciones del gradiente de la política, los autores emplean la Estimación de Ventaja Generalizada (GAE).
   • Función de Recompensa: La recompina se define basada en el error de seguimiento combinado ($\eta$), específicamente $r = -|\eta| \ln(1 + t)$. El término logarítmico dependiente del tiempo atenúa la influencia de los errores transitorios grandes al inicio del episodio, desplazando el enfoque hacia el desempeño en estado estacionario.

2. Análisis de Estabilidad:
   El artículo proporciona una prueba de estabilidad basada en Lyapunov. Se asume que el ángulo de cabeceo y su derivada son medibles, la trayectoria deseada es continuamente diferenciable y la perturbación está acotada. El análisis demuestra que si la salida del agente de RL es acotada, el error de aproximación de la perturbación permanece acotado. Consecuentemente, el sistema de lazo cerrado exhibe errores de seguimiento uniformemente acotados finalmente (UUB). La estabilidad del sistema es garantizada primordialmente por la linealización por retroalimentación basada en Lyapunov, mientras que el agente de RL proporciona compensación adaptativa dentro de estos límites de estabilidad.

3. Configuración de Simulación:
   Las simulaciones numéricas se realizaron en Python utilizando el método de Runge-Kutta de cuarto orden. El sistema fue sometido a condiciones iniciales aleatorizadas y trayectorias deseadas variantes en el tiempo. El agente de RL fue entrenado durante 20,000 episodios utilizando el optimizador Adam con una tasa de aprendizaje de $1 \times 10^{-4}$.

Resultos Clave

• Desempeño del Algoritmo: Las comparaciones entre el REINFORCE vanilla y el REINFORCE-con-baseline mostraron que la variante mejorada con baseline alcanzó retornos finales significativamente más altos y una convergencia más rápida. El REINFORCE vanilla exhibió un comportamiento de aprendizaje inestable y falló en converger con tasas de aprendizaje bajas, mientras que la variante con baseline alcanzó un desempeño estable en aproximadamente 2,500 episodios.
• Seguimiento de Trayectoria: En simulaciones que involucraron 100 condiciones iniciales aleatorizadas, el controlador basado en aprendizaje demostró un desempeño de seguimiento de trayectoria superior en comparación con el controlador de linealización por retroalimentación convencional por sí solo. El enfoque propuesto redujo significativamente tanto los errores de seguimiento en estado estacionario como los transitorios.
• Robustez: El controlador mantuvo un alto desempeño bajo perturbaciones no modeladas y variantes en el tiempo (combinaciones sinusoidales y cosinusoidales) sin necesidad de reentrenamiento. La política aprendida logró adaptarse con éxito para capturar la estructura oscilatoria de las perturbaciones inyectadas, manteniendo el error de seguimiento bajo y acotado.
• Esfuerzo de Control: El mejorado desempeño de seguimiento se logró sin introducir un esfuerzo de control excesivo; los perfiles de voltaje de control se mantuvieron similares entre los métodos convencional y mejorado con aprendizaje.

Significancia y Reivindicaciones
El artículo afirma que el enfoque híbrido propuesto combina efectivamente las garantías analíticas del control basado en Lyapunov con la adaptabilidad del aprendizaje por refuerzo. Al utilizar el controlador basado en modelos como una base estable y el módulo de aprendizaje como un compensador de perturbaciones adaptativo, el sistema logra un seguimiento de trayectoria robusto en entornos inciertos. Los autores enfatizan que esta arquitectura permite un "aprendizaje seguro y estable" porque el agente de RL opera dentro de los límites del controlador convencional, asegurando que las condiciones de estabilidad del sistema no se violen incluso mientras el agente se adapta a efectos no modelados. Los resultados sugieren que incorporar una base (baseline) en los métodos de gradiente de política es crucial para mejorar la eficiencia de muestreo y asegurar un aprendizaje de política confiable en sistemas mecatrónicos no lineales.