Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

Resumen Técnico: Aprendizaje de un Controlador Óptimo Local para una Clase de Sistemas No Lineales mediante Exploración Supervisada por Impulsos

Formulación del Problema
El artículo aborda el desafío de aprender políticas de control óptimas para una clase de sistemas no lineales de segundo orden utilizando Programación Dinámica Aproximada (ADP) en tiempo continuo. Si bien la ADP y el Aprendizaje por Refuerzo (RL) ofrecen marcos potentes para resolver problemas de control óptimo aproximando la solución de la ecuación de Hamilton-Jacobi-Bellman (HJB), existe un cuello de botella crítico para los sistemas no lineales: el requisito de persistencia de la excitación (PE).

En la ADP de tiempo continuo, la PE es necesaria para asegurar la convergencia de los pesos de la red neuronal del crítico hacia sus valores ideales. Sin embargo, imponer la PE suele inducir desviaciones de estado significativas. Para sistemas no lineales, tales desviaciones son problemáticas porque la función de valor óptima se aproxima frecuentemente mediante una linealización local de la dinámica. Si la trayectoria del estado es impulsada demasiado lejos del equilibrio por la señal de excitación, la aproximación lineal local se vuelve inválida, lo que puede conducir a la inestabilidad del sistema o a un "escape finito" donde la trayectoria abandona la región de validez. Los métodos existentes como el aprendizaje concurrente dependen de datos offline ricos, que no siempre están disponibles. El objetivo de este trabajo es aprender una política de control localmente óptima para el modelo linealizado mientras se confina estrictamente la trayectoria del estado dentro de un vecindad donde la aproximación lineal sea válida.

Metodología
Los autores proponen un marco de exploración confinada supervisada por impulsos que integra la ADP de tiempo continuo con una capa supervisora de control impulsivo. La metodología central involucra los siguientes componentes:

1. Modelo del Sistema y Linealización Local: El sistema se modela como $\dot{x} = F(x) + G(x)u$, donde el término de deriva $F(x)$ se descompone en una parte lineal $Ax$ y términos no lineales de orden superior $\phi(x)$. El objetivo de control es aprender la política óptima para la aproximación LTI (Tiempo Invariante Lineal) local $\dot{x} = Ax + Bu$ dentro de una pequeña vecindad $S_1$ del origen.
2. Marco de ADP: Una red neuronal crítica aproxima la función de valor óptima $J^*(x) \approx \hat{W}^T \sigma(x)$. Los pesos $\hat{W}$ se actualizan en línea utilizando una ley de gradiente normalizada para minimizar el residuo de Bellman. Se añade una señal de excitación persistente $u_{PE}$ a la entrada de control para satisfacer la condición de PE requerida para la convergencia de los pesos.
3. Capa Supervisora Impulsiva: Para evitar que el estado abandone la región válida $S_1$ debido a la señal de excitación, el marco emplea entradas de frenado impulsivo. Estas entradas se modelan como funciones delta de Dirac aplicadas en instantes de tiempo específicos $t = \tau_k$.
   • Mecanismo: La entrada impulsiva actúa instantáneamente sobre el estado de velocidad ($x_2$), reiniciándolo a cero ($x_2^+ = 0$) mientras deja el estado de posición ($x_1$) sin cambios.
   • Efecto: Esta acción de "frenado" reduce el valor de una función de Lyapunov $V(x) = x_1^2 + x_2^2$, asegurando que el estado post-salto permanezca dentro del conjunto confinado $S_1$.
4. Formulación de Autómata Híbrido: El sistema de lazo cerrado se modela como un autómata híbrido con cuatro modos discretos:
   • $q_1, q_2$: Evolución continua con control ADP activo y adaptación de pesos (dentro del conjunto interno $S_2$ y el anillo exterior $S_1 \setminus S_2$, respectivamente).
   • $q_3$: Régimen de frontera donde la trayectoria alcanza $\partial S_1$.
   • $q_4$: Fase de recuperación post-frenado donde el control y la adaptación de pesos se suspenden, y el sistema evoluciona de forma autónoma bajo dinámicas no forzadas hasta que reingresa en $S_2$.
   • Transiciones: Guardas disparadas por el estado determinan cuándo ocurre el frenado impulsivo (cuando la trayectoria golpea $\partial S_1$ con velocidad hacia afuera) y cuándo el sistema cambia entre los modos de aprendizaje activo y de recuperación.

Contribuciones Clave

• Exploración Supervisada por Impulsos: El artículo introduce un mecanismo novedoso donde el frenado impulsivo actúa como una restricción supervisora para imponer la invarianza de conjunto. A diferencia del RL con restricciones de seguridad que a menudo imponen restricciones estrictas sobre las entradas de control, este enfoque utiliza reinicios discretos para confinar el estado, permitiendo una excitación agresiva necesaria para el aprendizaje sin violar la validez local del modelo lineal.
• Dinámica Híbrida para el Aprendizaje: El trabajo establece un marco teórico que combina la ADP de tiempo continuo con reinicios impulsivos disparados por el estado. Se demuestra que el sistema híbrido de lazo cerrado resultante hace que el conjunto de exploración confinado $S_1$ sea positivamente invariante.
• Garantías Teóricas: Los autores proporcionan una prueba de que el mapa de frenado impulsivo es no expansivo con respecto a la función de Lyapunov, asegurando que el estado nunca escape de $S_1$. Además, argumentan que el tiempo entre impulsos consecutivos está acotado por un valor mayor a cero, descartando el fenómeno de Zeno.

Resultados de Simulación
El marco propuesto fue validado en un sistema mecánico no lineal (un sistema masa-resorte-amortiguador con no linealidades cúbicas).

• Confinamiento: Los resultados de la simulación demuestran que la trayectoria del estado permanece estrictamente confinada dentro del conjunto $S_1$ durante todo el proceso de aprendizaje. Cada vez que la trayectoria se acercaba al límite debido a la señal de excitación, se activaba el frenado impulsivo, reiniciando la velocidad y atrayendo el estado hacia el interior.
• Convergencia: Los pesos del crítico convergieron a valores que coinciden estrechamente con los pesos óptimos derivados de la ecuación de Riccati algebraica para el modelo lineal local. Los pesos permanecieron constantes durante las fases de recuperación (modo $q_4$) y se actualizaron durante las fases de exploración.
• Comparación: Una simulación comparativa sin la capa supervisora impulsiva mostró que la trayectoria abandonó la región de validez lineal, provocando la inestabilidad del sistema y un escape finito, lo que resalta la necesidad del mecanismo de confinamiento.

Significado y Reivindicaciones
El artículo afirma que este enfoque logra cerrar la brecha entre la necesidad de excitación persistente en la ADP y el requisito de validez local en el control no lineal. Al confinar la exploración a una vecindad donde la aproximación lineal es válida, el método permite el aprendizaje de un controlador localmente óptimo que, de otro modo, sería inalcanzable debido al riesgo de grandes desviaciones de estado.

Los autores señalan modestamente que el trabajo actual asume el conocimiento de la dinámica lineal local y que las entradas impulsivas son idealizadas. Identifican como direcciones futuras la extensión del marco a escenarios sin modelo (model-free), sistemas de mayor dimensión y validación experimental utilizando aproximaciones prácticas de entradas impulsivas (por ejemplo, retroalimentación de alta ganancia o frenos de solenoide). El trabajo se distingue del "RL seguro" al enfocarse específicamente en el confinamiento para la validez del aprendizaje en lugar de restricciones de seguridad generales, utilizando el control impulsivo como una herramienta supervisora específica para este propósito.