⚡ electrical engineering

Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

Este artículo presenta un marco de aprendizaje en línea llamado Relearn LQR que combina mínimos cuadrados recursivos y búsqueda directa de políticas para resolver problemas de control LQR con dinámicas desconocidas, ofreciendo garantías formales de estabilidad mediante un análisis Lyapunov de sistemas dinámicos no lineales interconectados.

Autores originales: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

Publicado 2026-04-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes que aprender a pilotar un avión muy complejo, pero tienes un problema: no tienes el manual de instrucciones. No sabes exactamente cómo responde el avión a cada movimiento de la palanca (no conoces sus "matrices A y B"). Además, no puedes simplemente sentarte a estudiar el manual; tienes que volar el avión mientras aprendes a pilotarlo.

Este es el desafío que resuelve el artículo que me has pasado. Los autores (Lorenzo Sforni y su equipo) proponen un método llamado "Relearn LQR".

Aquí te explico cómo funciona, usando analogías de la vida cotidiana:

1. El Problema: Aprender a conducir a ciegas

Imagina que estás aprendiendo a conducir un coche nuevo en una carretera desconocida.

El objetivo: Llegar a tu destino de la forma más suave y eficiente posible (esto es el problema LQR: minimizar el gasto de combustible y las sacudidas).
El obstáculo: No sabes cuánto gira el volante al girar la rueda, ni cuánto frena el coche al pisar el freno.
La solución tradicional (fuera de línea): La mayoría de los métodos actuales te dirían: "Primero, haz 100 pruebas de frenado en un circuito cerrado para medir el coche. Luego, calcula la mejor estrategia. Finalmente, conduce". El problema es que en el mundo real (robótica, aviones), no puedes parar el sistema 100 veces para medirlo; tienes que conducir ahora.

2. La Solución: "Relearn LQR" (Reaprender en tiempo real)

El método de los autores es como un aprendiz de piloto que nunca deja de conducir. Funciona en tres pasos que ocurren al mismo tiempo, como un trío de músicos tocando en vivo:

A. El "Dither" (El temblor de exploración)

Para aprender, el sistema añade un pequeño "temblor" o vibración a los controles (llamado dither).

Analogía: Es como cuando un mecánico golpea suavemente una pieza atascada con un martillo para ver cómo reacciona. O como cuando un chef prueba la sopa y añade una pizca de sal, espera un segundo, y vuelve a probar. Ese pequeño "temblor" es necesario para que el sistema pueda "escuchar" cómo responde el avión. Sin ese ruido, el avión no revelaría sus secretos.

B. El Aprendizaje (El cuaderno de notas)

Mientras el avión vuela con ese pequeño temblor, el sistema recoge datos: "Si moví la palanca así, el avión hizo esto".

Analogía: Es como un estudiante que lleva un cuaderno. Cada vez que el avión reacciona, el sistema anota: "A + B = C". Usa un método matemático muy rápido (Mínimos Cuadrados Recursivos) para actualizar su "manual de instrucciones" mental en tiempo real. Cada nueva prueba mejora la estimación de cómo funciona el avión.

C. La Optimización (El piloto automático que mejora)

Al mismo tiempo que el cuaderno se llena de datos, el sistema ajusta la forma de pilotar.

Analogía: Imagina que el sistema es un piloto automático que está aprendiendo. Cada vez que el cuaderno dice "¡Ah! El avión gira más de lo que pensaba", el piloto automático ajusta su estrategia de vuelo inmediatamente para ser más eficiente. No espera a terminar el vuelo para corregirse; lo hace mientras vuela.

3. La Magia: La Garantía de Estabilidad (El cinturón de seguridad)

Aquí está la gran novedad de este papel. Muchos métodos de aprendizaje automático son como conducir a ciegas: pueden funcionar bien, pero a veces se vuelven locos y chocan.

Los autores han creado una garantía matemática de estabilidad.

Analogía: Es como si el sistema tuviera un cinturón de seguridad y un airbag matemáticos. Han demostrado (usando una teoría llamada "teoría de promedios" y "separación de tiempos") que, incluso mientras el sistema está aprendiendo y ajustando el avión, nunca se saldrá de control.
Han probado que el sistema converge (se acerca) a la solución perfecta de forma exponencial. Es decir, los errores se hacen pequeños muy rápido, como una pelota que rueda hacia el fondo de una cuenca y se detiene exactamente en el centro.

4. ¿Qué pasa si el avión cambia? (El caso de los parámetros que se desvían)

El artículo también prueba que el sistema funciona incluso si el avión cambia mientras vuelas (por ejemplo, si se le cae una pieza o el viento cambia drásticamente).

Analogía: Imagina que estás aprendiendo a andar en bicicleta, y de repente, la bicicleta se vuelve más pesada o las ruedas cambian de tamaño. La mayoría de los sistemas antiguos se caerían. Pero este sistema, gracias a su capacidad de "reaprender" constantemente, se adapta al instante. Detecta el cambio, actualiza su cuaderno de notas y ajusta su forma de pedalear para seguir equilibrado, sin necesidad de detenerse.

En resumen

Este papel presenta un sistema inteligente que:

Aprende cómo funciona una máquina desconocida mientras la usa.
Mejora su control en tiempo real para ser lo más eficiente posible.
Garantiza que nunca se volverá loco, incluso mientras aprende.
Se adapta si las condiciones cambian sobre la marcha.

Es como tener un copiloto que es un genio de las matemáticas, que nunca duerme, que aprende de cada segundo de vuelo y que asegura que el avión llegue a su destino de la forma más segura y eficiente posible, sin necesidad de un manual previo.

Resumen Técnico: Relearn LQR

1. Planteamiento del Problema

El artículo aborda el problema del Regulador Lineal Cuadrático (LQR) de horizonte infinito para sistemas lineales donde la dinámica (las matrices $A^\star$ y $B^\star$ ) es desconocida. El objetivo es diseñar una política de control de retroalimentación de estado ( $u_t = K_t x_t$ ) que minimice una función de coste cuadrática, utilizando únicamente datos recopilados del sistema en tiempo real.

El desafío principal identificado por los autores es la falta de certificados de estabilidad en los enfoques de aprendizaje por refuerzo (RL) y control basado en datos existentes. La mayoría de los métodos actuales o bien:

Son off-policy (recopilan datos y luego optimizan, separando las fases de aprendizaje y control).
Son on-policy pero no garantizan la estabilidad del sistema de lazo cerrado durante el proceso de aprendizaje iterativo.
Se centran en el "arrepentimiento" (regret) sin analizar la estabilidad dinámica del sistema interconectado.

El objetivo es desarrollar un marco on-policy donde el control se aplica al sistema real mientras se optimiza simultáneamente, garantizando formalmente la estabilidad del sistema de lazo cerrado completo (optimización + aprendizaje + dinámica del sistema).

2. Metodología: Relearn LQR

Los autores proponen un algoritmo denominado Relearn LQR (REcursive LEARNing policy gradient for LQR). Este método integra tres procesos en un solo bucle de lazo cerrado:

Recolección de Datos On-Policy:
- Se aplica una política de retroalimentación actual $K_t$ al sistema real.
- Se inyecta una señal de ruido de exploración (dithering) $d_t$ (generada por un oscilador exógeno) para garantizar la persistencia de excitación (PE), necesaria para la identificación de parámetros.
- La entrada de control es $u_t = K_t x_t + d_t$ .
Proceso de Aprendizaje (Identificación):
- Se utiliza un mecanismo de Mínimos Cuadrados Recursivos (RLS) para estimar las matrices del sistema desconocido $\theta^\star = [A^\star \ B^\star]^\top$ .
- Las estimaciones $\theta_t$ (y por tanto $A_t, B_t$ ) se actualizan en tiempo real utilizando las muestras de estado y entrada $(x_t, u_t)$ obtenidas bajo la política actual.
Proceso de Optimización (Gradiente de Política):
- Se reformula el problema LQR como una búsqueda directa de la ganancia óptima $K$ .
- Se utiliza un método de descenso de gradiente para actualizar la ganancia $K_t$ .
- Dado que las matrices reales son desconocidas, el gradiente se calcula utilizando las matrices estimadas $\theta_t$ en lugar de $\theta^\star$ .

Estructura del Sistema:
El sistema global se modela como un sistema dinámico no lineal interconectado con dos escalas de tiempo:

Sistema Rápido: La dinámica del estado del sistema $x_t$ y las matrices de covarianza del RLS ( $H_t, S_t$ ).
Sistema Lento: La evolución de los parámetros estimados $\theta_t$ y la ganancia de control $K_t$ .

3. Contribuciones Clave

Certificado de Estabilidad Formal:
- La contribución principal es la demostración de la estabilidad exponencial del sistema de lazo cerrado completo.
- A diferencia de métodos que solo garantizan convergencia asintótica o acotación, este trabajo prueba que el sistema converge exponencialmente a un punto de equilibrio donde:
  - La política de retroalimentación es la solución óptima del LQR ( $K^\star$ ).
  - Las estimaciones de las matrices son exactas ( $\theta_t \to \theta^\star$ ).
  - El estado del sistema oscila alrededor del origen con una amplitud ajustable (debido a la señal de dithering).
Análisis Teórico Avanzado:
- Se emplea la teoría de promediado (averaging theory) y la separación de escalas de tiempo para sistemas no lineales.
- Se demuestra que, para un paso de gradiente suficientemente pequeño ( $\gamma$ ), la estabilidad del sistema "promediado" (auxiliar) implica la estabilidad exponencial del sistema original interconectado.
- Se establece que el algoritmo mantiene la estabilidad del sistema en todo momento, incluso durante la fase de aprendizaje.
Enfoque On-Policy Integrado:
- A diferencia de los enfoques clásicos que requieren reiniciar el sistema o separar fases de recolección y optimización, Relearn LQR opera de manera continua y en línea, adaptándose dinámicamente sin reinicios.
Adaptabilidad a Condiciones No Nominales:
- El marco teórico sugiere que el método puede adaptarse a sistemas con parámetros variables en el tiempo y perturbaciones, restaurando la optimalidad sin reiniciar el proceso.

4. Resultados y Simulaciones Numéricas

Los autores validan la propuesta mediante simulaciones en un problema de control de aeronaves (dinámica longitudinal de un avión altamente maniobrable):

Caso Estacionario: Se demuestra la convergencia exponencial tanto del error de coste como del error de estimación de parámetros hacia cero. El estado del sistema se estabiliza oscilando cerca del origen debido a la señal de exploración.
Caso con Parámetros Deslizantes (Drifting): Se simula un escenario donde las matrices del sistema cambian suavemente con el tiempo (usando una función sigmoide).
- El algoritmo logra rastrear tanto la ganancia óptima variable como los parámetros del sistema en tiempo real.
- Tras una transición temporal en el punto de inflexión del cambio de parámetros, el sistema recupera rápidamente la convergencia, demostrando su capacidad de adaptación dinámica.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre el control basado en datos y la teoría de estabilidad rigurosa.

Seguridad: Proporciona garantías formales de que el sistema no se volverá inestable durante el proceso de aprendizaje, lo cual es crítico para aplicaciones en robótica y aviación.
Eficiencia: Elimina la necesidad de fases de identificación offline o de reinicios frecuentes, permitiendo un aprendizaje continuo y en línea.
Marco Teórico: Establece un nuevo paradigma para analizar algoritmos de control adaptativo e interconectado, utilizando herramientas de sistemas dinámicos no lineales (teoría de promediado) para garantizar la estabilidad global.

En resumen, Relearn LQR es un algoritmo robusto que combina identificación recursiva y optimización de política, garantizando teóricamente y demostrando empíricamente la estabilidad y convergencia exponencial en sistemas lineales desconocidos.