Constrained Performance Boosting Control for Nonlinear Systems

Resumen Técnico: Control de Mejora de Rendimiento con Restricciones para Sistemas No Lineales

Planteamiento del Problema
El artículo aborda el desafío de diseñar controladores de alto rendimiento para sistemas no lineales estables sujetos a restricciones de estado y de entrada. Si bien los controladores de Redes Neuronales (NN) han demostrado un impresionante rendimiento empírico en la aproximación de políticas de retroalimentación complejas, a menudo carecen de garantías formales respecto a la estabilidad de lazo cerrado y la satisfacción de las restricciones. Los enfoques existentes para asegurar la estabilidad, como el Control de Modelo Interno (IMC) y las parametrizaciones de Youla no lineales, permiten una "estabilidad por diseño", pero típicamente tratan las restricciones como algo secundario, recurriendo a menudo a términos de penalización inspirados en barreras de forma ad-hoc en la función de pérdida. Estos métodos basados en penalizaciones requieren un ajuste delicado y no imponen las restricciones de manera sistemática, lo que puede derivar en violaciones excesivas de las restricciones o en un comportamiento excesivamente conservador. Por el contrario, los métodos de cumplimiento de restricciones en línea (por ejemplo, el Control de Modelo Predictivo, filtros de seguridad) introducen una complejidad computacional y capas arquitectónicas significativas. El problema central es desarrollar un procedimiento de entrenamiento fuera de línea (offline) que mejore el rendimiento preservando estrictamente la arquitectura de estabilidad por diseño y gestionando sistemáticamente las restricciones convexas de estado y de entrada sin modificar la estructura del controlador.

Metodología: ADMM-PB
Los autores proponen ADMM-PB (Alternating Direction Method of Multipliers for Performance Boosting), un procedimiento de aprendizaje que extiende el marco de Mejora de Rendimiento (PB) no restringido. La metodología se basa en los siguientes componentes clave:

1. Parametrización Estable por Diseño: El controlador está parametrizado como un operador neuronal estable $\mathcal{M}(\theta)$ (por ejemplo, una Red de Equilibrio Recurrente) dentro de la arquitectura IMC. Esto asegura que, para cualquier valor de parámetro $\theta$, el sistema de lazo cerrado resultante sea $\ell_p$-estable, independientemente de la convergencia del algoritmo de entrenamiento.
2. Reformulación del Problema: El problema de Control Óptimo No Lineal (NOC) de horizonte finito se reformula mediante la introducción de variables auxiliares (de copia) para las trayectorias de estado y de entrada ($X_p, U_p$). Esto desacopla la optimización de parámetros del cumplimiento de las restricciones.
3. División por ADMM (ADMM Splitting): El proceso de entrenamiento alterna entre dos pasos:
   • Actualización de Parámetros (paso $\theta$): Una actualización de descenso de gradiente de los parámetros del controlador. Este paso minimiza la pérdida de rendimiento más un término de penalización cuadrática que mide el desajuste entre las trayectorias de ejecución (rollout) generadas por $\theta$ y las variables de copia auxiliares. Crucialmente, este paso conserva la estructura exacta del entrenamiento PB original no restringido, sin requerir modificaciones a la arquitectura del controlador.
   • Paso de Proyección (paso $X_p, U_p$): Un paso de factibilidad donde las trayectorias auxiliares se proyectan sobre los conjuntos convexos de estados y entradas admisibles. Esta es una proyección euclidiana de forma cerrada que impone restricciones estrictas (hard constraints).
4. Actualización de la Variable Dual: Los multiplicadores de Lagrange se actualizan para impulsar los residuales primales (la diferencia entre las trayectorias de ejecución y las proyectadas) hacia cero.

Contribuciones Clave

• Gestión Sistemática de Restricciones: El artículo introduce un mecanismo sistemático para manejar restricciones convexas de estado y de entrada durante el entrenamiento fuera de línea de controladores neuronales, yendo más allá de la dependencia de términos de penalización suaves (soft penalties).
• Preservación de Garantías de Estabilidad: El método propuesto asegura que la garantía de estabilidad de lazo cerrado, inherente a la parametrización estable elegida, se preserve en cada iteración de la rutina de ADMM. Esta garantía es independiente de la convergencia del algoritmo ADMM o del criterio de terminación.
• Objetivos Desacoplados: El enfoque separa claramente el entrenamiento de parámetros orientado al rendimiento, el manejo de restricciones basado en proyecciones y la preservación de la estabilidad.
• Implementación Práctica: Los autores proporcionan directrices prácticas para el ajuste de hiperparámetros (tamaños de paso, criterios de terminación) y analizan la complejidad computacional, señalando que el costo adicional está dominado por el paso de proyección, el cual es lineal en las dimensiones de estado/entrada para conjuntos convexos simples.

Resultados
La efectividad de ADMM-PB se valida en dos ejemplos de referencia:

1. Robot de Masa Puntual: Un robot navegando en un plano 2D con un obstáculo circular y restricciones de velocidad. En comparación con un modelo base que utiliza penalizaciones suaves inspiradas en barreras, ADMM-PB logró violaciones de restricciones significativamente menores. Mientras que la base basada en penalizaciones podía lograr una convergencia más rápida al origen con pesos de penalización bajos, resultaba en altas violaciones de restricciones. ADMM-PB ofreció un mejor equilibrio, produciendo trayectorias más consistentes en diversos escenarios con menos violaciones, aunque con un comportamiento ligeramente más conservador. El método también demostró una dinámica de entrenamiento más suave en comparación con el enfoque basado en penalizaciones.
2. Sistema de Tres Tanques: Un ejemplo de control clásico utilizado para demostrar ADMM-PB como una capa de refinamiento. Partiendo de un controlador PB entrenado con penalizaciones suaves, se utilizó ADMM-PB para reducir aún más las violaciones de restricciones (específicamente en los límites de entrada y las variaciones de entrada) sin degradar el rendimiento del control. Esto confirmó la capacidad del método para refinar soluciones existentes sin alterar la arquitectura subyacente.

Significancia y Reivindicaciones
El artículo afirma que ADMM-PB proporciona una forma natural y efectiva de incorporar restricciones en el entrenamiento de controladores neuronales estables sin comprometer la propiedad de "estabilidad por diseño". Los autores enfatizan que, si bien el método mejora el cumplimiento de las restricciones y los equilibrios de rendimiento en comparación con los métodos basados en penalizaciones, no garantiza la optimalidad global ni el cumplimiento absoluto de las restricciones en la fase de prueba si las iteraciones de ADMM no convergen totalmente o si las perturbaciones tienen un soporte ilimitado. La garantía de estabilidad está estrictamente ligada a la parametrización del controlador, no a la convergencia del entrenamiento. El trabajo posiciona a ADMM-PB como una herramienta práctica de entrenamiento fuera de línea que cierra la brecha entre el control neuronal flexible y el manejo riguroso de restricciones, ofreciendo una alternativa estructurada al optimización en línea o a los diseños complejos basados en certificados. Los autores reconocen que las garantías de convergencia teórica para este entorno específico de ADMM no convexo y basado en ejecuciones (rollout) siguen siendo un área abierta para la investigación futura.