Simultaneous Online System Identification and Control using Composite Adaptive Lyapunov-Based Deep Neural Networks

Resumen Técnico: Identificación de Sistemas en Línea Simultánea y Control utilizando Redes Neuronales Profundas Basadas en Lyapunov Compuestas

Formulación del Problema
Los controladores basados en redes neuronales profundas (DNN) se utilizan ampliamente para sistemas dinámicos no lineales inciertos, sin embargo, los enfoques tradicionales dependen típicamente de un entrenamiento previo fuera de línea. En estos escenarios, los pesos de la DNN permanecen fijos durante la ejecución, lo que limita la adaptabilidad y genera preocupaciones sobre la fiabilidad del modelo al operar fuera del conjunto de datos de entrenamiento. Aunque los métodos recientes de control adaptativo basados en Lyapunov (Lb) permiten actualizaciones de pesos en línea para garantizar el seguimiento de trayectorias, dependen exclusivamente de la retroalimentación del error de seguimiento. En consecuencia, estos métodos garantizan la convergencia del error de seguimiento, pero no proporcionan garantías sobre la identificación del sistema (estimación de parámetros). Sin una identificación precisa, la DNN no puede generalizar a trayectorias no exploradas y el controlador no puede compensar eficazmente las incertidumbres durante la pérdida intermitente de retroalimentación de estado. Además, extender las leyes de adaptación compuesta —que combinan errores de seguimiento y de predicción— a las DNN es técnicamente desafiante debido a la estructura de no linealidad en los parámetros (NIP) de las DNN, donde los pesos de las capas internas están incrustados dentro de funciones de activación no lineales anidadas.

Metodología
El artículo propone un controlador Lb-DNN adaptativo compuesto que realiza simultáneamente la identificación de sistemas en línea y el seguimiento de trayectorias para sistemas no lineales de segundo orden. La metodología central involucra los siguientes componentes:

1. Observador Dinámico de Derivadas de Estado: Para abordar la dificultad de obtener el error de predicción (la discrepancia entre la dinámica real y la estimación de la DNN) sin acceso directo a la derivada de estado desconocida, se diseña un observador dinámico de derivadas de estado. Este observador estima la función de deriva $f(x, \dot{x})$ utilizando las mediciones de estado disponibles y la entrada de control, eliminando efectivamente la necesidad de la derivada de estado desconocida en la ley de adaptación.
2. Ley de Adaptación Compuesta: Se construye una nueva formulación de error de predicción utilizando la estimación de la deriva del observador. Este error de predicción se combina con el error de seguimiento para formar una ley de adaptación compuesta basada en mínimos cuadrados.
3. Manejo de la Estructura NIP: Para superar los desafíos planteados por la estructura NIP anidada de las DNN, la ley de adaptación utiliza el jacobiano de la DNN con respecto a sus pesos. Se aplica una expansión en serie de Taylor de primer orden a la salida de la DNN para expresar el error de predicción en términos del error de estimación de parámetros, lo que permite formular la ley de adaptación a pesar de la no linealidad.
4. Análisis de Estabilidad: Se realiza un análisis de estabilidad combinado basado en Lyapunov. El análisis incorpora el error de seguimiento, el error de estimación de derivadas de estado y los errores de estimación de los pesos de la DNN. Utiliza un operador de proyección para garantizar que las estimaciones de parámetros permanezcan dentro de un conjunto acotado y emplea una matriz de ganancia de mínimos cuadrados variable en el tiempo con un factor de olvido.

Contribuciones Clave
El artículo afirma las siguientes contribuciones principales:

• Primer Resultado sobre Identificación y Control Simultáneos: Este trabajo presenta el primer resultado que logra la identificación de sistemas en línea simultánea y el seguimiento de trayectorias para sistemas no lineales utilizando actualizaciones en línea para todas las capas de una DNN.
• Formulación Novel de Error de Predicción: El desarrollo de un error de predicción basado en un observador dinámico de derivadas de estado, que se integra con el error de seguimiento para construir una ley de adaptación compuesta adecuada para incertidumbres NIP.
• Garantías de Estabilidad: El análisis demuestra que el error de seguimiento, el error de estimación de derivadas de estado y los errores de estimación de los pesos de la DNN están uniformemente acotados en última instancia (UUB).
• Convergencia Exponencial bajo PE: Bajo la condición de persistencia de excitación (PE), se muestra que los errores de seguimiento y de estimación de pesos convergen exponencialmente a una vecindad del origen. El tamaño de esta vecindad y la tasa de convergencia dependen de las ganancias de control y del factor PE.
• Generalización para Retroalimentación Intermitente: Al lograr una identificación precisa del sistema, el modelo DNN identificado puede propagarse hacia adelante en el tiempo para predecir y compensar dinámicas inciertas durante la pérdida intermitente de retroalimentación de estado, siempre que se cumplan condiciones suficientes de tiempo de permanencia.

Resultados
Se realizaron simulaciones comparativas en dos sistemas: un manipulador robótico de dos enlaces y un vehículo submarino no tripulado (UUV).

• Manipulador Robótico: El controlador Lb-DNN adaptativo compuesto desarrollado demostró mejoras significativas en el rendimiento en comparación con un controlador Lb-DNN adaptativo basado en error de seguimiento, un controlador de rechazo de perturbaciones basado en observador, un controlador PD no lineal y un control predictivo por modelo no lineal (MPC). Específicamente, el método compuesto redujo el error cuadrático medio (RMS) de seguimiento en aproximadamente un 50% en comparación con la línea base basada en error de seguimiento y logró una mejora del 72% en el error medio de aproximación de funciones en un conjunto de datos de prueba, lo que indica una superioridad en la generalización. El esfuerzo de control fue comparable o inferior al de las líneas base.
• Vehículo Submarino No Tripulado (UUV): En simulaciones que involucraron pérdida intermitente de retroalimentación de estado, el controlador Lb-DNN adaptativo compuesto mantuvo un rendimiento de seguimiento superior en comparación con todas las líneas base. Mientras que las predicciones del método basado en error de seguimiento divergieron rápidamente durante la pérdida de retroalimentación debido a la falta de garantías de estimación de parámetros, el método compuesto predijo y compensó con éxito las dinámicas de deriva. El enfoque basado en observador funcionó de manera comparable cuando la retroalimentación estaba disponible, pero se degradó significativamente durante la pérdida de retroalimentación y requirió un mayor esfuerzo de control.

Significado
El artículo afirma que este trabajo proporciona un paso fundamental hacia el control adaptativo robusto donde el controlador no solo sigue una trayectoria, sino que también aprende las dinámicas subyacentes del sistema. Al garantizar la estimación de parámetros, el modelo identificado gana la capacidad de generalizar más allá de la trayectoria explorada. Esta capacidad es crítica para aplicaciones de seguridad crítica que involucran fallos intermitentes de sensores, donde el sistema debe confiar en un modelo interno para mantener la estabilidad. Los resultados demuestran que integrar la identificación de sistemas directamente en el bucle de control mediante adaptación compuesta produce beneficios tangibles en el rendimiento tanto en precisión de seguimiento como en compensación dinámica en comparación con métodos que se enfocan únicamente en la minimización del error de seguimiento.