Resumen Técnico: Exploración Segura para Procesos No Lineales Mediante Aprendizaje en Línea con Procesos Gaussianos

Planteamiento del Problema

El artículo aborda el desafío de controlar sistemas no lineales con dinámicas parcialmente conocidas en aplicaciones críticas para la seguridad (por ejemplo, robótica, aeroespacial, industrias de procesos). Si bien los métodos basados en datos, como el aprendizaje por refuerzo, ofrecen adaptabilidad, a menudo carecen de garantías estrictas sobre la estabilidad y el cumplimiento de restricciones durante la fase de exploración. Los enfoques existentes de aprendizaje seguro dependen frecuentemente de suposiciones idealizadas, como el conocimiento completo de las dinámicas no lineales o sobreaproximaciones conservadoras de Lipschitz de la incertidumbre, lo que limita su aplicabilidad práctica.

El problema específico abordado es diseñar un marco de control que garantice la exploración segura para sistemas no lineales donde:

1. Solo se conoce una aproximación lineal estabilizable del proceso.
2. Las dinámicas no lineales no modeladas (residuos) deben aprenderse en línea.
3. El sistema debe satisfacer las restricciones de estado y entrada con alta probabilidad a lo largo del proceso de aprendizaje.

Metodología

El marco propuesto integra la regresión con Procesos Gaussianos (GP), la teoría de estabilidad de Lyapunov y la optimización convexa para lograr una exploración segura e informativa.

1. Descomposición del Sistema y Modelado con GP

Las dinámicas del sistema se modelan como un sistema no lineal afín al control:
$$\dot{x} = Ax + Bu + g(x)$$
donde $(A, B)$ es una linealización conocida y estabilizable, y $g(x)$ es un residuo suave desconocido. El residuo $g(x)$ se modela en línea utilizando un Proceso Gaussiano. A medida que se recopilan datos, el GP proporciona una media posterior $\mu_t(x)$ y una desviación estándar $\sigma_t(x)$. Se construye un envolvente de confianza de alta probabilidad tal que:
$$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$$
con probabilidad $1-\delta$, donde $\beta_t$ es un parámetro de confianza variable en el tiempo derivado de programas GP-UCB de muestras finitas.

2. Conjuntos de Control Invariante Probabilísticos (PCIS)

La seguridad se impone mediante un Conjunto de Control Invariante Probabilístico (PCIS) derivado de una Función de Lyapunov de Control (CLF), $V(x) = x^\top P x$. El PCIS se define como el conjunto de estados donde existe una entrada de control que garantiza que la función de Lyapunov disminuya, incluso bajo la peor incertidumbre del GP dentro del envolvente de confianza.
La condición para el conjunto $S_t$ es:
$$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$$
Esta construcción garantiza que si el sistema comienza dentro del PCIS, permanece allí con alta probabilidad ($1-\delta$), asegurando la factibilidad recursiva de las restricciones.

3. Controlador Basado en Optimización

En cada paso de tiempo, el controlador resuelve un Programa Cuadrático Convexo (QP) para determinar la entrada de control $u$. El objetivo es maximizar la ganancia de información (fomentando la excitación en direcciones de alta incertidumbre) mientras se adhiere estrictamente a las restricciones de seguridad.
El QP minimiza la desviación de un controlador estabilizador nominal $u_{lin}$:
$$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$$
sujeto a la condición de disminución de Lyapunov (incorporando el límite de incertidumbre del GP) y a las restricciones de entrada. Una variable de holgura $s$ asegura la factibilidad, penalizada por $\rho$ para priorizar la seguridad.

4. Expansión Adaptativa

A medida que el GP aprende las dinámicas residuales, la incertidumbre $\sigma_t(x)$ disminuye. Esta reducción permite que el PCIS se expanda de forma adaptativa, desbloqueando regiones de exploración progresivamente más ricas sin violar las garantías de seguridad.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Descomposición Nominal-Residual: Un marco que combina un modelo lineal conocido con un residuo de GP en línea, permitiendo el aprendizaje seguro de no linealidades desconocidas sin requerir conocimiento completo del modelo.
2. Construcción de PCIS Basada en Lyapunov: Un método para construir conjuntos invariantes probabilísticos que incorporan la incertidumbre del GP, proporcionando garantías probabilísticas de muestras finitas para la estabilidad y el cumplimiento de restricciones.
3. Controlador Basado en Optimización: Un controlador en tiempo real que resuelve un QP convexo en cada paso para equilibrar la ganancia de información (exploración) con garantías estrictas de seguridad (disminución de CLF), evitando el conservadurismo de la propagación de incertidumbre de múltiples pasos encontrada en otras formulaciones de MPC Seguro.

Resultados Experimentales

El marco se validó en dos puntos de referencia: un sistema polinomial 2D y un proceso de nivel de agua de tres tanques MIMO.

Sistema Polinomial 2D

• Rendimiento de Aprendizaje: El modelo GP logró mejoras significativas en precisión (RMSE reducido de ~1.11 a ~0.03) a lo largo de 12 iteraciones.
• Calibración de Incertidumbre: La cobertura empírica de los intervalos de confianza del 95% mejoró del 37% al 100% después de la calibración, asegurando que los certificados de seguridad fueran fiables.
• Seguridad: El controlador GP-PCIS propuesto mantuvo todas las trayectorias dentro del conjunto seguro certificado sin ninguna violación de restricciones. Por el contrario, una línea base insegura (LQR sin capas de seguridad) violó las restricciones de estado.
• Expansión del Conjunto: El volumen del conjunto seguro certificado se expandió aproximadamente un 27.7% a medida que disminuyó la incertidumbre, demostrando la naturaleza adaptativa del marco.

Proceso de Nivel de Agua de Tres Tanques

• Complejidad: Este sistema acoplado MIMO puso a prueba la escalabilidad y la factibilidad en tiempo real del marco.
• GP Esparsos vs. Exactos: Se demostró que las aproximaciones de GP esparsos (usando puntos de inducción) son viables, ofreciendo tiempos de inferencia >1000 veces más rápidos en comparación con los GP exactos, manteniendo una cobertura casi nominal (~94.5%) y un RMSE aceptable.
• Seguridad: En un horizonte de identificación de 2000 segundos, el marco logró cero violaciones de las restricciones de nivel de agua (45%–87%), mientras que una línea base insegura bajó brevemente por debajo del límite inferior.
• Rendimiento en Tiempo Real: Los tiempos medianos de resolución del QP por paso estuvieron en el rango de milisegundos, confirmando la factibilidad para la implementación en tiempo real.

Significado y Afirmaciones

El artículo afirma proporcionar un marco unificado e implementable para la exploración segura en sistemas no lineales parcialmente conocidos. Su importancia radica en:

• Equilibrar la Tractabilidad y el Conservadurismo: A diferencia de las formulaciones de MPC Seguro de múltiples pasos que pueden volverse excesivamente conservadoras, este enfoque impone una disminución de Lyapunov de un solo paso con límites de confianza del GP, resultando en un QP convexo sin explosión de incertidumbre de múltiples pasos.
• Practicidad: Solo requiere un modelo lineal estabilizable (común en la práctica) en lugar de dinámicas no lineales exactas, haciéndolo aplicable a sistemas del mundo real donde los efectos no modelados deben aprenderse en línea.
• Garantías Teóricas: Ofrece garantías probabilísticas de seguridad de muestras finitas, asegurando que el sistema permanezca estable y dentro de las restricciones con alta probabilidad, incluso durante la fase de aprendizaje activo.

Los autores reconocen limitaciones, incluido el conservadurismo de los límites de peor caso de un solo paso y la escalación cúbica del entrenamiento de GP exactos, sugiriendo trabajo futuro sobre restricciones de probabilidad de múltiples pasos y actualizaciones de GP esparsos para tareas de mayor dimensión. Sin embargo, los resultados demuestran que el método propuesto permite eficazmente una exploración informativa mientras se adhiere estrictamente a las restricciones de seguridad.