Safety-Constrained Optimal Control for Unknown System Dynamics

A continuación presento un resumen técnico detallado del artículo "Safety-Constrained Optimal Control for Unknown System Dynamics" (Control Óptimo con Restricciones de Seguridad para Dinámicas de Sistema Desconocidas), escrito por Panagiotis Kounatidis y Andreas A. Malikopoulos.

1. Planteamiento del Problema

El control óptimo tradicional busca derivar estrategias que minimicen una función de costo sujeta a las dinámicas físicas del sistema y restricciones de estado/control. Sin embargo, este enfoque asume un modelo perfecto de las dinámicas del sistema. En aplicaciones reales (como la conducción autónoma), los modelos precisos son costosos o imposibles de obtener, lo que obliga a utilizar modelos aproximados (gemelos digitales o proxies).

El problema central abordado en este trabajo es:

• ¿Bajo qué condiciones una política de control derivada de un modelo aproximado sigue siendo óptima para el sistema real (planta), a pesar de la discrepancia en las dinámicas?
• El problema debe resolver esto considerando restricciones de seguridad (que involucran tanto el estado como la entrada de control) y dinámicas desconocidas.

La dificultad radica en que la discrepancia entre el modelo y la planta suele degradar el rendimiento y comprometer la robustez del sistema en lazo cerrado.

2. Metodología

Los autores proponen un marco teórico que combina el Principio del Mínimo de Pontryagin (PMP) con una estrategia de control penalizado basado en modelos.

A. Formulación del Problema

1. Sistema Real (Planta): Se define por dinámicas desconocidas $\dot{\hat{x}} = \hat{f}(t, \hat{x}, u)$ y restricciones de seguridad $c(t, \hat{x}, u) \leq 0$. El objetivo es minimizar un costo $J_{act}$.
2. Problema de Sustituto Basado en Modelo: Dado que $\hat{f}$ es desconocido, se utiliza un modelo conocido $\dot{x} = f(t, x, u)$.
   • Se introduce un término de penalización en la función de costo que cuantifica la discrepancia entre el estado del modelo $x(t)$ y el estado observado de la planta $\hat{x}(t)$.
   • La nueva función de costo es:
     $$J_{mod} = \int_0^T \left[ \ell(t, x, u) + \beta(t)\|x(t) - \hat{x}(t)\|^2 \right] dt + \phi(x(T))$$
   • Donde $\beta(t)$ es una función de ponderación temporal.

B. Análisis Hamiltoniano

Se aplican las condiciones de optimalidad de PMP tanto para el problema real como para el problema penalizado basado en modelos:

• Se definen los funcionales Hamiltonianos $\hat{H}$ (planta) y $H$ (modelo).
• Un hallazgo crucial es que el término de penalización $\beta\|x - \hat{x}\|^2$ no depende explícitamente de la entrada de control $u$. Por lo tanto, no afecta directamente a la minimización puntual del Hamiltoniano con respecto a $u$, aunque sí influye en la evolución de los estados y los coestados (multiplicadores de Lagrange).

C. Condiciones de Equivalencia

El núcleo teórico del artículo establece las condiciones bajo las cuales el controlador basado en el modelo coincide con el óptimo real:

• Teorema de Equivalencia: Si los minimizadores del Hamiltoniano restringido (sujeto a las restricciones de seguridad) son los mismos para ambos problemas, entonces las trayectorias de control óptimo coinciden, incluso si las dinámicas subyacentes son diferentes.
• Condiciones Suficientes (Caso Cuadrático): Para costos de esfuerzo de control cuadráticos y dinámicas con crecimiento lineal, se demuestra que la equivalencia se garantiza si:
  1. Los estados del modelo y la planta están alineados ($x(t) = \hat{x}(t)$).
  2. Los gradientes de los Hamiltonianos con respecto al control coinciden en el punto de minimización.
  3. Esto ocurre cuando las estructuras de las dinámicas y las restricciones permiten que las condiciones de Karush-Kuhn-Tucker (KKT) o las condiciones de subdiferencial coincidan, independientemente de los parámetros exactos de la dinámica.

3. Contribuciones Clave

1. Extensión a Restricciones de Seguridad: A diferencia de trabajos anteriores que se centraban en sistemas lineales o sin restricciones, este marco integra explícitamente restricciones de seguridad en el estado y el control.
2. Desacoplamiento de la Identificación del Modelo: Se demuestra que no es necesario identificar con precisión los parámetros del sistema para lograr control óptimo. Lo crítico es preservar las propiedades estructurales que determinan la minimización del Hamiltoniano.
3. Validación Experimental en Hardware: El marco no es solo teórico; se validó en un banco de pruebas robótico real utilizando robots LIMO en un escenario de control de crucero (cruise control) con restricciones de distancia de seguridad.

4. Resultados Experimentales

Los autores implementaron el controlador en robots LIMO ROS 2:

• Escenario: Un robot "ego" controlado debe seguir a un robot frontal a una velocidad de referencia, manteniendo una distancia de seguridad mínima.
• Discrepancia de Modelo: El controlador utilizó un modelo con parámetros de dinámica (ganancia de actuación y constante de tiempo) diferentes a los reales del robot físico.
• Hallazgos:
  • A pesar de que los gradientes de los Hamiltonianos ($\nabla_u \hat{H}$ y $\nabla_u H$) eran diferentes debido a la mala modelización, los minimizadores restringidos (la solución proyectada sobre el conjunto de controles admisibles) coincidieron.
  • Las trayectorias de posición y los inputs de control generados por el modelo penalizado fueron idénticos a los generados por el controlador óptimo real (que conocía las dinámicas exactas).
  • Esto confirma que el término de penalización corrigió la evolución de los estados y coestados lo suficiente como para que la decisión de control final fuera óptima.

5. Significado e Impacto

Este trabajo ofrece un cambio de paradigma en el control basado en aprendizaje y sistemas de dinámica desconocida:

• Justificación Teórica para Gemelos Digitales: Explica por qué los gemelos digitales imperfectos pueden generar estrategias de control óptimas en la práctica. No se necesita un modelo perfecto, sino un modelo que preserve la estructura de la minimización del Hamiltoniano.
• Enfoque en Estructura vs. Precisión: Sugiere que los esfuerzos de aprendizaje (RL, identificación de sistemas) deberían centrarse en preservar las propiedades estructurales que garantizan la equivalencia de los minimizadores, en lugar de buscar una identificación exacta de parámetros.
• Robustez: Proporciona un marco riguroso para diseñar controladores que sean robustos frente a la incertidumbre del modelo, asegurando el cumplimiento de restricciones de seguridad críticas.

En resumen, el paper demuestra que mediante una penalización adecuada de la discrepancia estado-modelo, es posible lograr control óptimo con restricciones de seguridad utilizando modelos aproximados, siempre que se cumplan ciertas condiciones estructurales en la minimización del Hamiltoniano.