Resumen Técnico: Del Aprendizaje a la Seguridad: Un Marco de Control Restringido Directo Basado en Datos

1. Planteamiento del Problema

El artículo aborda el desafío crítico de garantizar la seguridad (satisfacción de restricciones) en sistemas de control basados en aprendizaje, particularmente en entornos libres de modelo (model-free) donde la dinámica explícita del sistema no está disponible. Aunque los filtros de seguridad tradicionales (por ejemplo, Funciones de Barrera de Control o CBF) imponen la seguridad de manera efectiva en contextos basados en modelos mediante la modificación de las entradas de control, estos dependen típicamente de modelos predictivos derivados de la física o de datos. Esta dependencia crea una brecha: los filtros de seguridad basados en datos existentes son mayoritariamente "indirectos", lo que requiere primero la identificación del sistema, lo cual acumula errores y degrada el rendimiento de la seguridad. Además, los métodos directos basados en datos suelen estar limitados a restricciones lineales o carecen de garantías formales de seguridad.

El problema central es diseñar un marco de control que:

1. Opere directamente a partir de datos de transición de estado sin identificación de sistema explícita.
2. Se integre perfectamente con algoritmos de aprendizaje libres de modelo (por ejemplo, Aprendizaje por Refuerzo, Aprendizaje Supervisado) para optimizar el rendimiento.
3. Proporcione garantías formales de seguridad y factibilidad recursiva, incluso en presencia de imprecisiones en el aprendizaje.

2. Metodología

La solución propuesta es un marco de control basado en optimización que desacopla la optimización del rendimiento de la imposición de la seguridad. El marco se basa en un nuevo certificado de seguridad llamado Función de Barrera de Control de Estado-Acción (SACBF).

A. Concepto Central: Función de Barrera de Control de Estado-Acción (SACBF)

A diferencia de las CBF clásicas, que evalúan la seguridad únicamente basándose en el estado $x$, la SACBF, denotada como $Q_B(x, u)$, es una función de tanto el estado como la entrada de control.

• Definición: Una función $Q_B$ es una SACBF si su conjunto de subnivel cero define un conjunto seguro $S_Q$ tal que, para cualquier estado en $S_Q$, existe una entrada que satisface $Q_B(x, u) \leq 0$ que mantiene el siguiente estado dentro de $S_Q$.
• Ventaja: Esta formulación permite al filtro de seguridad evaluar la seguridad de una acción de control candidata directamente en el par estado-acción actual sin propagar la dinámica hacia adelante ni requerir un modelo $f(x, u)$.

B. El Marco de Control

La política de control $\pi(x)$ se define como la solución a un problema de optimización restringido:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{sujeto a} \quad Q_B(x, u) \leq 0$$
Aquí, $Q(x, u)$ es una función objetivo (aprendida mediante RL o SL) que representa el rendimiento de la tarea, y $Q_B(x, u)$ es la SACBF aprendida que actúa como la restricción de seguridad.

C. Aprendizaje de SACBFs

El artículo propone tres métodos distintos de síntesis basados en datos para $Q_B$:

1. Aprendizaje por Refuerzo (RL): Trata la síntesis de la SACBF como un problema de alcanzabilidad. Adapta los métodos de RL basados en valores (como el aprendizaje de Diferencia Temporal) para aproximar la función de valor óptima de un problema de alcanzabilidad. Nota: Este método carece de garantías formales de convergencia para el certificado de seguridad debido a la naturaleza no contractiva de la ecuación de Bellman sin descuento en la alcanzabilidad.
2. Aprendizaje Guiado por Expertos: Asume la disponibilidad de un controlador experto seguro (por ejemplo, Campos de Potencial Artificial). Formula la síntesis como un problema de optimización robusta para encontrar una SACBF que sea consistente con las trayectorias seguras del experto.
3. Aprendizaje Supervisado (SL): Asume que ya se conoce una CBF clásica válida $B(x)$. Utiliza regresión supervisada para aprender el mapeo de pares estado-acción al valor de la SACBF, derivado de la CBF conocida.

D. Análisis de Robustez: Seguridad de Error-al-Estado (ESSf)

Para abordar los errores de aprendizaje (donde la $Q_B^\omega$ aprendida se desvía de la verdadera $Q_B$), los autores introducen un marco de Seguridad de Error-al-Estado (ESSf).

• Mecanismo: En lugar de depender de la predicción basada en modelos, el marco cuantifica el impacto de los errores de aprendizaje ($\epsilon$) directamente sobre las restricciones de seguridad.
• Estrategia: Emplea un enfoque de estrechamiento y relajación de restricciones:
  • Estrecha las restricciones de estado originales ($h(x) \leq 0$) a $h(x) + \delta(\epsilon) \leq 0$.
  • Relaja la restricción de la SACBF en el filtro a $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• Resultado: Los Teoremas 1 y 2 proporcionan relaciones de forma cerrada que muestran que, si el error de aprendizaje está acotado, el sistema permanece recursivamente factible y seguro dentro de las restricciones de estado estrechadas.

E. Refinamiento de la Política

Una vez que se aprende una SACBF válida, el marco extiende los algoritmos de RL no restringidos basados en valores (como la Iteración Q Ajustada o Fitted Q Iteration) al entorno restringido. El algoritmo (FQI Restringido) actualiza iterativamente la función de objetivo de rendimiento $Q_\theta$ mientras impone la restricción de la SACBF aprendida, asegurando que la política resultante sea cercana a la óptima para la tarea mientras satisface la seguridad.

3. Contribuciones Clave

1. Marco de Control Seguro Directo Basado en Datos: El artículo propone un marco que aprende controladores seguros directamente de los datos sin identificación de sistemas, cerrando la brecha entre el aprendizaje libre de modelo y el control restringido.
2. Funciones de Barrera de Control de Estado-Acción (SACBF): Introduce y utiliza las SACBF, que evalúan la seguridad en pares estado-acción, permitiendo filtros de seguridad que no requieren modelos de dinámica explícitos.
3. Tres Esquemas de Síntesis: Presenta tres métodos para aprender SACBFs: mediante RL (general pero con menos garantías), mediante demostraciones de expertos (robusto) y mediante aprendizaje supervisado de CBFs conocidas (eficiente en muestras).
4. Análisis de Seguridad de Error-al-Estado (ESSf): Proporciona un novedoso marco de análisis de robustez que cuantifica cómo los errores de aprendizaje afectan la seguridad, ofreciando garantías formales mediante el estrechamiento de restricciones de estado y la relajación de la restricción de la SACBF.
5. Optimización Desacoplada: El marco separa el aprendizaje del rendimiento (optimización de $Q$) de la imposición de la seguridad (optimización de $Q_B$), permitiendo la integración de diversos algoritmos de aprendizaje mientras se mantiene la seguridad.

4. Resultados

El marco fue validado mediante simulaciones en un vehículo autónomo moviéndose en un espacio 2D con obstáculos.

• Configuración del Caso de Estudio: Se utilizó un modelo de vehículo cinemático con restricciones de estado y entrada; la SACBF se aprendió utilizando tanto el enfoque guiado por expertos (usando Campos de Potencial Artificial como experto) como el enfoque de RL.
• Desempeño de Seguridad:
  • El 3DSF (Filtro de Seguridad Directo Basado en Datos) propuesto logró una tasa de seguridad del 100% a través de diversas condiciones iniciales y políticas de referencia (tanto APF inseguro como DDPG inseguro).
  • En contraste, los Filtros de Seguridad Indirectos Basados en Datos (que dependen de un modelo aprendido) lograron tasas de seguridad menores (aprox. 79% para APF inseguro), debido a la acumulación de errores de identificación del modelo y de aprendizaje de la CBF.
  • El MPC (Control Predictivo basado en Modelo) logró un 100% de seguridad pero sufrió de un pobre desempeño de la tarea (solo ~78% de las trayectorias alcanzaron el objetivo) debido a problemas de optimización no convexos y alto costo computacional.
• Desempeño de la Tarea:
  • El algoritmo FQI Restringido (aprendizaje de $Q$ con restricciones de SACBF) logró un costo total de 173.85, superando a las políticas DDPG seguras e inseguras filtradas por 3DSF. Esto demuestra que incorporar restricciones de seguridad directamente en el proceso de entrenamiento de RL mejora el desempeño de la tarea en comparación con el filtrado post-hoc o el modelado de recompensas (reward shaping).
• Eficiencia Computacional: El 3DSF demostró tiempos de CPU en línea significativamente menores (aprox. 2.2 ms) en comparación con el MPC (aprox. 33 ms), lo que lo hace adecuado para aplicaciones en tiempo real.

5. Significación y Reivindicaciones

El artículo afirma ofrecer un avance modesto pero riguroso en el control seguro basado en aprendizaje:

• Cerrando la Brecha: Logra cerrar la brecha entre el aprendizaje libre de modelo y el control restringido al eliminar la dependencia de modelos explícitos del sistema para la imposición de la seguridad.
• Garantías Formales sin Modelos: Proporciona garantías formales de seguridad (factibilidad recursiva y satisfacción de restricciones) incluso cuando la dinámica del sistema es desconocida, siempre que los errores de aprendizaje estén acotados.
• Superioridad sobre Métodos Indirectos: Los resultados sugieren que los enfoques directos basados en datos evitan la acumulación de errores inherente a los métodos indirectos (identificación de modelo + aprendizaje del controlador), lo que conduce a mejores tasas de seguridad.
• Flexibilidad: El marco es compatible con una amplia gama de algoritmos de aprendizaje existentes (RL, SL) y puede actualizarse en línea.

Limitaciones Reconocidas:

• El método requiere muestreo en el espacio estado-acción, lo que aumenta la complejidad de muestreo en comparación con los métodos de solo estado.
• Las restricciones de seguridad pueden ser violadas durante la fase de recolección de datos para el entrenamiento, lo que puede no ser adecuado para sistemas del mundo real donde la seguridad es primordial en todo momento (aunque los simuladores pueden mitigar esto).
• La síntesis de SACBFs mediante RL carece de garantías formales de convergencia para el propio certificado de seguridad debido a la naturaleza del problema de alcanzabilidad.
• El trabajo actual se centra en sistemas de tiempo discreto; la extensión a sistemas de tiempo continuo es un trabajo futuro.