Resumen Técnico: Filtros de Seguridad Predictivos Conscientes de la Incertidumbre para la Dinámica de Redes Neuronales Probabilísticas

Planteamiento del Problema

El Aprendizaje por Refuerzo Profundo (RL) enfrenta desafíos significativos con respecto a la seguridad en la exploración. Aunque los Filtros de Seguridad Predictivos (PSF) ofrecen garantías de seguridad rigurosas aprovechando los conceptos de Control Predictivo basado en Modelo (MPC), su aplicabilidad práctica suele verse limitada por su dependencia de modelos basados en principios fundamentales o Procesos Gaussianos (GP). Estas clases de modelos tradicionales o bien demandan un conocimiento previo sustancial del dominio, o bien no logran escalar eficazmente con grandes conjuntos de datos y sistemas de alta dimensión. Por el contrario, los métodos modernos de Aprendizaje por Refuerzo Basado en Modelo (MBRL) utilizan Redes Neuronales de Ensamble Probabilístico (PE) para aprender dinámicas complejas y de alta dimensión a partir de datos con un conocimiento previo mínimo. Sin embargo, los intentos existentes de integrar modelos PE en los PSF carecen de una cuantificación de la incertidumbre rigurosa, lo que conduce a verificaciones de seguridad heurísticas que son propensas a la explotación del modelo bajo una alta incertidumbre epistémica.

Metodología

Los autores proponen el Filtro de Seguridad Predictivo Consciente de la Incertidumbre (UPSi), un marco que tiende un puente entre la escalabilidad de los MBRL basados en PE y las garantías de seguridad rigurosas del MPC. UPSi opera dentro de una arquitectura MBRL de estilo Dyna (por ejemplo, MBPO) y formula los resultados futuros como conjuntos alcanzables para imponer la satisfacción de restricciones.

Componentes Principales

1. Ensamble de Dinámica Probabilística: UPSi utiliza un modelo PE que consiste en $E$ redes neuronales para aproximar la dinámica del sistema. El modelo separa la incertidumbre aleatoria (ruido de proceso irreducible) de la incertidumbre epistémica (falta de datos) mediante el desacuerdo del ensamble.
2. Conjunto de Certeza ($C_j$): Para prevenir la explotación del modelo, UPSi define un "conjunto de certeza" $C_j \subseteq S \times A$. Dentro de este conjunto, la incertidumbre predictiva del modelo es suficientemente baja. El conjunto se determina utilizando una métrica de ganancia de Kalman derivada de los principios de fusión de sensores, asegurando que las predicciones solo se confíen donde el modelo tiene un soporte de datos suficiente.
3. Construcción del Conjunto Alcanzable:
   • El método sobreaproxima los Conjuntos Alcanzables Robustos (RRS) utilizando tubos elipsoidales propagados a lo largo de una trayectoria nominal.
   • La matriz de forma del tubo $P_{n|t}$ se actualiza propagando la varianza aleatoria y contabilizando los errores de linealización.
   • Crucialmente, los autores derivan un límite superior riguroso sobre el error de linealización ($e_{max}$) causado por la aproximación de la dinámica no lineal mediante expansiones de Taylor de primer orden. Este error se añade explícitamente a la propagación de la matriz de forma para asegurar que el conjunto alcanzable sea una sobreaproximación válida del comportamiento real del sistema.
4. Formulación del Filtro de Seguridad: El filtro de seguridad resuelve un problema de optimización restringida en cada paso de tiempo. Busca una secuencia de acciones que minimice la desviación de la acción propuesta por el agente de RL mientras satisface:
   • Restricciones de estado y de entrada ($S, A$).
   • Restricciones de conjunto terminal ($T_j$).
   • Restricciones de Certeza: Todos los pares estado-acción predichos a lo largo de la trayectoria deben permanecer dentro del conjunto de certeza $C_j$. Esto se impone mediante el endurecimiento de las restricciones basado en la continuidad de Lipschitz de la medida de incertidumbre.
5. Expansión del Conjunto Terminal: Para reducir el conservadurismo, el conjunto terminal $T_j$ se expande iterativamente utilizando un enfoque basado en datos. Se utilizan trayectorias factibles de episodios previos para aproximar un conjunto controlable más grande, permitiendo al agente explorar más lejos manteniendo la seguridad.

Contribuciones Clave

El artículo presenta tres contribuciones primarias:

1. Conjuntos Alcanzables Rigurosos a partir de Modelos PE: Los autores derivan un método para calcular conjuntos alcanzables que sobreaproximan de manera demostrable a partir de modelos de redes neuronales probabilísticas. Esto implica separar la incertidumbre aleatoria de la epistémica y acotar explícitamente los errores de linealización para asegurar que los conjuntos computados contengan todas las trayectorias posibles del sistema.
2. Restricción de Certeza Explícita: Se introduce una restricción novedosa en la formulación del PSF que evita que el agente explote las imprecisiones del modelo. Al restringir el horizonte de planificación al "conjunto de certeza", el filtro garantiza la seguridad incluso cuando el modelo es incierto.
3. Validación Empírica e Integración Práctica: Los autores validan la sobreaproximación teórica e integran una versión simplificada de UPSi en el marco MBPO. Demuestran que este enfoque mejora significativamente la seguridad de la exploración en comparación con los PSFs previos basados en redes neuronales (específicamente XMPSC), manteniendo un rendimiento comparable al MBPO estándar.

Resultados Experimentales

La evaluación se realizó en tres entornos estándar de RL seguro: Pendulum, Cartpole y Drone.

• Verificación del Conjunto Alcanzable: En el entorno Cartpole, se demostró que la construcción de tubos elipsoidales propuesta sobreaproxima consistentemente los conjuntos alcanzables reales (verificado mediante 100,000 trayectorias simuladas), confirmando los límites teóricos.
• Desempeño de Seguridad: Al integrarse en MBPO, UPSi demostró una reducción sustancial en las violaciones de restricciones en comparación con XMPSC (un PSF basado en PE previo). Por ejemplo, en el entorno Cartpole, la tasa de inviabilidad cayó del 7.15% (XMPSC) al 0.75% (UPSi).
• Rendimiento: A pesar de las restricciones de seguridad añadidas, UPSi logró retornos de control en paridad con los baselines de MBPO y SAC.
• Comportamiento de Filtrado: UPSi intervino con mayor frecuencia que XMPSC pero encontró soluciones factibles con más frecuencia, lo que indica un mejor equilibrio entre la imposición de seguridad y la capacidad de exploración.

Significado y Reivindicaciones

El artículo afirma haber cerrado con éxito la brecha entre la escalabilidad de los métodos modernos de MBRL y las garantías de seguridad rigurosas de los filtros de seguridad predictivos. Al permitir el uso de modelos PE flexibles y basados en datos dentro de un marco de MPC riguroso, UPSi extiende la aplicabilidad de los filtros de seguridad a una clase más amplia de sistemas no lineales y de alta dimensión que anteriormente eran difíciles de modelar mediante principios fundamentales o GP.

Los autores reconocen limitaciones, señalando que la implementación práctica depende de simplificaciones (por ejemplo, propagación de tubos simplificada, ausencia de un controlador auxiliar en los experimentos) que rompen las garantías formales, y que la viabilidad en tiempo real para sistemas de alta dimensión (como el Drone) sigue siendo un desafío. Sin embargo, el trabajo establece un enfoque fundacional para la seguridad consciente de la incertidumbre en el control basado en aprendizaje, sugiriendo que las mejoras futuras en la viabilidad en tiempo real podrían permitir el despliegue en hardware más complejo.