Learning Safe-by-Design Neural Network Controllers

Resumen Técnico: Aprendizaje de Controladores de Redes Neuronales Seguros por Diseño

Enunciado del Problema
Las redes neuronales (RN) se emplean cada vez más como políticas de control de retroalimentación para manejar dinámicas no lineales complejas y de alta dimensión. Sin embargo, los controladores puramente aprendidos a menudo carecen de garantías formales de seguridad, generando potencialmente acciones que violan restricciones críticas como la evitación de colisiones o los límites de los actuadores. Una estrategia común de mitigación consiste en añadir un filtro de seguridad, típicamente basado en Funciones de Barrera de Control (CBF), a un controlador preentrenado. En los marcos estándar, este filtro resuelve un Programa Cuadrático (QP) en línea para hacer cumplir las restricciones de seguridad definidas por un candidato de CBF $h(x)$ y una función de clase-$\mathcal{K}$ extendida $\alpha(\cdot)$.

Este diseño desacoplado presenta dos limitaciones principales:

1. Conservadurismo y Suboptimalidad: La función $\alpha(\cdot)$ a menudo se fija (por ejemplo, $\alpha(h) = \omega h$) con parámetros ajustados manualmente. Un ajuste deficiente conduce a un comportamiento excesivamente conservador, degradando el rendimiento del control, mientras que un ajuste agresivo arriesga violaciones de seguridad.
2. Sobrecarga Computacional: Resolver un QP en tiempo de ejecución introduce latencia computacional y preocupaciones de fiabilidad, obstaculizando la implementación en tiempo real, especialmente para sistemas con espacios de estado de alta dimensión o numerosas restricciones.

Aunque trabajos recientes como BarrierNet y CAffNet intentan integrar la seguridad en el proceso de aprendizaje, o bien conservan la costosa capa de QP en línea, o bien sufren problemas de escalabilidad debido a la complejidad exponencial de proyectar salidas sobre conjuntos factibles definidos por muchas restricciones.

Metodología
Los autores proponen un marco "Seguro por Diseño" que aprende conjuntamente un controlador de red neuronal y condiciones de CBF parametrizadas por red neuronal, incrustando las restricciones de seguridad directamente en la arquitectura del controlador para eliminar la necesidad de solucionadores de QP en línea.

1. Arquitectura CAffNet-Lite:
   La contribución central es CAffNet-Lite, una extensión ligera de la arquitectura CAffNet existente. Integra una capa afín de restricciones con un módulo de proyección entrenable para satisfacer restricciones afines dependientes del estado $A(x)u \leq b(x)$ por construcción.

   • Descomposición de Restricciones Ligera: A diferencia de CAffNet, que enumera todas las combinaciones posibles de restricciones activas (lo que conduce a una complejidad exponencial $O(2^{n_c})$), CAffNet-Lite emplea una estrategia de descomposición reducida. Considera solo sub-restricciones con el orden mínimo ($k=1$) o el orden máximo ($k=\min(n_c, m)$). Esto reduce la complejidad del peor caso a polinómica $O(n_c^m)$, mejorando significativamente la escalabilidad para sistemas con muchas restricciones.
   • Mecanismo de Proyección: La red genera una señal de control sin restricciones $f_\theta(x)$. Si esta señal viola las restricciones, una capa de proyección calcula un conjunto de candidatos factibles proyectando sobre los hiperplanos de las sub-restricciones. La salida final es la señal sin restricciones (si es factible) o la proyección factible más cercana, garantizando el cumplimiento estricto de las restricciones sin requerir restricciones de rango completo o linealmente independientes.

2. Aprendizaje Conjunto de Parámetros de CBF:
   En lugar de fijar la función de decaimiento $\alpha(\cdot)$, el marco la reemplaza con una parametrización entrenable de red neuronal $\alpha_\vartheta(x, h(x))$. Esto permite que el sistema aprenda una propiedad de "decaimiento óptimo" que se adapta al comportamiento del controlador y a la dinámica del sistema. Las restricciones de seguridad se formulan como:
   $$A(x)u \leq b_\vartheta(x)$$
   donde $b_\vartheta(x)$ incorpora el $\alpha_\vartheta$ aprendido.

3. Garantías Teóricas:
   Dado que la capa de proyección implica una operación $\arg\min$ que puede resultar en señales de control discontinuas, los autores establecen la seguridad en el sentido de Filippov. Demuestran que la ley de control continua a trozos resultante garantiza la invarianza hacia adelante fuerte del conjunto seguro, asegurando que si el sistema comienza dentro del conjunto seguro, permanece allí para todo tiempo futuro.

Contribuciones Clave

1. CAffNet-Lite: Introducción de una arquitectura de proyección ligera que reduce la complejidad computacional de exponencial a polinómica con respecto al número de restricciones, preservando al mismo tiempo el cumplimiento estricto de restricciones afines y las propiedades de aproximación universal.
2. Optimización Conjunta: Un marco que entrena conjuntamente un controlador de red neuronal y parámetros de CBF (específicamente la función de decaimiento), permitiendo el cumplimiento de restricciones de seguridad por construcción sin solucionadores de QP en línea.
3. Demostración Teórica: Prueba de que el controlador propuesto satisface la invarianza hacia adelante fuerte del conjunto seguro en el sentido de Filippov, abordando la discontinuidad introducida por la capa de proyección.

Resultados Experimentales
El marco se evaluó en dos escenarios de simulación:

1. Integrador Simple con Evitación de Colisiones:

   • Configuración: Un sistema integrador 2D evitando tres obstáculos poliedros convexos.
   • Hallazgos: CAffNet y CAffNet-Lite lograron el costo medio más bajo (más cercano al controlador nominal) mientras satisfacían estrictamente todas las restricciones de seguridad (0% de violaciones). Por el contrario, las RN estándar y HardNet exhibieron violaciones de restricciones, y los métodos basados en QP con parámetros fijos fueron o bien demasiado conservadores (fallando en alcanzar el objetivo) o requirieron mayor tiempo computacional.
   • Eficiencia: CAffNet-Lite igualó el rendimiento de CAffNet pero con un tiempo de prueba reducido, demostrando la eficiencia de la descomposición ligera.

2. Geovallado de Avión de Ala Fija:

   • Configuración: Un modelo de avión de 7 estados y 3 entradas que hace cumplir restricciones de geovallado.
   • Hallazgos: Tanto CAffNet como CAffNet-Lite aprendieron con éxito comandos de velocidad seguros que evitaban los geovallados.
   • Eficiencia: CAffNet-Lite demostró tiempos de entrenamiento y prueba significativamente menores en comparación con el CAffNet original, confirmando su superior escalabilidad para sistemas de mayor dimensión. Aunque CAffNet convergió ligeramente más rápido en términos de costo debido a más candidatos de proyección, CAffNet-Lite ofreció un mejor equilibrio para la aplicabilidad en tiempo real.

Significado y Afirmaciones
El artículo afirma que, al incrustar restricciones de seguridad afines directamente en el controlador neuronal y aprender los parámetros de CBF conjuntamente, el método propuesto supera el conservadurismo de los filtros de parámetros fijos y la carga computacional de los solucionadores de QP en línea. Los autores enfatizan que CAffNet-Lite proporciona una solución escalable y desplegable en tiempo real que garantiza restricciones de seguridad estrictas por construcción. El trabajo se posiciona como un paso hacia el control "Seguro por Diseño", donde la seguridad no es un pensamiento posterior ni un filtro en tiempo de ejecución, sino una propiedad intrínseca de la política aprendida. Los autores notan modestamente que el trabajo futuro explorará extender el marco a clases más amplias de restricciones y evaluar el rendimiento en sistemas del mundo real.