Resumen Técnico: Aprendizaje de Cuándo Actuar mediante Garantía de Ejecución en Tiempo Real

Enunciado del Problema

El aprendizaje por refuerzo (RL) seguro se ha centrado en gran medida en determinar qué debe hacer un agente, a menudo descuidando la pregunta crítica de cuándo necesita actuar. En los sistemas ciberfísicos críticos para la seguridad, el control a tasa fija se ejecuta en cada paso de tiempo independientemente de los cambios de estado, incurriendo en costos innecesarios en sensado, computación y ancho de banda. Si bien los métodos analíticos clásicos como el Control Auto-Disparado (STC) y el Control Disparado por Eventos (ETC) ofrecen garantías sólidas de estabilidad, a menudo dependen de reglas de disparo conservadoras basadas en Lyapunov o en modelos que no logran aprovechar los ahorros de comunicación en sistemas no lineales, subactuados o de alta dimensión. Por el contrario, los enfoques basados en aprendizaje existentes a menudo carecen de garantías formales de seguridad en la decisión de disparo, dependen de modelos de dinámica aprendidos o abordan configuraciones de tiempo continuo sin mecanismos de seguridad temporal estrictos.

El desafío central abordado es levantar la suposición de tasa fija sin sacrificar la seguridad. El objetivo es aprender una política que optimice conjuntamente las entradas de control y los intervalos inter-muestra (el tiempo hasta la próxima actualización) para maximizar el Intervalo Inter-Muestra Medio (MSI) garantizando al mismo tiempo la estabilidad del lazo cerrado.

Metodología

Los autores proponen un marco unificado de RL supervisado por una capa de Garantía de Ejecución en Tiempo Real (RTA) que actúa como un escudo de seguridad. El sistema opera en STC de tiempo discreto, donde en cada instante de decisión $t_k$, el agente selecciona una entrada de control $u_k$ y una duración $\tau_k$ de un conjunto discreto $\mathcal{T} = \{\tau_{min}, 2\tau_{min}, \dots, N\tau_{min}\}$.

1. Capa de Garantía de Ejecución en Tiempo Real (RTA)

La capa RTA proporciona una anulación de seguridad estricta, distinta de los métodos de MDP con restricciones que hacen cumplir la seguridad solo en expectativa.

• Predicción: En cada paso, el sistema calcula una predicción linealizada de un paso hacia adelante de un escalar crítico para la seguridad $q_k = c^\top x_k$:
  $$\hat{q}_{k+1} = q_k + \tau_k \dot{q}_k + \frac{1}{2}\tau_k^2 \ddot{q}_ {lin}(x_k, u_k)$$
• Mecanismo de Anulación: Si el estado predicho viola un umbral de seguridad ($|\hat{q}_{k+1}| > \theta_{RTA}$) o excede los límites de posición, la acción de RL se anula inmediatamente. El sistema sustituye una control de respaldo precalculado de Regulador Lineal-Cuadrático (LQR) $u_k = -Kx_k$ y reinicia el intervalo a la duración segura mínima $\tau_{min}$.
• Garantía de Seguridad: El controlador de respaldo está diseñado de tal manera que, si no está saturado, la función de Lyapunov $V(x)$ está garantizada a disminuir puntualmente. Esto proporciona una garantía estrictamente más fuerte que las restricciones basadas en expectativa.

2. Marco de Aprendizaje

• Recompensa de Lyapunov: El marco utiliza una función de Lyapunov $V(x) = x^\top P x$ derivada de la Ecuación Algebraica de Riccati de Tiempo Continuo (CARE) de la planta linealizada. La función de recompensa incluye un término de estabilidad basado en la disminución de $V(x)$ y un término de eficiencia de comunicación proporcional al cuadrado del intervalo inter-muestra normalizado.
• Espacio de Acción: El agente aprende una política conjunta para $(u_k, \tau_k)$. Para sistemas de Entrada Única Salida Única (SISO), se utiliza una Red Q Profunda (DQN); para sistemas de Múltiples Entradas Múltiples Salidas (MIMO) con grandes espacios de acción (por ejemplo, el Cuadrotor 3D), se emplea Soft Actor-Critic (SAC) en un espacio de acción continuo.
• Extensión Condicionada por Preferencias: Para evitar entrenar modelos separados para diferentes compensaciones entre estabilidad y comunicación, se entrena un agente condicionado por preferencias donde un peso $w_c$ (que controla la compensación) se muestrea al inicio de cada episodio. Esto permite que un solo modelo recupere toda la frontera de compensación.

Contribuciones Clave

1. Formulación Conjunta de RL con Seguridad Estricta: Una formulación novedosa que aprende simultáneamente entradas de control e intervalos inter-muestra bajo un certificado de seguridad puntual estricto. A diferencia del RL con escudo anterior que actúa en pasos de tiempo fijos, este escudo actúa directamente sobre la decisión de temporización $\tau_k$.
2. Recompensa de Lyapunov Derivada de CARE: Una señal de recompensa transferible derivada de soluciones CARE que funciona en entornos SISO y MIMO sin rediseño, permitiendo que un solo peso $w_c$ trace toda la frontera de compensación estabilidad-comunicación.
3. Validación Empírica Sistemática: Evaluación extensa en cuatro entornos (Péndulo Invertido, CartPole, Cuadrotor Planar y Cuadrotor 3D) que demuestra:
   • Ganancias de Rendimiento: La política aprendida logra un MSI 1.45× a 3.51× mayor en comparación con las líneas base clásicas de Lyapunov-STC.
   • Necesidad de Temporización Adaptativa: Un controlador LQR fijo que opera a la misma tasa promedio que la política aprendida es inestable en todas las plantas probadas, demostrando que la temporización adaptativa (muestreo rápido cerca de la inestabilidad y lento cerca del equilibrio) es esencial para la seguridad, no solo una tasa promedio reducida.
   • Necesidad de RTA: Los estudios de ablación muestran que eliminar el escudo RTA reduce el MSI en 1.27–1.84× y degrada significativamente las normas de estado, confirmando el papel del escudo en dar forma al espacio de políticas factibles.
   • Comparación con Métodos Lagrangianos: A diferencia de las líneas base Lagrangiano-DQN que hacen cumplir la seguridad en expectativa, el método propuesto logra cero violaciones de seguridad estrictas, mientras que los métodos Lagrangianos acumulan hasta un 35% de violaciones estrictas y logran un MSI 21–52% menor.
4. Escalabilidad a Altas Dimensiones: Un estudio de caso en un Cuadrotor 3D de 12 estados donde el diseño analítico de STC es intratable. El marco logra un MSI de 0.302 s (94% del intervalo máximo posible) con 0% de activación de RTA, mientras que el STC clásico permanece fijado en el intervalo mínimo $\tau_{min}$.

Resultados

• Eficiencia de Comunicación: En el Péndulo Invertido, CartPole y Cuadrotor Planar, la política RL-STC supera significativamente a las líneas base analíticas clásicas. Por ejemplo, el Cuadrotor Planar logra una mejora de 3.51× en MSI sobre el STC clásico.
• Robustez: El marco demuestra una degradación suave bajo variaciones de masa de planta de $\pm 30\%$ y perturbaciones aditivas. Aunque la activación de RTA aumenta con la amplitud de la perturbación, el sistema permanece estable, y la capa RTA absorbe perturbaciones que la política aprendida no puede manejar sola.
• Agnosticismo Algorítmico: Los resultados son consistentes entre DQN (acciones discretas) y SAC (acciones continuas), confirmando la validez del marco a través de diferentes paradigmas de optimización.
• Eficiencia Computacional: La extensión condicionada por preferencias recupera toda la frontera de compensación a partir de un solo modelo entrenado con solo 2/11 de la computación requerida para un barrido completo de pesos.

Significado y Afirmaciones

El artículo afirma que la pregunta de cuándo actuar es tan consecuente como qué hacer. Al integrar un escudo RTA estricto con la optimización conjunta de RL, el marco permite que los agentes descubran intervalos inter-muestra no conservadores que son analíticamente difíciles de derivar, particularmente en sistemas de alta dimensión o no lineales.

Los autores enfatizan que su enfoque proporciona garantías formales de seguridad puntual (mediante el respaldo de disminución de Lyapunov) que los métodos de restricción basados en expectativa no pueden proporcionar por construcción. El marco se limita a la estabilización alrededor de equilibrios conocidos donde las soluciones CARE y las predicciones linealizadas están bien definidas, pero los resultados empíricos en el Cuadrotor de 12 estados sugieren que el enfoque puede extenderse a regímenes donde los certificados formales no se aplican estrictamente en el intervalo mínimo elegido, dependiendo en cambio de la señal de formación en tiempo de entrenamiento para respetar los predicados de seguridad.

El trabajo establece que la temporización adaptativa es el habilitador clave de la dispersión segura; la reducción estática de las tasas de control es insuficiente y a menudo conduce a la inestabilidad. El marco propuesto ofrece un camino factible hacia el control eficiente en comunicación en sistemas críticos para la seguridad sin sacrificar las garantías de seguridad rigurosas requeridas para la implementación.