Résumé Technique : Apprendre Quand Agir via l'Assurance en Temps d'Exécution

Énoncé du Problème

L'apprentissage par renforcement (RL) sûr s'est largement concentré sur la détermination de ce que l'agent doit faire, négligeant souvent la question critique de quand il doit agir. Dans les systèmes cyber-physiques critiques pour la sécurité, le contrôle à taux fixe s'exécute à chaque pas de temps indépendamment des changements d'état, entraînant des coûts inutiles en matière de capteurs, de calcul et de bande passante. Bien que les méthodes analytiques classiques comme le Contrôle Déclenché par Soi-même (STC) et le Contrôle Déclenché par Événement (ETC) offrent de solides garanties de stabilité, elles reposent souvent sur des règles de déclenchement conservatrices basées sur Lyapunov ou sur des modèles, qui échouent à exploiter les économies de communication dans les systèmes non linéaires, sous-actionnés ou de haute dimension. À l'inverse, les approches basées sur l'apprentissage existantes manquent souvent de garanties formelles de sécurité sur la décision de déclenchement, dépendent de modèles de dynamique appris ou traitent des settings en temps continu sans mécanismes de sécurité temporelle rigides.

Le défi central abordé consiste à lever l'hypothèse de taux fixe sans sacrifier la sécurité. L'objectif est d'apprendre une politique qui optimise conjointement les entrées de contrôle et les intervalles inter-échantillons (le temps jusqu'à la prochaine mise à jour) afin de maximiser l'Intervalle Inter-Échantillon Moyen (MSI) tout en garantissant la stabilité en boucle fermée.

Méthodologie

Les auteurs proposent un cadre RL unifié supervisé par une couche d'Assurance en Temps d'Exécution (RTA) agissant comme un bouclier de sécurité. Le système fonctionne en STC à temps discret, où à chaque instant de décision $t_k$, l'agent sélectionne une entrée de contrôle $u_k$ et une durée $\tau_k$ à partir d'un ensemble discret $\mathcal{T} = \{\tau_{min}, 2\tau_{min}, \dots, N\tau_{min}\}$.

1. Couche d'Assurance en Temps d'Exécution (RTA)

La couche RTA fournit une annulation de sécurité rigide, distincte des méthodes MDP contraintes qui n'imposent la sécurité qu'en espérance.

• Prédiction : À chaque étape, le système calcule une prédiction linéarisée à un pas en avant d'un scalaire critique pour la sécurité $q_k = c^\top x_k$ :
  $$\hat{q}_{k+1} = q_k + \tau_k \dot{q}_k + \frac{1}{2}\tau_k^2 \ddot{q}_{lin}(x_k, u_k)$$
• Mécanisme d'Annulation : Si l'état prédit viole un seuil de sécurité ($|\hat{q}_{k+1}| > \theta_{RTA}$) ou dépasse les limites de position, l'action RL est immédiatement annulée. Le système substitue un contrôle de secours précalculé de type Régulateur Linéaire Quadratique (LQR) $u_k = -Kx_k$ et réinitialise l'intervalle à la durée minimale sûre $\tau_{min}$.
• Garantie de Sécurité : Le contrôleur de secours est conçu de telle sorte que, s'il n'est pas saturé, la fonction de Lyapunov $V(x)$ est garantie de décroître ponctuellement. Cela fournit une garantie strictement plus forte que les contraintes basées sur l'espérance.

2. Cadre d'Apprentissage

• Récompense Lyapunov : Le cadre utilise une fonction de Lyapunov $V(x) = x^\top P x$ dérivée de l'Équation Algébrique de Riccati Continue (CARE) de la plante linéarisée. La fonction de récompense inclut un terme de stabilité basé sur la décroissance de $V(x)$ et un terme d'efficacité de communication proportionnel au carré de l'intervalle inter-échantillon normalisé.
• Espace d'Action : L'agent apprend une politique conjointe pour $(u_k, \tau_k)$. Pour les systèmes Mono-Entrée Mono-Sortie (SISO), un Deep Q-Network (DQN) est utilisé ; pour les systèmes Multi-Entrée Multi-Sortie (MIMO) avec de grands espaces d'action (par exemple, le Quadrotor 3D), le Soft Actor-Critic (SAC) est employé sur un espace d'action continu.
• Extension Conditionnée par Préférence : Pour éviter d'entraîner des modèles séparés pour différents compromis stabilité-communication, un agent conditionné par préférence est entraîné où un poids $w_c$ (contrôlant le compromis) est échantillonné au début de chaque épisode. Cela permet à un modèle unique de retrouver l'ensemble du front de compromis.

Contributions Clés

1. Formulation RL Conjointe avec Sécurité Rigide : Une formulation novatrice qui apprend simultanément les entrées de contrôle et les intervalles inter-échantillons sous une garantie de sécurité ponctuelle rigide. Contrairement aux RL protégés antérieurs qui agissent sur des pas de temps fixes, ce bouclier agit directement sur la décision de temporisation $\tau_k$.
2. Récompense Lyapunov Dérivée de CARE : Un signal de récompense transférable dérivé des solutions CARE qui fonctionne dans les environnements SISO et MIMO sans redéfinition, permettant à un poids unique $w_c$ de tracer l'ensemble du front de compromis stabilité-communication.
3. Validation Empirique Systématique : Évaluation extensive sur quatre environnements (Pendule Inversé, CartPole, Quadrotor Planaire et Quadrotor 3D) démontrant :
   • Gains de Performance : La politique apprise atteint un MSI 1,45 à 3,51 fois supérieur par rapport aux bases STC-Lyapunov classiques.
   • Nécessité de la Temporisation Adaptative : Un contrôleur LQR fixe opérant au même taux moyen que la politique apprise est instable sur toutes les plantes testées, prouvant que la temporisation adaptative (échantillonnage rapide près de l'instabilité et lent près de l'équilibre) est essentielle pour la sécurité, et non pas seulement une réduction du taux moyen.
   • Nécessité de la RTA : Des études d'ablation montrent que la suppression du bouclier RTA réduit le MSI de 1,27 à 1,84 fois et dégrade considérablement les normes d'état, confirmant le rôle du bouclier dans la structuration de l'espace de politique faisable.
   • Comparaison avec les Méthodes Lagrangiennes : Contrairement aux bases Lagrangien-DQN qui imposent la sécurité en espérance, la méthode proposée atteint zéro violation de sécurité rigide tandis que les méthodes lagrangiennes accumulent jusqu'à 35 % de violations rigides et atteignent un MSI 21–52 % inférieur.
4. Passage à l'Échelle vers les Hautes Dimensions : Une étude de cas sur un Quadrotor 3D à 12 états où la conception analytique STC est intraitable. Le cadre atteint un MSI de 0,302 s (94 % de l'intervalle maximal possible) avec 0 % d'activation RTA, alors que le STC classique reste bloqué à l'intervalle minimum $\tau_{min}$.

Résultats

• Efficacité de Communication : Sur le Pendule Inversé, le CartPole et le Quadrotor Planaire, la politique RL-STC surpasse significativement les bases analytiques classiques. Par exemple, le Quadrotor Planaire atteint une amélioration de 3,51 fois du MSI par rapport au STC classique.
• Robustesse : Le cadre démontre une dégradation gracieuse sous des variations de masse de plante de $\pm 30 \%$ et des perturbations additives. Bien que l'activation RTA augmente avec l'amplitude de la perturbation, le système reste stable, et la couche RTA absorbe les perturbations que la politique apprise ne peut gérer seule.
• Agnosticisme Algorithmique : Les résultats sont cohérents entre DQN (actions discrètes) et SAC (actions continues), confirmant la validité du cadre à travers différents paradigmes d'optimisation.
• Efficacité de Calcul : L'extension conditionnée par préférence récupère l'ensemble du front de compromis à partir d'un modèle unique entraîné avec seulement 2/11 du calcul requis pour un balayage complet des poids.

Importance et Revendications

L'article affirme que la question de quand agir est aussi conséquente que quoi faire. En intégrant un bouclier RTA rigide avec une optimisation RL conjointe, le cadre permet aux agents de découvrir des intervalles inter-échantillons non conservateurs qui sont analytiquement difficiles à dériver, en particulier dans les systèmes de haute dimension ou non linéaires.

Les auteurs soulignent que leur approche fournit des garanties formelles de sécurité ponctuelle (via le secours décroissant Lyapunov) que les méthodes de contraintes basées sur l'espérance ne peuvent fournir par construction. Le cadre est limité à la stabilisation autour d'équilibres connus où les solutions CARE et les prédictions linéarisées sont bien définies, mais les résultats empiriques sur le Quadrotor à 12 états suggèrent que l'approche peut s'étendre à des régimes où les certificats formels ne s'appliquent pas strictement à l'intervalle minimum choisi, comptant plutôt sur le signal de structuration lors de l'entraînement pour respecter les prédicats de sécurité.

Ce travail établit que la temporisation adaptative est le catalyseur clé de la parcimonie sûre ; la réduction statique des taux de contrôle est insuffisante et conduit souvent à l'instabilité. Le cadre proposé offre une voie praticable vers un contrôle efficace en communication dans les systèmes critiques pour la sécurité, sans sacrifier les garanties de sécurité rigoureuses requises pour le déploiement.