Résumé Technique : Contrôle de la Variance Résiduelle Guidé par Certificat pour les Contrôleurs à Apprentissage Résiduel dans les Systèmes Non Linéaires

1. Énoncé du Problème

Le papier traite une lacune critique dans le contrôle par apprentissage résiduel pour les systèmes non linéaires en temps discret. Dans ce paradigme, un réseau de neurones appris (l'acteur résiduel) compense les erreurs de modélisation ou les perturbations au-dessus d'un contrôleur nominal. Bien que la moyenne du résidu puisse corriger le biais, ses fluctuations (variance) sont injectées dans la boucle fermée.

Le problème central identifié est que dans les systèmes présentant une amplification transitoire non normale, une source d'action résiduelle qui semble faible en variance euclidienne peut générer des excursions de covariance d'état et d'énergie de Lyapunov disproportionnellement grandes après propagation à travers la dynamique locale en boucle fermée. Les méthodes de sécurité existantes ne parviennent pas à traiter ce mécanisme spécifique :

• La régularisation côté source (par exemple, pénaliser l'amplitude de l'action ou la lissité temporelle) traite toutes les directions résiduelles avec la même taille euclidienne comme étant également risquées, ignorant la géométrie de l'amplificateur local en boucle fermée.
• Les filtres de sécurité en aval (par exemple, les fonctions de barrière de contrôle ou CBF) réparent les commandes non sûres mais n'expliquent ni ne préviennent pourquoi des directions spécifiques de covariance résiduelle créent de manière répétée une charge élevée pour ces filtres.
• Les certificats de substitution locaux fournissent des garanties de stabilité mais manquent d'un mécanisme pour ramener ces métriques côté état vers l'espace de l'action résiduelle afin de guider l'apprentissage de l'acteur.

Le papier soutient que sans un chemin intégré reliant la source résiduelle, l'amplificateur non normal local et le certificat en aval, le lissage côté source ne peut pas réduire efficacement la covariance de l'état, et les couches de réparation en aval restent surchargées.

2. Méthodologie : Contrôle de la Variance Résiduelle Guidé par Certificat (CG-RVC)

Les auteurs proposent le CG-RVC, un enveloppe (wrapper) informé par le contrôle autour d'une architecture standard acteur-critique à apprentissage résiduel (spécifiquement TD3 dans les expériences). Il ne remplace pas l'apprentissage par renforcement mais l'augmente avec un mécanisme de façonnage de la source guidé par un certificat.

A. Chaîne de Modélisation

La méthode construit une chaîne de modélisation spécifique :

1. Plante Non Linéaire : Le système physique $x_{t+1} = f(x_t, u_t, d_t)$.
2. Substitution Locale : Un modèle affine en entrée levé ou linéarisé dans des coordonnées locales $z_t$ : $z_{t+1} = K_0 z_t + \Phi_u u_t + w_t$. Ici, $\Phi_u$ représente le canal d'entrée résiduel.
3. Amplificateur Brut : Le substitut de la boucle fermée nominale $K_{raw} = K_0 - \Phi_u L$.
4. Modèle de Certificat Projeté : Pour assurer la stabilité de l'analyse, $K_{raw}$ est projeté sur une matrice stable $K_{proj}$ avec un rayon spectral $\rho(K_{proj}) \le \beta < 1$.
5. Certificat de Lyapunov : Une matrice $P$ est calculée telle que $K_{proj}^\top P K_{proj} - P = -Q$ (avec $Q \succ 0$).

B. Le Mécanisme Central : Métrique de Rappel (Pullback)

L'innovation clé est la dérivation d'une métrique de covariance de l'action résiduelle anisotrope en effectuant un rappel de la certitude de Lyapunov côté état à travers le canal d'entrée :
$$M = \Phi_u^\top P \Phi_u$$
Cette métrique $M$ pondère les directions résiduelles en fonction de leur potentiel de croissance d'énergie en aval (certifié par $P$) plutôt que par leur magnitude euclidienne.

C. Objectif de l'Acteur et Exécution

• Mise à jour de l'Acteur : L'objectif de l'acteur est modifié pour inclure une pénalité de variance résiduelle pondérée par le certificat (nommée P-ALE). Le terme de pénalité est proportionnel à $\text{tr}(M \hat{\Sigma}_r)$, où $\hat{\Sigma}_r$ est la covariance empirique des sorties résiduelles. Cela encourage l'acteur à supprimer la variance dans les directions que l'amplificateur local amplifierait le plus.
• Couche d'Exécution : L'action appliquée subit un lissage programmé selon le risque, une limitation de taux et une projection de sécurité. Le papier distingue le façonnage de la source (la pénalité P-ALE) de la réparation de faisabilité (projection). P-ALE réduit la probabilité et l'amplitude des corrections importantes nécessaires à la couche de projection.
• Diagnostic : Le système enregistre les résidus Bellman-Lyapunov a posteriori pour vérifier si le comportement appris reste cohérent avec le modèle de certificat local.

3. Contributions Clés

1. Identification d'une Lacune : Le papier identifie l'absence d'un chemin d'apprentissage résiduel qui considère conjointement le canal d'entrée résiduel, l'amplificateur non normal local et le certificat en aval.
2. Métrique Entraînable ($M$) : Il convertit cette lacune en une métrique entraînable en ramenant le certificat de Lyapunov projeté vers l'espace d'action ($M = \Phi_u^\top P \Phi_u$), pondérant les directions résiduelles par l'énergie du certificat en aval.
3. Cadre CG-RVC : Il propose un cadre complet qui intègre cette métrique dans une boucle acteur-critique standard, séparant le façonnage de la source de la réparation au moment de l'exécution.
4. Bornes Théoriques : Le papier fournit des bornes de propagation de variance robustes sous un décalage non linéaire levé, montrant que même de petites erreurs de modèle euclidiennes peuvent produire de grandes erreurs d'énergie de Lyapunov si elles sont alignées avec des directions de gain élevé non normales.

4. Résultats Expérimentaux

L'étude utilise des interventions contrôlées et des comparaisons appariées pour isoler le mécanisme amplificateur.

A. Interventions Contrôlées (Validation du Mécanisme)

• Isolation de l'Amplificateur (CI-1) : En utilisant un système synthétique 2D avec des valeurs propres fixes mais des vecteurs propres conditionnés de manière variable, les auteurs ont démontré qu'augmenter le nombre de conditionnement $\kappa(V)$ (non-normalité) augmentait la trace de la covariance de l'état de ~0,37 à ~15,66, confirmant que la géométrie non normale agit comme un amplificateur de variance indépendant.
• Intervention Côté Source (CI-2) : Le filtrage de la source d'entrée sous un amplificateur non normal fixe a réduit la covariance de l'état d'environ 21,8 % et la variance de l'action de 92,1 %, prouvant que la suppression de la source est efficace même avec un amplificateur fixe.
• Injection Directionnelle MIMO : Dans les simulations de quadrotor Full3D, l'injection de covariances résiduelles de trace égale dans différentes directions a entraîné des ratios d'énergie d'état mesurés de 94,2–141,0×. Cela a confirmé que la métrique $M$ pondérée par le certificat prédit correctement que la direction importe bien plus que la magnitude.

B. Comparaisons de Performance

Dans une tâche de RL contrainte à haut bruit ($\sigma=0,30$) (oscillateur de Liénard) avec 5 graines (seeds) :

• CG-RVC vs TD3 Direct : CG-RVC a réduit l'RMSE de 47,1 %, la variance de l'action appliquée de 94,7 %, l'erreur quadratique moyenne (MSE) de la différence d'action de 97,7 % et le maximum Bellman-Lyapunov a posteriori de 94,3 %.
• Sécurité : CG-RVC a réduit les violations de sécurité denses de 0,9389 (TD3 Direct) à 0,0.
• Analyse de Composante : Les comparaisons ont montré que ni les pénalités de variance scalaire, ni le lissage temporel, ni la projection seuls n'étaient suffisants. Seule la combinaison du façonnage de la source (P-ALE), du lissage et de la projection a permis d'atteindre des performances optimales sur l'ensemble des métriques.

C. Simulations Aériennes

• Quadrotor Plan : Le filtrage a réduit la variance de l'action dans tous les scénarios. Cependant, dans un cas limite de "Décalage de Charge Utile" (Payload Mismatch), la variance scalaire de la source a chuté tandis que la covariance de l'état a augmenté, validant le besoin de pénalités sensibles à la direction.
• Quadrotor Full3D : Dans un diagnostic numérique en 5 graines (pas un benchmark RL complet), l'injection de source filtrée a réduit la covariance de l'état de 65,7–83,8 % et la variance des moteurs de 90,3–94,5 % à travers quatre scénarios.

5. Signification et Revendications

Le papier affirme que le CG-RVC offre un moyen principled de façonner l'apprentissage résiduel en présence de dynamiques non normales.

• Rôles Distincts : Il clarifie que le façonnage de la source (via P-ALE) et la projection de sécurité jouent des rôles distincts : le premier réduit la charge du second en empêchant les excursions d'énergie élevée avant qu'elles ne surviennent.
• Au-delà du Lissage Euclidien : Les résultats démontent que réduire la variance euclidienne de l'action ou la rugosité temporelle est insuffisant ; la covariance résiduelle doit être façonnée selon la géométrie locale en boucle fermée.
• Portée Modeste : Les auteurs déclarent explicitement que les simulations aériennes servent de diagnostics de mécanisme plutôt que de benchmarks de RL de bout en bout pour un déploiement physique. Les résultats Full3D sont des suppléments numériques aux preuves RL en 2D. La méthode est présentée comme une enveloppe pour les architectures RL existantes, et non comme un remplacement, et repose sur la disponibilité d'un substitut local et d'un certificat de sécurité.

Le travail conclut qu'intégrer le façonnage de la source guidé par le certificat avec la réparation au moment de l'exécution offre une voie robuste pour déployer des contrôleurs basés sur l'apprentissage dans des environnements non linéaires critiques pour la sécurité, où l'amplification transitoire représente un risque.