Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning

1. Problématique et Contexte

Le Reinforcement Learning (RL) à contrôle continu a démontré des performances empiriques remarquables en robotique et dans la prise de décision dynamique. Cependant, lors du déploiement, les contrôleurs appris souffrent souvent de :

• Une grande variance de la boucle fermée (jitter).
• Des commandes de contrôle à haute fréquence (jitter d'action).
• Une sensibilité accrue aux perturbations.

Les explications existantes se concentrent principalement sur les sources de perturbation (bruit d'action, perturbations d'exploration, erreurs d'approximation de fonction, ou non-lissité de la politique).

Le problème identifié par l'auteur : Même lorsque la boucle fermée est nominalement stable (rayon spectral $\rho(A_{cl}) < 1$), de petites perturbations d'entrée peuvent subir une amplification transitoire disproportionnée si la géométrie du système est fortement non-normale. Ce phénomène, souvent négligé, explique pourquoi de faibles bruits d'entrée peuvent générer une grande covariance d'état en aval.

2. Méthodologie : Décomposition Source-Amplificateur

L'article propose une nouvelle perspective basée sur la décomposition Source-Amplificateur :

• Source : Le bruit d'action, les perturbations d'exploration et le jitter de la politique.
• Amplificateur : La géométrie non-normale de l'opérateur de transition d'état en boucle fermée ($A_{cl}$). Même stable, un amplificateur non-normal peut avoir un gain de crête transitoire ($G_{peak}$) très élevé.

A. Stratégie d'Intervention : Suppression Côté Entrée

Au lieu de modifier la politique apprise (ce qui changerait l'amplificateur structurel), l'auteur introduit une couche de suppression de variance côté entrée placée entre la politique apprise et l'entrée du système physique.

• Fonctionnement : Cette couche agit comme un lisseur temporel causal (un filtre passe-bas du premier ordre) qui modifie les statistiques de l'entrée appliquée ($u^{app}_t$) sans modifier la structure de la boucle fermée ($A_{cl}$).
• Formulation :
  $$u^{app}_t = (1 - \beta)u^{app}_{t-1} + \beta(u^{\pi}_t + \eta_t)$$
  Où $\beta \in (0, 1]$ contrôle le taux de mise à jour. Un $\beta$ plus faible augmente le lissage.
• Avantage clé : C'est une intervention post-entraînement. Elle ne nécessite pas de réapprentissage ni de modification de l'architecture du contrôleur.

B. Outils d'Analyse

Les surrogats Koopman/ALE (Linear Extended) sont utilisés uniquement comme outils d'analyse et de certification pour diagnostiquer la structure de propagation locale et la stabilité, mais ne sont pas utilisés comme voie directe d'amélioration des performances.

3. Contributions Principales

1. Interprétation Source-Amplificateur : Identification de la non-normalité comme un amplificateur de perturbation sous-estimé dans les boucles fermées nominalement stables.
2. Proposition d'un Suppresseur Simple : Introduction d'une couche de suppression côté entrée qui réduit la covariance d'état en modifiant les statistiques d'entrée, sans altérer le gain de crête structurel.
3. Preuve par Interventions Contrôlées : Démonstration expérimentale isolant les effets de l'amplificateur et de la source grâce à trois protocoles d'intervention (CI-1, CI-2, CI-3).

4. Résultats Expérimentaux

L'article valide sa théorie à travers trois blocs d'intervention contrôlée :

CI-1 : Isolement de l'Effet Amplificateur

• Protocole : On maintient les valeurs propres, le rayon spectral, le canal de perturbation et les statistiques de bruit constants. On fait varier uniquement la géométrie des vecteurs propres (le nombre de conditionnement $\kappa(V)$) pour modifier la non-normalité.
• Résultat : Une augmentation de la non-normalité entraîne une augmentation monotone et forte de la trace de la covariance d'état ($tr(\Sigma_x)$) et du gain de crête transitoire ($G_{peak}$), avec des corrélations de Pearson de 0,970 et 0,996 respectivement.
• Conclusion : La non-normalité est bien un amplificateur de variance indépendant de la stabilité asymptotique.

CI-2 : Intervention Côté Source (Seulement)

• Protocole : On fixe une géométrie fortement non-normale. On compare une entrée brute (bruit blanc) à une entrée filtrée (supprimée).
• Résultats :
  • Réduction de la variance d'action appliquée de 92,0 % (de 0,0399 à 0,00317).
  • Réduction de la trace de la covariance d'état de 21,8 % (de 15,85 à 12,39).
  • Réduction de la norme d'état maximale attendue.
  • Point crucial : Le gain de crête structurel ($G_{peak}$) reste inchangé (5,55).
• Conclusion : La suppression côté source réduit efficacement la covariance en aval sans modifier l'amplificateur structurel.

CI-3 : Validation Externe (Quadrotor Planaire)

• Protocole : Application de la même logique sur un quadrotor planaire non linéaire avec différents scénarios (vol stationnaire, charge lourde, manœuvre agile, désaccord de modèle).
• Résultats : Sous un niveau de bruit élevé (0,20), la suppression côté source a permis de réduire la variance d'action de 87,67 % et la covariance d'état de 37,47 % en moyenne sur les scénarios.
• Conclusion : Le mécanisme identifié dans les systèmes linéaires synthétiques reste pertinent et bénéfique dans des environnements non linéaires complexes.

5. Signification et Portée

• Changement de paradigme : L'article démontre que la réduction de la variance en RL ne dépend pas uniquement de l'adoucissement de la source (bruit), mais aussi de la compréhension de la façon dont le système amplifie ces perturbations.
• Efficacité structurelle : La méthode proposée offre une solution légère et post-entraînement pour atténuer le jitter et la variance sans réapprendre le contrôleur ni modifier sa dynamique structurelle.
• Limites et Futur : L'article ne se positionne pas comme un benchmark complet contre les méthodes existantes de contrôle lisse (comme la régularisation d'action), mais comme une preuve de concept mécaniste. Les compromis plus larges et les comparaisons head-to-head sont laissés pour des travaux futurs.

En résumé, cette lettre établit que dans les systèmes de contrôle RL, la géométrie non-normale du système agit comme un amplificateur critique de la variance, et que des interventions simples côté entrée peuvent atténuer significativement les effets indésirables en aval sans toucher à la complexité du contrôleur appris.