Résumé Technique : La Vitesse d'Ajustement comme Contrainte de Sécurité pour l'Apprentissage par Renforcement Non Stationnaire

1. Énoncé du Problème

L'apprentissage par renforcement (RL) a connu un grand succès dans la prise de décision séquentielle, mais repose souvent sur l'hypothance d'environnements stationnaires. Les déploiements en conditions réelles, tels que la conduite autonome, font face à une non-stationnarité inhérente où les modèles de trafic, les comportements des agents et les conditions des capteurs dérivent au fil du temps. Bien que les méthodes existantes de RL sécurisé (par exemple, les MDP contraints, le blindage/shielding) traitent la sécurité dans des contextes stationnaires, elles échouent généralement à prendre en compte la vitesse d'adaptation requise lorsque l'environnement change.

Le problème central identifié est qu'une politique sûre sous des dynamiques antérieures peut devenir dangereuse immédiatement après un changement de distribution, non pas parce que le nouvel environnement est intrinsèquement dangereux, mais parce que l'adaptation requise pour rester en sécurité dépasse la capacité de récupération du système d'apprentissage dans l'horizon temporel nécessaire. Durant cette phase transitoire, l'agent exécute des actions qui sont sous-optimales ou dangereuses sous les nouvelles conditions. Les méthodes actuelles réagissent souvent aux violations après qu'elles se sont produites ou se concentrent sur la récupération de la performance à long terme, négligeant la fenêtre critique où la faisabilité de l'adaptation détermine la sécurité immédiate.

2. Méthodologie : ASASC-NS

Les auteurs proposent l'ASASC-NS (Adjustment Speed as a Safety Constraint in Nonstationary Reinforcement Learning). Ce cadre traite la sécurité non pas comme une propriété statique des états, mais comme une fonction de la faisabilité de l'adaptation : si le système peut s'adapter aux changements prévus dans une enveloppe de récupération calibrée.

2.1 Composants Clés

La méthode opère sur un MDP dépendant du contexte $M_\kappa = (S, A, P_\kappa, r_\kappa, c_\kappa, \gamma)$, où un contexte latent $\kappa$ régit la dynamique et les coûts de sécurité.

1. Extraction et Prédiction du Contexte :

   • Un encodeur de contexte $f_\theta$ mappe une fenêtre glissante de transitions récentes $h_t$ vers une estimation de contexte latent $\hat{\kappa}_t$.
   • Un prédicteur $g_\phi$ prévoit le contexte $\hat{\kappa}_{t+\Delta}$ sur un horizon court et fixe $\Delta$ (par exemple, 10 étapes).

2. Demande et Capacité d'Adaptation :

   • Demande d'Adaptation ($A_t$) : Définie comme l'amplitude du déplacement de contexte prévu : $A_t = \|\hat{\kappa}_{t+\Delta} - \hat{\kappa}_t\|_2$. Cela mesure le décalage requis dans l'espace de contexte appris.
   • Capacité d'Adaptation ($C_{adapt}$) : Un seuil calibré empiriquement représentant le déplacement de contexte maximal dont l'agent peut se remettre en toute sécurité dans un horizon de récupération $H_{rec}$ tout en maintenant un taux de violation cible $\eta$. Il est défini comme un quantile conservateur des déplacements observés après changement durant l'entraînement.

3. Ratio de Faisabilité :

   • Le système calcule un ratio $\rho_t = A_t / (C_{adapt} + \epsilon)$.
   • $\rho_t \le 1$ : Le changement prédit est à l'intérieur de l'enveloppe de récupération sûre.
   • $\rho_t > 1$ : La demande d'adaptation prédite dépasse la capacité d'adaptation sûre réalisable par le système.

2.2 Mécanismes d'Intervention Proactifs

Lorsque $\rho_t > 1$, le cadre déclenche deux types d'interventions pour réguler le comportement de manière proactive :

• Ajustement au Niveau de l'Optimisation : La cible de différence temporelle de l'algorithme d'apprentissage (par exemple, DQN) est modifiée par une pénalité de sécurité dépendante du contexte. La récompense devient $r^{AS}_t = r_t - \beta^{AS} \max(0, \rho_t - 1) \hat{c}(s_t, a_t; \hat{\kappa}_t)$, pénalisant l'agent pour les actions qui contribuent à une forte demande d'adaptation ou à un risque élevé lors de transitions infaisables.
• Blindage au Niveau de l'Action (Resserrement des Contraintes) : Le seuil de sécurité $\tau$ est dynamiquement resserré : $\tau^{AS}_t = \tau_0 - \lambda \max(0, \rho_t - 1)$. L'ensemble des actions admissibles $A_{safe}(s_t)$ est restreint aux actions où le coût de sécurité prédit est inférieur à ce seuil resserré. Si l'action proposée par la politique est inadmissible, un blindage sélectionne l'action admissible présentant le risque le plus faible ou une solution de repli conservatrice.

3. Principales Contributions

L'article présente quatre contributions majeures :

1. Changement Conceptuel : Il introduit la vitesse d'ajustement comme une contrainte de sécurité, formalisant la sécurité sous non-stationnarité en termes de faisabilité de l'adaptation. La sécurité est définie par la capacité des changements environnementaux prévus à rester dans l'enveloppe de récupération sûre calibrée.
2. Cadre Proactif (ASASC-NS) : Un nouveau cadre combinant représentation de contexte, prédiction de contexte, estimation de la demande d'adaptation et blindage au niveau de l'action pour anticiper les régimes où l'adaptation sûre est infaisable.
3. Caractérisation Théorique : Une caractérisation conditionnelle de la relation entre les décalages de contexte prédits, la capacité de récupération calibrée et le risque de violation, distinguant la plasticité neuronale des seuils de récupération opérationnelle.
4. Validation Empirique : Démonstration d'une réduction des violations de sécurité dans les fenêtres à court horizon alignées avec les changements de contexte, avec des études d'ablation clarifiant les rôles distincts de l'ajustement au niveau de l'optimisation par rapport au blindage au niveau de l'action.

4. Résultats Expérimentaux

La méthode a été évaluée dans un environnement de conduite non stationnaire (merge-v0 de highway-env) avec des changements de régime fréquents (densité de trafic, vitesse, agressivité).

• Configuration : L'environnement change de contexte avec une probabilité $p_{stay} = 0.5$. L'agent utilise une architecture DQN.
• Métriques :
  • EarlyViol : Taux de violation dans la fenêtre immédiate suivant un changement.
  • PeakRisk : Taux de violation maximal sur une fenêtre glissante (capturant les pics de risque).
  • TailViol : Taux de violation sur un horizon plus long après le changement.
• Résultats :
  • La méthode complète (combinant l'ajustement d'optimisation et le blindage) a obtenu le EarlyViol le plus bas, indiquant une sécurité supérieure durant la phase d'adaptation immédiate.
  • La variante Shield-only (blindage seul) a obtenu le PeakRisk et le TailViol les plus bas, suggérant que le blindage est plus efficace pour supprimer les risques de pointe et les violations de queue à long terme dans cette implémentation spécifique.
  • La variante Adj-only (ajustement seul) a amélioré la sécurité précoce mais s'est montrée moins efficace pour supprimer les risques de pointe par rapport au blindage.
  • Analyse du Temps depuis le Changement (Time-Since-Switch) : La méthode complète a montré une réduction des probabilités de violation spécifiquement dans les fenêtres à court horizon suivant un changement de contexte, confirmant la capacité du mécanisme à resserrer proactivement les contraintes lorsque l'adaptation est prédite comme étant infaisable.

5. Signification et Revendications

L'article soutient que la sécurité sous non-stationnarité dépend fondamentalement de la faisabilité de l'adaptation. Les auteurs affirment que lorsqu'un changement de contexte prévu survient plus rapidement que le système d'apprentissage ne peut s'adapter en toute sécurité, une intervention de sécurité proactive est nécessaire pour prévenir les comportements dangereux transitoires.

• Portée Modeste : Les auteurs précisent explicitement que $C_{adapt}$ est un seuil de récupération opérationnel, et non une mesure complète de la plasticité neuronale ou de l'adaptabilité au niveau des paramètres. Le travail ne vise pas à caractériser l'oubli catastrophique ou les mécanismes internes de perte de plasticité.
• Contribution Primaire : La signification réside dans le passage d'une spécification de sécurité statique à une adaptation sûre faisable. Le cadre fournit un critère opérationnel pour déterminer quand un environnement change trop rapidement pour que l'agent puisse s'adapter en toute sécurité, déclenchant ainsi des interventions plus fortes (blindage, resserrement des contraintes) avant que les violations ne surviennent.
• Limites : L'évaluation se concentre sur les diagnostics de sécurité ciblés par le mécanisme. Les auteurs notent que l'analyse plus large du rendement de la tâche et les évaluations dans des environnements plus diversifiés restent des directions de travail futures. Les résultats suggèrent que bien que la méthode combinée améliore la sécurité de la phase initiale, la composante de blindage seule peut être plus conservatrice pour la suppression des risques de pointe et de queue dans certaines configurations.