Résumé Technique : BAPR (Apprentissage par Renforcement Robuste par Morceaux Amnésique Bayésien)

1. Énoncé du Problème

Les systèmes de contrôle réels fonctionnent souvent dans des conditions stationnaires par morceaux, où les dynamiques restent stables pendant de longues périodes avant de subir des changements de régime abrupts. Les algorithmes d'Apprentissage par Renforcement (AR) standards, en particulier les méthodes hors politique comme Soft Actor-Critic (SAC), souffrent du Problème de Péremption des Régimes :

1. Contamination du Tampon : Le tampon de replay accumule des transitions provenant de régimes expirés, « empoisonnant » le critique avec des données obsolètes.
2. Désalignement des Valeurs : La fonction Q apprise échoue à converger vers la valeur optimale du régime actuel en raison d'un biais persistant provenant des transitions périmées, même lorsque de nouvelles données sont collectées.

Les solutions existantes tombent dans deux catégories défectueuses :

• Adaptation Réactive (ex. : Politiques conditionnées au contexte, AR Méta) : Elles s'adaptent continuellement mais manquent de détection de changement principielle, introduisant une variance inutile pendant les périodes stables.
• Robustesse Statique (ex. : MDP Robustes) : Elles se prémunissent contre l'incertitude du pire cas en utilisant des ensembles statiques, ce qui conduit à un conservatisme excessif pendant les périodes stables et à une protection insuffisante immédiatement après un changement de régime.

Le défi central consiste à concevoir un système capable de détecter les changements de régime en temps réel, de moduler le conservatisme en fonction de la confiance et d'oublier les informations périmées sans sacrifier les garanties de convergence.

2. Méthodologie : Cadre BAPR

Les auteurs proposent BAPR (SAC Robuste par Morceaux Amnésique Bayésien), qui unifie la Détection de Changement en Ligne Bayésienne (BOCD) avec le cadre RE-SAC (Ensemble Robuste SAC).

2.1 Cœur Théorique : L'Opérateur BAPR

BAPR définit un mélange pondéré par la croyance d'opérateurs de Bellman conditionnels au mode. Soit $\mathcal{M}$ l'ensemble des modes de l'environnement. L'opérateur est défini comme suit :
$$T^{BAPR}_{\rho} Q(s, a) = \sum_{m \in \mathcal{M}} \rho(m) \cdot T_m Q(s, a)$$
où $T_m$ est l'opérateur de Bellman pour le mode $m$, et $\rho(m)$ est une distribution de croyance sur les modes.

Insight Théorique Clé :

• Garantie de Contraction : Si les poids de croyance $\rho$ sont gelés pendant la mise à jour de Bellman, l'opérateur est une contraction $\gamma$. Cela assure la convergence vers un point fixe unique.
• Nécessité des Croyances Gelées : L'article fournit un contre-exemple vérifié par machine (en Lean 4) montrant que si les croyances dépendent de la fonction Q (c'est-à-dire $\rho(Q)$), le facteur de contraction devient $\gamma + \lambda\Delta$ (où $\Delta$ est l'écart de récompense entre les modes). La contraction échoue exactement lorsque $\gamma + \lambda\Delta \geq 1$. Ainsi, la conception « croyance gelée » est une nécessité structurelle, et non une simple commodité.

2.2 Composants

1. Détection de Changement en Ligne Bayésienne (BOCD) :

   • Maintient une distribution a posteriori $\rho(h)$ sur les longueurs d'exécution $h$ (temps écoulé depuis le dernier point de changement).
   • Utilise un détecteur de « surprise » multi-signaux ($\xi_t$) fusionnant les scores-z de récompense, les ratios d'écart-type des valeurs Q de l'ensemble et la divergence de pénalité aléatoire.
   • Le modèle de vraisemblance suppose que la variance croît linéairement avec la longueur d'exécution ($\sigma^2_0 + \sigma_g h$), permettant au système de distinguer les fluctuations stables des changements de régime.
   • Conservatisme Adaptatif : L'a posteriori pilote une pénalité pondérée par la croyance $\lambda_w$. Lorsqu'un changement est détecté (forte surprise), $\lambda_w$ augmente brusquement, accroissant le conservatisme. À mesure que la confiance croît, $\lambda_w$ décroît, assouplissant la politique. C'est le composant « Amnésique ».

2. Conditionnement par Contexte via RMDM :

   • Pour identifier quel régime est actif (et non seulement quand il a changé), BAPR utilise un réseau de contexte entraîné via la fonction de perte Apprentissage de Représentation pour la Détection et l'Appariement de Modes (RMDM).
   • Entraînement : Utilise les identifiants de mode fournis par le simulateur comme cibles supervisées pour imposer la cohérence intra-mode et la diversité inter-mode.
   • Déploiement : Ne nécessite aucune étiquette de mode ; l'agent infère le régime à partir des transitions observées via l'embedding de contexte appris.

3. Détails d'Implémentation :

   • Critique Partagé : Au lieu de maintenir $M$ critiques séparés, BAPR utilise un unique critique d'ensemble conditionné par l'embedding de contexte $e$ et la croyance BOCD.
   • Approximation : L'opérateur de mélange théorique est approximé par une pénalité adaptative scalaire $\beta_{eff} = \beta_{base} - \lambda_w \cdot c_{penalty}$. Ce scalaire est gelé pendant chaque mise à jour de Bellman pour satisfaire l'exigence de contraction.
   • Correction Hors Politique : Les auteurs ont empiriquement constaté que stocker le vecteur de croyance au moment du déploiement pour chaque transition (correction hors politique standard) nuit aux performances en raison du bruit précoce de l'entraînement. Ils recommandent plutôt d'utiliser la croyance courante au moment de la mise à jour.

3. Contributions Clés

1. Caractérisation Précise de la Conception à Paramètres Gelés : L'article établit une frontière nette pour la contraction dans les opérateurs pondérés par la croyance. Il prouve que l'opérateur BAPR est une contraction $\gamma$ uniquement si les croyances sont gelées, et démontre via des contre-exemples vérifiés par machine que les croyances dépendantes de Q brisent cette garantie.
2. Taux de Convergence Formel par Morceaux : Sous des hypothèses structurelles (Séparabilité des Modes, Surprise Lipschitzienne, Période Métastable), les auteurs dérivent un taux de convergence formel montrant que l'erreur de valeur Q décroît polynomialement après les changements de régime, sans dépendance exponentielle par rapport à l'horizon.
3. Conservatisme Adaptatif Sûr et Prouvé : Le mécanisme de pénalité adaptative est prouvé (vérifié par machine) pour ne jamais réduire le conservatisme en dessous de la ligne de base RE-SAC ($\beta_{eff} \leq \beta_{base}$), assurant ainsi la sécurité.
4. Vérification Formelle Complète : Tous les résultats théoriques, y compris la preuve de contraction, le contre-exemple et le budget d'erreur, sont vérifiés par machine en Lean 4 (1 145 lignes, 22 théorèmes, 0 sorry), fournissant un audit rigoureux de la conception de l'algorithme.
5. Conditionnement par Contexte avec RMDM : Une nouvelle fonction de perte permettant des représentations conscientes des modes pendant l'entraînement tout en permettant un déploiement zero-shot sans étiquettes de mode.

4. Résultats Expérimentaux

Les auteurs ont évalué BAPR sur des variantes non stationnaires de tâches de locomotion MuJoCo (Hopper, HalfCheetah, Walker2d, Ant) avec des changements de régime intra-épisode.

• Performance : BAPR a systématiquement surpassé ou égalé les lignes de base (SAC, RE-SAC, ESCP).
  • Sur HalfCheetah et Ant, BAPR a significativement surpassé RE-SAC et ESCP.
  • Sur Ant (référence à régime discret), BAPR a atteint une séparation distributionnelle complète par rapport à ESCP, la pire graine BAPR surpassant la meilleure graine ESCP de 82 %.
  • Sur Walker2d et Hopper, toutes les méthodes ont eu du mal à converger sous le protocole spécifique de changement de régime, suggérant que la difficulté réside dans la tâche d'équilibre bipède/unipède elle-même plutôt que dans l'algorithme.
• Études d'Ablation :
  • RMDM était le composant le plus critique (son retrait a causé une baisse de performance d'environ 47 %).
  • BOCD a contribué à une amélioration d'environ 21 % par rapport à la robustesse statique.
  • $\beta$ Adaptatif seul a contribué à environ 9 %.
  • Stockage de croyance par transition : Désactiver le stockage des croyances historiques (en utilisant les croyances courantes à la place) a amélioré les performances, contredisant l'intuition hors politique standard mais s'alignant sur la nécessité d'éviter le bruit précoce de l'entraînement.
• Dynamique de Détection : BOCD a détecté les changements de régime avec un délai médian de 13 itérations, démontrant le comportement d'« Amnésie Bayésienne » (augmentation de l'incertitude suivie d'une reconcentration).

5. Signification et Revendications

L'article revendique une importance dans trois domaines principaux :

1. Rigueur Méthodologique : En intégrant BOCD à l'AR robuste par ensemble, BAPR fournit un pont principiel entre la détection de points de changement et le conservatisme adaptatif, résolvant le compromis entre stabilité et adaptabilité dans les environnements stationnaires par morceaux.
2. Vérification Formelle : Le travail sert d'outil d'audit de conception, utilisant la vérification par machine pour révéler des dépendances structurelles (comme la nécessité de croyances gelées) souvent négligées dans les preuves informelles. Les auteurs considèrent cette vérification comme une contribution à la méthodologie de conception d'algorithmes vérifiables.
3. Efficacité Pratique : Le cadre démontre qu'un conservatisme adaptatif piloté par l'incertitude a posteriori bayésienne peut améliorer significativement les performances dans des tâches de coordination de haute dimension (comme Ant) où la conscience du contexte est critique, tout en maintenant des garanties formelles de convergence.

Les auteurs restent modestes concernant les résultats Walker2d/Hopper, attribuant l'échec de convergence à la difficulté inhérente de la tâche d'équilibre sous changement de régime plutôt qu'à un défaut de BAPR. Ils notent également que l'exigence de « croyance gelée » est une nécessité théorique pour la contraction, même si la variante « Bad-BAPR » (dépendante de Q) n'a pas échoué de manière catastrophique dans leurs expériences spécifiques sur HalfCheetah (probablement parce que l'écart de récompense $\Delta$ était inférieur au seuil critique).