Résumé Technique : Apprentissage par Renforcement Robuste avec Contrainte de Coût de Pic (RP-CRL)

1. Formulation du Problème

Le papier traite du Apprentissage par Renforcement Robuste avec Contrainte de Coût de Pic (RP-CRL), un cadre de problème où un agent doit maximiser la récompense cumulative attendue tout en garantissant que le coût maximum rencontré le long de n'importe quelle trajectoire reste inférieur à un seuil spécifié. Cette formulation est motivée par des applications critiques pour la sécurité où une seule violation catastrophique est inacceptable, rendant les cadres standards de processus de décision markovien contraint (CMDP) — qui reposent sur un coût cumulatif attendu — insuffisants.

Les auteurs formalisent deux défis critiques :

1. Contraintes de Coût de Pic : Contrairement aux CMDP standards, la contrainte dépend du maximum de coût par trajectoire plutôt que d'une somme additive. Cela conduit à un problème d'optimisation non convexe par rapport à la mesure d'occupation état-action.
2. Écart Sim-to-Real : Les politiques entraînées en simulation échouent souvent dans le monde réel en raison de décalages dans la dynamique des transitions. Le papier recherche une politique qui satisfait la contrainte de coût de pic sous les pires cas de dynamiques de transition au sein d'un ensemble d'incertitude prescrit.

Le problème d'optimisation central est défini comme :
$$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$$
où $V^{\pi,P}_{c,peak}$ représente la fonction de valeur de coût de pic robuste, et $\mathcal{P}$ est l'ensemble d'incertitude des modèles de transition.

2. Contributions Clés et Insights Théoriques

A. Écart de Dualité Non Nul dans les MDP de Coût de Pic

Une contribution théorique primaire est la démonstration que, contrairement aux CMDP standards, les MDP avec contrainte de coût de pic peuvent ne pas admettre un écart de dualité nul, même lorsque la condition de Slater est satisfaite.

• Raisonnement : La contrainte de type "hard-max" détruit la convexité du problème par rapport à la mesure d'occupation état-action.
• Implication : Les méthodes primal-dual basées sur le Lagrangien standard, qui reposent sur la dualité forte pour récupérer la solution optimale, ne sont pas garanties de fonctionner pour les problèmes de coût de pic. Les auteurs fournissent un contre-exemple (même dans un MDP à deux états) montrant que la relaxation lagrangienne peut être strictement lâche.

B. Cadre d'Optimisation de Substitut Robuste

Pour surmonter l'absence de dualité forte et traiter l'incertitude de la dynamique, les auteurs proposent un cadre d'optimisation de substitut (surrogate).

• Objectif de Substitut : Au lieu de résoudre directement le problème contraint, ils minimisent un objectif de substitut qui équilibre la pire récompense et la pire violation de contrainte :
  $$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$$
• Garantie Théorique : Les auteurs prouvent qu'avec un choix approprié de l'hyperparamètre $\beta$ (spécifiquement $\beta \geq C_{max}/\epsilon$), la solution optimale de ce problème de substitut atteint la même valeur de récompense robuste que le problème original tout en violant la contrainte d'au plus $\epsilon$.

C. Estimation de Valeur Robuste via IPM

Pour gérer efficacement l'ensemble d'incertitude $\mathcal{P}$, le papier utilise les Métriques de Probabilité Intégrale (IPM).

• Pour les espaces d'états continus, l'ensemble d'incertitude est défini via une distance IPM par rapport à un modèle nominal $P_0$.
• Cela permet une expression en forme close de l'opérateur de Bellman robuste sous approximation de fonction linéaire. Spécifiquement, la mise à jour de la fonction de valeur dans le pire cas inclut un terme de régularisation proportionnel à la norme des poids de la fonction de valeur :
  $$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$$
  Cette formulation évite l'intraitabilité computationnelle des ensembles d'incertitude non rectangulaires.

3. Méthodologie : L'Algorithme RP-CRL

L'algorithme proposé, RP-CRL, est un cadre Acteur-Critique adapté pour l'optimisation robuste à contrainte de pic.

• Acteur : Mis à jour en utilisant un objectif découpé (clipped) de type Optimisation de Politique Proximale (PPO). Le signal d'avantage utilisé pour la mise à jour de l'acteur est sélectionné dynamiquement selon que la politique actuelle est réalisable ou non.
• Critique : Deux critiques sont maintenus :
  1. Critique de Récompense ($V_r$) : Estime la récompense robuste attendue.
  2. Critique de Coût de Pic ($V_{c,peak}$) : Estime le coût de pic robuste en utilisant une récursion avec remise (discounted) impliquant un opérateur max (approximé via Log-Sum-Exponential pour la lissité).
• Robustification : Les deux critiques incorporent le terme de robustification basé sur l'IPM (la régularisation $\rho \|\cdot\|$) dans leurs calculs d'erreur de différence temporelle (TD).
• Boucle d'Entraînement : L'algorithme alterne entre la mise à jour des critiques de récompense et de coût. Une fonction de sélection détermine si l'on doit prioriser la minimisation de la violation de contrainte (si infaisable) ou la maximisation de la récompense (si réalisable), résolvant ainsi efficacement le problème de substitut.

4. Résultats Expérimentaux

Les auteurs évaluent RP-CRL sur les environnements CartPole et MuJoCo (Ant, HalfCheetah, Humanoid, Swimmer) sous des dynamiques perturbées.

• Baselines : Les comparaisons sont faites contre :
  1. Une méthode de Primal-Dual (PD) adaptée aux contraintes de coût de pic (issues de travaux antérieurs [5], [6]).
  2. L'objectif de substitut proposé, entraîné dans un environnement non perturbé (nominal).
• Configuration de Perturbation : L'entraînement implique l'injection de bruit dans les dynamiques du système (ex: gravité $g$ ou viscosité). L'inférence est testée sous des perturbations plus fortes.
• Résultats Clés :
  • Satisfaction des Contraintes : RP-CRL parvient à maintenir le coût de pic en dessous de la baseline (atteignant souvent un coût de pic nul) même sous des perturbations de dynamique significatives. En revanche, le substitut non robuste et la méthode PD violent fréquemment les contraintes lors de l'inférence.
  • Performance de Récompense : RP-CRL obtient des rendements plus élevés que la méthode PD, qui a tendance à apprendre des politiques sous-optimales en raison de l'absence de dualité forte.
  • Robustesse : L'entraînement avec la formulation robuste (substitut + IPM) conduit à des courbes d'apprentissage plus lisses avec une variance plus faible et une meilleure généralisation aux perturbations non vues par rapport à l'entraînement sur des dynamiques nominales.
  • Généralisabilité : La méthode fonctionne efficacement à travers différentes définitions de fonctions de coût et différents niveaux de perturbation ($\sigma$).

5. Signification et Revendications

Le papier affirme que RP-CRL constitue une avancée nécessaire pour l'apprentissage par renforcement critique pour la sécurité en :

1. Corrigeant les Hypothèses Théoriques : Établissant que la dualité forte ne tient pas pour les contraintes de coût de pic, invalidant ainsi l'application directe des méthodes lagrangiennes standards pour cet objectif de sécurité spécifique.
2. Comblant le Fossé Sim-to-Real : Offrant un cadre d'optimisation robuste qui garantit que les contraintes de sécurité sont respectées même lorsque l'environnement déployé diffère du simulateur d'entraînement.
3. Efficacité Pratique : Démontrant par des expériences que l'approche de substitut proposée, combinée à l'estimation de valeur robuste par IPM, impose efficacement la sécurité tout en conservant de solides performances de récompense dans des environnements incertains.

Les auteurs notent que bien que la solution de substitut atteigne la valeur de récompense robuste du problème original, les garanties de convergence pour l'algorithme acteur-critique proposé dans de grands espaces d'états sont laissées à des travaux futurs.