Résumé Technique : Optimisation de Politiques sous Contrainte d'Utilité

Définition du Problème

L'article traite des limites des Processus de Décision de Markov à Contraintes (CMDP) dans l'Apprentissage par Renforcement (RL). Bien que les CMDP soient le cadre standard pour intégrer des contraintes de sécurité, ils imposent des contraintes neutres face au risque (risk-neutral), ce qui signifie que les contraintes ne sont satisfaites qu'en espérance. Cette neutralité face au risque permet à des politiques optimales d'occasionnellement engendrer des violations catastrophiques des contraintes tant qu'elles sont peu fréquentes, ce qui conduit à un comportement peu fiable. À l'inverse, des politiques excessivement conservatrices peuvent être adoptées pour éviter ces violations rares.

Les tentatives antérieures pour traiter la sensibilité au risque (par exemple, via des contraintes de chance ou la CVaR) entraînent souvent des politiques dépendantes de l'historique et impossibles à apprendre, ou reposent sur des modifications ad hoc comme la terminaison précoce ou des calendriers de pénalités sans cadre théorique unifié. Les auteurs proposent les Processus de Décision de Markov à Utilité Contrainte (UCMDP) comme le cadre naturel pour les contraintes sensibles au risque, mais notent que les solutions pratiques pour les UCMDP ont historiquement manqué.

Méthodologie : Politiques à Utilité Contrainte (UCP)

Les auteurs introduisent les Politiques à Utilité Contrainte (UCP), un algorithme de deep RL lagrangien pratique conçu pour résoudre les UCMDP. La méthodologie repose sur trois composantes clés :

1. Formulation avec Augmentation de Stock

Pour rendre les UCMDP solubles avec des politiques markoviennes, les auteurs adoptent une formulation d'état à augmentation de stock, s'appuyant sur les travaux d'Ávila Pires et al. [2025].

• Stock ($Z_t$) : Une variable cumulative suivant l'historique des récompenses/coûts. Contrairement aux formulations précédentes utilisant un stock escompté (discounted), l'UCP utilise un stock non escompté défini par $Z_{t+1} = Z_t + R_{t+1}$.
• Justification : Le stock non escompté aligne l'état interne de l'agent avec la métrique d'évaluation standard du coût cumulé de l'épisode. Cela empêche l'inflation exponentielle des coûts précoces observée dans les mises à jour avec escompte inverse, rendant le problème d'apprentissage plus stable.
• Entrée de la politique : Les limites de contrainte sont encodées comme la valeur initiale du stock ($Z_0$). Par conséquent, la politique $\pi(a|s, z)$ prend le stock initial (et donc le budget de contrainte) en entrée aux côtés de l'état de l'environnement. Cela permet à la même politique entraînée de fonctionner sous différents budgets de contrainte sans réentraînement.

2. Architecture Algorithmique (Acteur-Critique Lagrangien)

L'UCP utilise une approche acteur-critique primal-dual pour résoudre le problème d'optimisation contrainte :
$$\inf_{\lambda_z \ge 0} \sup_{\pi} \left( \mathbb{E}[f(Z_0 + G^\pi_0)] - \lambda_z \mathbb{E}[g(Z_0 + G^\pi_0)] \right)$$
Où $f$ est l'utilité de l'objectif et $g$ est l'utilité de la contrainte.

• Critique : L'agent utilise un critique distributionnel (spécifiquement via la régression quantile) pour estimer la distribution complète des retours (cumulants), plutôt que seulement la valeur attendue. Ceci est essentiel pour évaluer des fonctions d'utilité non linéaires (sensibles au risque).
• Acteur : L'acteur est entraîné pour maximiser l'utilité espérée de la distribution des retours, plutôt que la valeur Q standard. La fonction d'objectif de l'acteur est modifiée par rapport au Soft Actor-Critic (SAC) standard pour devenir :
  $$L^{UO}_{actor} = \mathbb{E}[u(z + G_\psi(s, z, A_\theta))] - \alpha \log \pi_\theta(A_\theta|s, z)$$
  où $u(x) = f(x) - \lambda_z g(x)$.
• Mise à jour du multiplicateur de Lagrange : Le multiplicateur $\lambda_z$ est mis à jour périodiquement en fonction de la violation de contrainte observée sur les épisodes, en utilisant une tolérance $\epsilon$ pour gérer les cas où la faisabilité stricte est difficile.

3. Stratégie d'Entraînement : Randomisation du Stock

Pour permettre la généralisation à travers différents budgets de contrainte, le stock initial $Z_0$ est échantillonné uniformément de manière aléatoire dans une plage de valeurs pendant l'entraînement (par exemple, $[-30, 0]$). Cela force la politique à apprendre une correspondance entre divers niveaux de budget et les actions optimales, permettant à l'agent de s'adapter à de nouveaux budgets lors du test sans réentraînement.

Principales Contributions

1. Solution Pratique pour UCMDP : L'article introduit une modification des UCMDP qui supporte des politiques markoviennes optimales via l'augmentation de stock, rendant le problème pratiquement soluble.
2. Algorithme UCP : La proposition de l'UCP, un agent de deep RL lagrangien combinant des critiques distributionnels, des états augmentés de stock et une optimisation d'utilité espérée.
3. Limites de Contrainte Flexibles : Le cadre permet de définir les limites de contrainte après l'entraînement en faisant varier l'entrée du stock initial, éliminant le besoin de réentraînement lorsque les budgets de sécurité changent.
4. Validation Empirique : Évaluation approfondie sur le benchmark Safety Gymnasium démontrant que l'UCP égale ou surpasse les bases de référence existantes.

Résultats Expérimentaux

Les auteurs ont évalué l'UCP sur le benchmark Safety Gymnasium, spécifiquement sur les suites de tâches Safety Velocity et Safety Navigation.

• Performance vs Baselines : L'UCP égale ou surpasse systématiquement les bases de référence de pointe (incluant PPO-Lag, SAC-Lag, PID-Lag, Sauté RL et les MDP à terminaison précoce).
  • Dans les tâches Safety Velocity, l'UCP obtient des retours comparables ou supérieurs tout en respectant les contraintes de coût.
  • Dans les tâches Safety Navigation, l'UCP surpasse significativement toutes les bases de référence en termes de retour tout en maintenant la sécurité.
• Sensibilité au Risque : Comparé à une variante neutre face au risque, l'UCP sensible au risque réduit considérablement la "queue" (tail) de la distribution des coûts. Il minimise la probabilité de dépasser le budget de coût et réduit l'excès de coût attendu ($\mathbb{E}[\max(X, b)]$) à presque zéro, alors que les méthodes neutres face au risque entraînent souvent des coûts nettement supérieurs au budget lors des épisodes de violation.
• Généralisation : L'étude d'ablation confirme que la randomisation du stock est critique. Les politiques entraînées avec des stocks initiaux aléatoires peuvent se généraliser à des niveaux de budget non vus (ex: budgets de 0, 5, 15, 25) sans réentraînement, tandis que les politiques entraînées sur un seul niveau de budget ne le peuvent pas.
• Stock Non Escompté : L'utilisation du stock non escompté s'est avérée supérieure au stock escompté, menant à de meilleures performances et une meilleure stabilité.

Signification et Revendications

L'article affirme que l'UCP fournit une méthodologie simple mais puissante pour le RL contraint qui surmonte la neutralité face au risque des CMDP standards. En incorporant des contraintes sensibles au risque directement dans la formulation du problème via des fonctions d'utilité et l'augmentation de stock, les auteurs démontrent que :

1. La Sécurité et la Performance peuvent être équilibrées : Des contraintes plus strictes et sensibles au risque peuvent mener à une meilleure performance même sous des métriques d'évaluation neutres face au risque, probablement en évitant les défaillances catastrophiques qui forcent un comportement excessivement conservateur.
2. Flexibilité Opérationnelle : La capacité d'ajuster les limites de contrainte après l'entraînement sans réentraînement offre une valeur pratique significative pour le déploiement dans le monde réel où les budgets de sécurité peuvent varier.
3. Nécessité Distributionnelle : Les résultats soulignent l'importance de modéliser les distributions de retours (via des critiques distributionnels) plutôt que seulement les espérances lorsqu'on traite des contraintes d'utilité non linéaires.

Les auteurs reconnaissent que bien que les résultats empiriques soient solides, le travail manque d'une analyse théorique complète concernant les garanties d'optimalité de la programmation dynamique lagrangienne dans les UCMDP, ainsi que d'une justification fondée sur les principes pour l'utilisation du stock non escompté, identifiant ces points comme des domaines pour de futurs travaux théoriques.