Résumé Technique : Aborder les processus de décision avec des objectifs non cumulatifs par l'apprentissage par renforcement

Énoncé du Problème

Les processus de décision markoviens (MDP) standards modélisent la prise de décision en maximisant l'espérance de la somme des récompenses sur une trajectoire, définie comme $E_\pi [\sum_{t=0}^{T-1} r_t]$. Cependant, de nombreuses applications du monde réel nécessitent d'optimiser des Processus de Décision Markoviens Non-Cumulatifs (NCMDP), où l'objectif est de maximiser l'espérance de la valeur d'une fonction $f$ arbitraire des récompenses, plutôt que leur somme :
$$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$$
Des exemples d'objectifs de ce type incluent la maximisation de la récompense minimale (problèmes de type "maillon faible"), l'optimisation du ratio de Sharpe (moyenne divisée par l'écart-type des rendements), ou la minimisation de la vitesse maximale dans les tâches de contrôle. Les méthodes existantes pour résoudre les NCMDP sont limitées : elles restreignent souvent les objectifs à des fonctions spécifiques (par exemple, uniquement le maximum), ne fonctionnent que dans des environnements déterministes, ou nécessitent de modifier les algorithmes fondamentaux d'apprentissage par renforcement (RL) (par exemple, en redéfinissant les erreurs de différence temporelle). Par conséquent, les approches de pointe en RL reposent souvent sur des approximations ou échouent à gérer efficacement les NCMDP stochastiques.

Méthodologie

Les auteurs proposent un cadre théorique général qui projette tout NCMDP vers un MDP standard, permettant ainsi l'application directe des solveurs MDP existants (tels que la programmation dynamique ou les algorithmes de deep RL comme PPO) sans modification algorithmique.

Le Mécanisme de Correspondance

L'innovation centrale est la construction d'un espace d'états augmenté et d'une fonction de récompense adaptée. Étant donné un NCMDP $\tilde{M}$ avec des états $\tilde{s}_t$, des récompenses $\tilde{r}_t$ et une fonction d'objectif $f$, le MDP correspondant $M$ est défini comme suit :

1. États Adaptés ($s_t$) : L'espace des états est étendu pour inclure un vecteur d'historique $h_t$ qui encapsule toute l'information nécessaire de l'historique des récompenses requise pour calculer la fonction d'objectif.
   $$s_t = (\tilde{s}_t, h_t)$$
   Le vecteur $h_t$ est mis à jour à chaque étape via une fonction $u$ : $h_{t+1} = u(h_t, \tilde{r}_t)$. Pour de nombreuses fonctions courantes (ex: max, min, ratio de Sharpe), $h_t$ peut être maintenu avec une taille constante.

2. Récompenses Adaptées ($r_t$) : La récompense immédiate dans le nouveau MDP est définie comme le changement incrémentiel de la valeur de la fonction d'objectif :
   $$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$$
   Cela garantit que la somme cumulative des récompenses adaptées dans le MDP est égale à la valeur de l'objectif non cumulatif dans le NCMDP d'origine :
   $$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$$

3. Équivalence : Les auteurs prouvent que la politique optimale pour le MDP construit est équivalente à la politique optimale pour le NCMDP d'origine. De plus, toute politique produit la même espérance de rendement dans les deux formulations. Cela permet d'appliquer directement les garanties de convergence standard (par exemple, pour le Q-learning ou les gradients de politique) aux NCMDP.

Implémentation

L'approche traite l'environnement NCMDP et le solveur MDP comme des boîtes noires. Une couche intermédiaire simple calcule les états et les récompenses adaptés, ne nécessitant aucun changement à l'algorithme de RL sous-jacent. Cela facilite l'utilisation de bibliothèques standard (ex: Stable-Baselines3) pour des problèmes non cumulatifs.

Contributions Clés

1. Cadre Théorique : Introduction d'une correspondance générale entre les NCMDP et les MDP standards qui accepte des objectifs non cumulatifs arbitraires dans des environnements tant déterministes que stochastiques.
2. Agnosticisme Algorithmique : La méthode permet l'utilisation de n'importe quel solveur MDP existant sans modifier l'algorithme d'apprentissage lui-même, contrairement aux travaux antérieurs qui nécessitaient de redéfinir les règles de mise à jour.
3. Gestion de l'Espace d'États : Identification des conditions sous lesquelles l'information d'état supplémentaire $h_t$ reste de taille constante, rendant l'approche scalable pour les techniques de deep RL malgré l'expansion de l'espace d'états.
4. Validation Empirique : Démonstration de l'efficacité de la méthode à travers divers domaines, incluant le contrôle classique, l'optimisation de portefeuille financière et l'optimisation discrète.

Résultats Expérimentaux

Les auteurs ont évalué leur approche par rapport aux formulations MDP standard et aux méthodes antérieures spécifiques aux NCMDP à travers trois domaines :

• Contrôle Classique (Lunar Lander) : La tâche consistait à maximiser une fonction de récompense pénalisée par la vitesse maximale durant une trajectoire. La méthode proposée (MAXVELPPO) a obtenu un compromis supérieur entre la sécurité de l'atterrissage et la vitesse maximale par rapport à une approche cumulative (FINALPPO) qui n'ajoutait la pénalité qu'à la fin. L'ajout d'un historique à l'agent cumulatif n'a pas amélioré ses performances, tandis que l'approche par correspondance intégrait naturellement l'historique.
• Optimisation de Portefeuille : L'objectif était de maximiser le ratio de Sharpe. La méthode proposée (SHARPE) a optimisé directement le ratio de Sharpe exact, surpassant les agents utilisant l'approximation du ratio de Sharpe différentiel (DIFFSHARPE) ou une formulation de récompense finale (FINALSHARPE).
• Optimisation Discrète :
  • Environnement Peak : Dans un problème fictif nécessitant des augmentations de coûts intermittentes pour trouver un minimum global, l'objectif non cumulatif (MAXREINFORCE) s'est entraîné de manière nettement plus rapide que la base cumulative. L'analyse a montré que cela était dû à une réduction de la variance du gradient et à une direction de gradient plus avantageuse.
  • Correction d'Erreur Quantique & Diagrammes ZX : Dans les tâches impliquant la découverte de circuits quantiques et la simplification de diagrammes ZX, l'approche non cumulative (MAXPPO) a généralement surpassé le PPO standard. Dans la tâche des diagrammes ZX, l'agent non cumulatif a exploré plus efficacement (entropie de politique plus élevée) et a atteint la performance optimale en environ la moitié des étapes d'entraînement requises par l'agent cumulatif.

Signification et Revendications

L'article affirme que ce travail élargit considérablement la portée de l'apprentissage par renforcement en unifiant les objectifs non cumulatifs avec les solveurs MDP standards. Les auteurs soulignent que :

• La méthode élimine le besoin de solveurs NCMDP spécialisés, souvent limités au cas déterministe.
• Elle permet aux chercheurs de spécifier des objectifs exacts (ex: ratio de Sharpe, récompense minimale) directement à l'agent sans approximation.
• L'implémentation est simple, ne nécessitant qu'une couche de correspondance, ce qui la rend accessible aux experts de domaine qui ne sont pas des spécialistes du RL.
• L'approche améliore à la fois la performance finale et l'efficacité de l'entraînement dans les tâches où l'objectif dépend de l'historique de la trajectoire de manière non additive.

Les auteurs notent des limites, telles que l'augmentation potentielle de la taille de l'espace d'états (bien que gérable par le deep RL) et l'observation que, dans certaines tâches d'optimisation discrète avec de longues trajectoires, l'apprentissage peut être initialement lent si l'agent subit fréquemment une récompense nulle. Ils reconnaissent également que, bien que leur méthode améliore les performances au sein de l'environnement entraîné, la généralisation à des périodes non vues (ex: données financières) reste un défi commun à tous les agents de RL dans ces domaines.