Résumé Technique : Optimisation de Politique Hors Ligne par Échantillonnage Postérieur (PSPO)

1. Énoncé du Problème

L'Apprentissage par Renforcement (RL) Hors Ligne vise à apprendre des politiques optimales à partir de jeux de données historiques fixes, sans interaction supplémentaire avec l'environnement. Un défi fondamental dans ce domaine est le décalage de distribution, où la politique apprise s'écarte du support de la politique comportementale, exposant l'agent à des régions Hors Distribution (OOD). Dans le RL hors ligne basé sur des modèles, cela se manifeste par un compromis critique :

• Généralisation : Synthétiser des transitions OOD cohérentes avec la dynamique peut faciliter la maximisation de la valeur et la généralisation au-delà du support du jeu de données.
• Robustesse : Ces mêmes régions OOD introduisent le risque d'exploitation du modèle, où la politique exploite les erreurs d'approximation du modèle de dynamique pour sélectionner des actions erronées, entraînant un effondrement des performances.

Les approches existantes atténuent généralement l'exploitation du modèle par une régularisation pessimiste excessive. Ces méthodes pénalisent les estimations de valeur OOD basées sur l'incertitude épistémique (par exemple, l'écart-type de la prédiction) afin de restreindre la politique au sein du support du jeu de données. Bien que cela assure la robustesse, cela sacrifie souvent les capacités de généralisation en pénalisant excessivement des transitions OOD valides qui capturent la dynamique physique sous-jacente. La question centrale abordée est de savoir si un algorithme de RL hors ligne basé sur des modèles peut équilibrer généralisation et robustesse face à l'exploitation du modèle sans recourir à un tel pessimisme.

2. Méthodologie : Optimisation de Politique par Échantillonnage Postérieur (PSPO)

PSPO propose un paradigme sans pessimisme ancré dans le cadre du RL bayésien. Au lieu de traiter le modèle de dynamique comme une estimation ponctuelle unique, PSPO formule la modélisation de la dynamique comme un processus d'inférence bayésienne, traitant la dynamique de transition $T$ comme une variable aléatoire avec une distribution postérieure $P(T|E)$ conditionnée par les preuves de transition observées $E$.

2.1 Formulation Bayésienne et Construction du Postérieur

Le cœur de PSPO réside dans la dérivation d'une distribution postérieure $P(T|E)$ qui quantifie explicitement la fidélité du modèle.

• Métrique de Cohérence Empirique : L'article définit une métrique $F(T)$ représentant l'erreur quadratique entre la valeur Q et le backup de Bellman sous un modèle de dynamique spécifique $T$.
• Principe d'Information Minimale : Pour mettre à jour le postérieur, PSPO résout un problème d'optimisation qui minimise la divergence Kullback-Leibler (KL) par rapport à l'a priori tout en satisfaisant la contrainte imposée par la nouvelle preuve (minimisation de l'espérance de $F(T)$). Cela produit un postérieur de la forme :
  $$P(T|E) \propto P(T) \cdot \exp(-\beta \cdot F(T))$$
  Cette formulation permet à l'algorithme de concentrer adaptivement la masse de probabilité sur des modèles à haute fidélité tout en maintenant une probabilité non négligeable sur d'autres candidats, assurant ainsi l'exploration sans intervention manuelle.

2.2 Cadre Algorithmique

PSPO intègre l'échantillonnage postérieur avec l'optimisation de politique contrainte :

1. Échantillonnage Postérieur pour les Simulations : Au lieu de moyenner les prédictions (ce qui efface l'incertitude), PSPO échantillonne des modèles de dynamique à partir du postérieur $P(T|E)$ pour synthétiser des transitions. Cela préserve la stochasticité inhérente à l'incertitude épistémique, implémentant efficacement une variante de l'Échantillonnage de Thompson. Cela permet à la politique d'explorer des régions OOD cohérentes avec la dynamique.
2. Optimisation de Politique Contrainte : Pour assurer la stabilité et prévenir l'exploitation, l'optimisation de la politique est décomposée en une séquence de sous-problèmes contraints. L'objectif est régularisé par un terme de divergence KL par rapport à une politique de référence (généralement la politique comportementale), limitant l'amplitude des mises à jour de la politique.
3. Régularisation Itérative : L'algorithme alterne entre :
   • Étape E : Mise à jour de la croyance postérieure $P(T|E)$ basée sur les estimations de valeur Q actuelles.
   • Étape M : Optimisation de la politique sous le postérieur fixe en utilisant un objectif contraint garantissant une amélioration monotone.

2.3 Garanties Théoriques

• Convergence : L'estimation de la valeur Q sous échantillonnage postérieur est formulée comme un problème d'approximation stochastique. Les auteurs prouvent que l'opérateur de Bellman basé sur l'échantillonnage postérieur est une contraction $\gamma$ et que la variance de la cible stochastique est bornée. Par conséquent, le processus d'estimation converge vers la valeur Q optimale ($Q^*$) sous des schedules d'apprentissage standards (via le théorème de Robbins-Monro).
• Amélioration Monotone : L'optimisation de la politique est décomposée en sous-problèmes contraints. L'article démontre que la résolution de ces sous-problèmes garantit une amélioration monotone de la fonction objectif originale $J(\pi)$ jusqu'à convergence, à condition que la contrainte KL soit suffisamment petite.

3. Contributions Clés

1. Paradigme Sans Pessimisme : PSPO se distingue des approches précédentes de RL hors ligne basées sur des modèles en évitant la pénalisation explicite basée sur l'incertitude (pessimisme). Au lieu de cela, il équilibre généralisation et robustesse par l'échantillonnage postérieur et l'optimisation contrainte.
2. Modélisation Bayésienne de la Dynamique : Il traite les modèles de dynamique comme des variables aléatoires et dérive un postérieur conditionné par des preuves empiriques, quantifiant explicitement la fidélité du modèle pour guider l'exploration.
3. Fondements Théoriques : L'œuvre établit la convergence de l'estimation de la valeur Q sous échantillonnage postérieur et prouve l'amélioration monotone du processus d'optimisation de la politique.
4. Performances de l'État de l'Art : Des expériences extensives démontrent que PSPO atteint des performances supérieures par rapport aux références de l'état de l'art (SoTA) existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué PSPO sur des benchmarks standards, notamment la suite D4RL (couvrant HalfCheetah, Hopper et Walker2d avec diverses qualités de jeux de données telles que Random, Medium, Expert et Replay) et une tâche exigeante de liquidation optimale hors ligne.

• Benchmarks D4RL : PSPO a obtenu les scores normalisés les plus élevés sur 14 jeux de données sur 18. Notamment, il a démontré des gains substantiels sur des jeux de données avec des trajectoires de haute qualité limitées (par exemple, "Medium", "Medium-Expert" et "Full-Replay"). L'analyse statistique (test t apparié) a confirmé que ces améliorations sont significatives ($p \approx 0,029$) par rapport à la référence la plus forte (PMDB).
• Liquidation Optimale : Dans un environnement hautement stochastique avec une politique comportementale biaisée, PSPO a constamment atteint une stabilité supérieure et des rendements cumulés plus élevés que les méthodes sans modèle (par exemple, IQL, ORAAC) et basées sur des modèles (par exemple, MOPO, COMBO), qui peinaient à converger.
• Études d'Ablation : La suppression soit du mécanisme d'échantillonnage postérieur (remplacé par une moyenne uniforme), soit de la régularisation de la politique de référence, a entraîné une dégradation substantielle des performances et une instabilité accrue de l'entraînement (écart-type plus élevé), validant la nécessité des deux composantes.
• Analyse du Pessimisme : Les courbes d'apprentissage ont montré que les rendements prédits par le modèle de PSPO dépassaient constamment les performances réelles sans présenter le comportement "trop pessimiste" observé dans d'autres méthodes, confirmant l'efficacité de la conception sans pessimisme.

5. Signification et Revendications

L'article revendique que PSPO résout avec succès le compromis inhérent entre généralisation et robustesse dans le RL hors ligne. En formulant la modélisation de la dynamique comme un processus d'inférence bayésienne, PSPO permet à la politique de tirer parti des transitions OOD cohérentes avec la dynamique pour la généralisation tout en assurant la robustesse face à l'exploitation du modèle par l'optimisation contrainte, le tout sans recourir au pessimisme excessif qui limite la généralisation des méthodes existantes.

Les auteurs positionnent PSPO comme un cadre théoriquement fondé et sans pessimisme qui comble le fossé entre la théorie du RL bayésien et l'évolutivité du RL profond. Ils suggèrent que cette approche offre une base plus robuste pour l'amélioration des politiques dans des contextes hors ligne non stationnaires ou contraints par les données. Les travaux futurs sont identifiés comme pouvant potentiellement utiliser la modélisation générative pour apprendre des a priori informatifs basés sur les données, réduisant davantage la dépendance aux spécifications manuelles.