Résumé technique : Optimisation de politique hors ligne régularisée avec croyance bayésienne hybride postérieure (PhyB)

1. Énoncé du problème

L'apprentissage par renforcement (RL) hors ligne cherche à optimiser des politiques en utilisant des ensembles de données pré-collectés sans interaction supplémentaire avec l'environnement. Un goulot d'étranglement primaire dans ce paradigme est la gestion de l'incertitude épistémique, qui provient de deux sources :

1. Incertitude au niveau de l'échantillon : causée par une couverture partielle de l'ensemble de données.
2. Incertitude au niveau du modèle : découlant de l'ambiguïté dans l'identification de dynamiques de transition uniques à partir de données finies.

Bien que le RL bayésien offre un cadre unifié pour quantifier ces incertitudes en traitant les modèles de dynamique comme des variables aléatoires, l'optimisation de politique pratique reste un défi computationnel. Les approches existantes sont confrontées à un compromis :

• Les techniques basées sur la recherche (par exemple, la programmation linéaire en nombres entiers mixtes, la recherche arborescente de Monte Carlo) sont théoriquement solides mais ne parviennent pas à passer à l'échelle pour des tâches de haute dimension.
• Les hypothèses restrictives (par exemple, les distributions postérieures fixes, les MDP robustes avec des vraisemblances de Dirac) garantissent la tractabilité mais sacrifient l'adaptabilité et la performance intrinsèque du RL bayésien, menant souvent à un pessimisme excessif.

La question centrale abordée est la suivante : Pouvons-nous développer un algorithme d'optimisation de politique hors ligne computationnellement traitable sous des croyances bayésiennes sans dépendre d'hypothèses restrictives sur la distribution postérieure ?

2. Méthodologie : Croyance Bayésienne Hybride Postérieure (PhyB)

Les auteurs proposent PhyB, un cadre qui reformule l'espérance sur les postulats de modèles en une combinaison convexe sur un sous-ensemble de modèles de dynamique, évitant ainsi les hypothèses de distribution postérieure restrictives.

2.1. Formulation de la croyance

Au lieu de traiter le modèle de dynamique comme une estimation ponctuelle ou de maintenir une distribution postérieure continue complexe, PhyB opère sur un ensemble fini de modèles $\mathcal{T} = \{\tau_0, \dots, \tau_{N-1}\}$.

• Sous-ensemble pessimiste : Un sous-ensemble $\tilde{\mathcal{T}} \subseteq \mathcal{T}$ est formé en sélectionnant les $k$ modèles correspondant aux prédictions de valeurs $Q$ les plus basses (le "bottom-$k$").
• Combinaison convexe : Plutôt que de sélectionner un seul modèle pire cas (ce qui conduit à un pessimisme de type Dirac) ou de moyenner tous les modèles (ce qui dilue le pessimisme), PhyB assigne des poids $\alpha_i$ aux modèles dans $\tilde{\mathcal{T}}$.
• Pondération par régularisation d'entropie : Les poids sont déterminés en résolvant un problème d'optimisation régularisé par l'entropie :
  $$\min_{\alpha} \sum_{i=0}^{k-1} \alpha_i q_{\tau_i}(s, a) + \lambda \alpha_i \log \alpha_i$$
  La solution optimale suit une distribution de Boltzmann : $\alpha_i \propto \exp(-q_{\tau_i}(s, a)/\lambda)$.
• Postérieur hybride : Ce schéma de pondération construit une « Croyance Bayésienne Hybride Postérieure » $\tilde{P}(\tau)$, qui est un mélange de distributions unimodales centrées autour de quantiles spécifiques de l'ensemble de modèles. Cela permet une adaptation continue et pilotée par les données du niveau de pessimisme.

2.2. Optimisation de politique régularisée

Pour optimiser la fonction objectif définie par cette croyance hybride, les auteurs abordent deux défis : la géométrie non euclidienne de l'espace des distributions multimodales et le coût computationnel de la résolution de l'équation de Bellman.

• Sous-problèmes régularisés par Bregman : L'optimisation est décomposée en une séquence de sous-problèmes régularisés par la divergence de Bregman ($D_\psi$).
• Algorithme itératif : Un algorithme d'amélioration de politique itératif est proposé où la politique à l'étape $i+1$ est mise à jour en fonction de la politique de référence à l'étape $i$ :
  $$\pi_{i+1} = (\nabla \psi)^{-1} \left( \frac{1}{\beta} (Q - z) + \nabla \psi(\pi_i) \right)$$
  Cette formulation reflète les méthodes de gradient naturel et garantit une amélioration monotone de l'objectif jusqu'à la convergence.

2.3. Garanties théoriques

• Écart borné : L'écart d'objectif induit par l'approximation de la combinaison convexe est prouvé comme étant borné.
• Pessimisme : La méthode induit une borne inférieure sur le véritable rendement attendu. L'écart entre le rendement estimé et le rendement réel s'amenuise à mesure que la fidélité du modèle augmente et que la taille du sous-ensemble pessimiste diminue.
• Monotonie : La performance de la politique est prouvée comme étant monotone non décroissante par rapport à la taille du sous-ensemble $k$ et monotone non croissante par rapport à la taille de l'ensemble $N$.

3. Contributions clés

1. Formulation PhyB : Une nouvelle formulation de croyance qui traite les dynamiques de transition comme des variables aléatoires sans hypothèses de distribution postérieure restrictives, reformulant les espérances en combinaisons convexes sur un sous-ensemble pessimiste.
2. Optimisation régularisée itérative : Un algorithme qui décompose la tâche d'optimisation en sous-problèmes régularisés par Bregman, fournissant des garanties de l'amélioration monotone indépendantes de la métrique.
3. Analyse théorique : Preuves établissant que l'erreur d'approximation est bornée, que le pessimisme induit est contrôlable et que l'optimisation de la politique converge de manière monotone.
4. Performance empirique : Résultats de pointe sur les benchmarks standards (D4RL) et les tâches de liquidation stochastique.

4. Résultats expérimentaux

Les auteurs ont évalué PhyB sur le benchmark D4RL (18 jeux de données à travers HalfCheetah, Hopper et Walker2d avec des qualités de données variables) et une tâche de liquidation optimale stochastique.

• Performance : PhyB a obtenu des performances supérieures sur 11 des 18 jeux de données D4RL et est resté compétitif sur les autres. Il a notamment surpassé de fortes bases incluant des méthodes sans modèle (CQL, IQL, TD3+BC) et des méthodes avec modèle (MOReL, RAMBO, PMDB, ADM).
• Tâches stochastiques : Dans la tâche de liquidation hautement stochastique, où de nombreuses bases ont échoué à apprendre des politiques efficaces, PhyB a démontré une performance robuste et supérieure.
• Études d'ablation :
  • Combinaison convexe : Le retrait de la combinaison convexe (sélection d'un seul modèle) a provoqué une dégradation significative des performances, validant la nécessité de la croyance hybride.
  • Hyperparamètres : La méthode a montré une robustesse aux variations d'hyperparamètres ($\omega$, $\lambda$). Un compromis a été observé où les jeux de données de moindre qualité bénéficiaient d'un pessimisme plus élevé ( $\lambda$ plus petit), tandis que les jeux de données de haute qualité nécessitaient moins de conservatisme.
• Alignement théorique : Les courbes empiriques ont confirmé que les rendements estimés par PhyB constituaient systématiquement des bornes inférieures aux rendements réels (validant le théorème de pessimisme) et présentaient une amélioration quasi monotone pendant l'entraînement.

5. Signification et affirmations

L'article affirme que PhyB comble avec succès le fossé entre l'attrait théorique du RL bayésien et les exigences computationnelles de l'optimisation de politique hors ligne.

• Quantification unifiée de l'incertitude : En traitant les dynamiques comme des variables aléatoires et en utilisant une croyance hybride, PhyB unifie la quantification de l'incertitude au niveau de l'échantillon et au niveau du modèle sans recourir à des hypothèses simplistes comme les vraisemblances de Dirac.
• Scalabilité : Contrairement aux méthodes bayésiennes antérieures qui reposent sur des solveurs intraitables, PhyB offre une approche efficace sur le plan computationnel qui passe à l'échelle pour les tâches de contrôle continu de haute dimension.
• Adaptabilité : La méthode évite le « pessimisme excessif » des MDP robustes en permettant au niveau de pessimisme de s'adapter continuellement en fonction des données et du désaccord des modèles, plutôt qu'en s'appuyant sur des hypothèses de pire cas fixes.
• Robustesse : L'approche fournit des garanties indépendantes de la métrique pour une amélioration monotone, assurant un apprentissage stable même en l'absence d'interaction en ligne avec l'environnement.

Les auteurs concluent que PhyB représente une étape importante pour rendre le RL bayésien pratique dans les contextes hors ligne, offrant un cadre robuste qui équilibre l'aversion au risque et l'optimisation de la performance.