Résumé Technique : L'apprentissage par renforcement PAC-Bayésien entraîne des politiques généralisables

Énoncé du Problème

Le déploiement d'algorithmes d'apprentissage par renforcement (RL) dans des environnements du monde réel critiques pour la sécurité nécessite une grande confiance dans la capacité des politiques apprises à se généraliser au-delà des données d'entraînement. Bien que la théorie de l'apprentissage statistique fournisse des garanties de généralisation rigoureuses pour l'apprentissage supervisé, l'extension de ces garanties au RL est entravée par la nature séquentielle des données. Les trajectoires de RL consistent en des états et des actions temporellement corrélés, violant l'hypothèse d'indépendance et d'identification de la distribution (i.i.d.) sous-jacente aux bornes de généralisation classiques. Par conséquent, les approches PAC-Bayésiennes existantes pour le RL soit produisent des bornes vacues (sans signification) en raison d'une mauvaise mise à l'échelle avec l'horizon effectif, soit détournent la théorie pour la conception algorithmique sans fournir de certificats de performance serrés et calculables. De plus, les bornes antérieures reposent souvent sur des coefficients de mélange abstraits ou ne parviennent pas à rendre compte des dépendances de Markov spécifiques inhérentes aux données de RL.

Méthodologie

Contribution Théorique : Une Nouvelle Borne PAC-Bayésienne

Les auteurs dérivent une nouvelle borne de généralisation PAC-Bayésienne pour le RL qui prend explicitement en compte les dépendances de Markov à travers le temps de mélange ($\tau_{min}$) de la chaîne de Markov sous-jacente.

• Configuration du Problème : Le cadre considère un processus de décision markovien (MDP) à remise décomptée où les données d'entraînement consistent en $T$ trajectoires collectées via une politique de comportement $\pi_b$. La politique d'évaluation $\pi_\theta$ est paramétrée par $\theta$ tiré d'une distribution de la distribution postérieure $\rho$.
• Différences Bornées : L'intuition technique centrale consiste à établir une condition de différences bornées sur le retour empirique négatif. En analysant comment une perturbation dans un tuple état-action-récompense unique se propage à travers la trajectoire, les auteurs dérivent des constantes explicites ($c$) quantifiant cette influence.
• Inégalité de Concentration : En s'appuyant sur l'extension de Paulin (2018) de l'inégalité de McDiarmid aux chaînes de Markov, les auteurs dérivent une borne de queue sur l'écart entre le risque attendu réel et la perte empirique. Cette borne dépend explicitement du temps de mélange $\tau_{min}$, qui mesure la rapidité avec laquelle la distribution de la chaîne converge vers sa distribution stationnaire.
• La Borne : L'inégalité résultante (Théorème 3.3) fournit une borne supérieure de haute probabilité sur le risque réel attendu (ou une borne inférieure sur la valeur attendue) pour toute distribution postérieure $\rho$ :
  $$\mathbb{E}_{\theta \sim \rho}[L(\theta)] \leq \mathbb{E}_{\theta \sim \rho}[\hat{L}_D(\theta)] + \sqrt{\frac{R_{max}^2(1-\gamma^{2H})}{T(1-\gamma^2)} \tau_{min} \left( \text{KL}(\rho \parallel \mu) + \ln \frac{\sqrt{2}}{\delta} \right)}$$
  Cette formulation améliore les travaux antérieurs en atteignant une mise à l'échelle de $O((1-\gamma)^{-1})$ par rapport à l'horizon effectif, comparée à la mise à l'échelle prohibitive de $O((1-\gamma)^{-4})$ des approches basées sur l'erreur de Bellman précédentes.

Contribution Algorithmique : PB-SAC

Pour traduire cette borne théorique en un algorithme d'apprentissage pratique, les auteurs introduisent PB-SAC (PAC-Bayes Soft Actor-Critic).

• Exploration Guidée par la Postérieure : Au lieu de l'exploration $\epsilon$-greedy standard, PB-SAC maintient une postérieure gaussienne diagonale $\rho(\theta) = \mathcal{N}(\upsilon, \text{diag}(\sigma^2))$ sur les paramètres de la politique. Pendant l'exploration, il échantillonne plusieurs politiques candidates à partir de $\rho$ et sélectionne l'action maximisant la valeur Q parmi ces candidates, utilisant ainsi la quantification de l'incertitude pour guider l'exploration.
• Optimisation via PAC-Bayes-$\lambda$ : L'objectif de la borne est non convexe en raison de la racine carrée du terme de divergence KL. Les auteurs emploient une approximation variationnelle utilisant l'identité $\sqrt{x} = \inf_{\lambda > 0} (\frac{x}{2\lambda} + \frac{\lambda}{2})$. Cela transforme le problème en un schéma d'optimisation alternée convexe (PAC-Bayes-$\lambda$) où les paramètres de la postérieure et la variable auxiliaire $\lambda$ sont mis à jour de manière itérative.
• REINFORCE au Niveau de la Politique : Pour calculer les gradients du retour attendu sur la postérieure, les auteurs étendent l'astuce REINFORCE au niveau de la politique, permettant une estimation de gradient par échantillonnage traitable sans mélanger les transitions, préservant ainsi la structure de dépendance intra-trajectoire requise par la théorie.
• Échantillonnage Adaptatif : Pour remédier à l'instabilité causée par les mises à jour périodiques de la postérieure (qui peuvent désaligner le critique avec la nouvelle distribution de la politique), PB-SAC utilise un mécanisme d'échantillonnage adaptatif. Immédiatement après une mise à jour PAC-Bayésienne, l'acteur est gelé et le critique est recalibré en utilisant un taux élevé d'échantillons de la postérieure (256 échantillons) avant de reprendre l'entraînement standard avec la moyenne de la postérieure.

Résultats Clés

Des expériences ont été menées sur quatre tâches de contrôle continu (HalfCheetah, Ant, Hopper, Walker2d) dans l'environnement MuJoCo.

• Certificats Non Vacues : Les bornes PAC-Bayésiennes se sont systématiquement resserrées tout au long de l'entraînement, suivant l'amélioration de la performance de la politique. Dans les tâches à récompenses denses, les bornes ont fourni des estimations de confiance significatives plutôt que des garanties vacues.
• Performance Compétitive : PB-SAC a maintenu des performances compétitives avec la méthode de référence Soft Actor-Critic (SAC) classique dans tous les environnements.
• Supériorité en Récompense Éparse : Dans un scénario de récompense éparse (Ant avec des récompenses très différées), PB-SAC a surpassé à la fois le SAC classique et PBAC (une méthode d'exploration PAC-Bayésienne antérieure), démontant que l'exploration guidée par la postérieure offre des avantages tangibles dans les scénarios d'exploration difficiles.
• Robustesse au Temps de Mélange : L'analyse de sensibilité a montré que si la sous-estimation du temps de mélange $\tau_{min}$ conduit à des bornes trop optimistes, la surestimation résulte en des certificats plus lâches mais toujours valides et significatifs. L'algorithme reste robuste même avec une surestimation conservatrice du temps de mélange.

Signification et Revendications

L'article affirme combler le fossé entre la théorie de l'apprentissage et la pratique algorithmique dans la prise de décision séquentielle en établissant le premier cadre PAC-Bayésien pratique pour l'optimisation et la certification dans le RL profond moderne.

• Avancement Théorique : Il fournit la première borne PAC-Bayésienne pour le RL avec une dépendance explicite au temps de mélange et une mise à l'échelle améliorée, répondant au défi des données temporellement dépendantes.
• Utilité Pratique : En introduisant PB-SAC, ce travail démontre que les garanties de généralisation peuvent être transformées d'outils passifs d'évaluation post-entraînement en composants actifs de l'algorithme d'apprentissage qui guident l'exploration et l'optimisation.
• Sécurité et Fiabilité : L'approche offre un mécanisme formel pour quantifier la fiabilité des estimations de performance empirique, fournissant un "certificat de déploiement" qui met en garde contre le déploiement de politiques présentant de grands écarts entre les retours empiriques et les bornes théoriques inférieures.

Les auteurs reconnaissent des limites, telles que la nature conservatrice de l'estimation du temps de mélange et le décalage géométrique de la divergence KL gaussienne avec les espaces de paramètres, suggérant que des travaux futurs pourraient explorer des alternatives basées sur la distance de Wasserstein ou des postérieures structurées. Cependant, ils affirment que leurs résultats établissent le calcul PAC-Bayésien comme une voie viable vers un RL profond digne de confiance.