PhiBE: A PDE-based Bellman Equation for Continuous Time Policy Evaluation

1. Problématique

L'article s'intéresse au problème de l'évaluation de politique (Policy Evaluation - PE) dans le cadre de l'apprentissage par renforcement (RL) en temps continu.

• Contexte : De nombreux systèmes physiques (santé, robotique, finance, fusion nucléaire) évoluent de manière continue selon des équations différentielles stochastiques (EDS), mais les données observables ne sont disponibles qu'à des instants discrets et souvent irréguliers.
• Le défi : La méthode standard consiste à discrétiser le temps et à appliquer l'équation de Bellman (BE) classique (discrete-time). Cependant, l'article démontre que cette approche est fondamentalement inadéquate car elle ignore la structure continue sous-jacente.
• Limites de l'approche classique :
  • L'équation de Bellman discrète est une approximation d'ordre 1 qui néglige la dynamique continue.
  • Son erreur d'approximation (erreur de discrétisation) dépend fortement de la vitesse de variation de la fonction de récompense et de la dynamique du système.
  • En présence de récompenses oscillantes ou de dynamiques lentes, la BE classique peut fournir de très mauvaises approximations de la fonction de valeur réelle.
  • Les analyses existantes montrent que l'erreur de spécification du modèle diverge lorsque l'intervalle de temps $\Delta t \to 0$ dans les cadres discrets standards.

2. Méthodologie : PhiBE

Les auteurs proposent une nouvelle formulation appelée PhiBE (Physics-informed Bellman Equation), qui intègre les informations discrètes dans une formulation d'Équation aux Dérivées Partielles (EDP) continue.

A. Formulation de l'équation PhiBE

Au lieu d'approximer directement la fonction de valeur via une somme discrète, PhiBE approxime l'opérateur différentiel sous-jacent (le générateur infinitésimal de l'EDS).

• Cas déterministe : L'équation de Bellman continue (HJB) est $\beta V(s) = r(s) + \mu(s) \cdot \nabla V(s)$. PhiBE remplace le terme de dérive $\mu(s)$ par une approximation basée sur les transitions discrètes observées entre $s$ et $s_{\Delta t}$.
  • Pour un ordre $i$, l'approximation de la dérive $\hat{\mu}_i(s)$ utilise des combinaisons linéaires de positions futures $s_{j\Delta t}$ pour estimer la dérivée temporelle avec une précision d'ordre $i$.
  • L'équation résultante est : $\beta \hat{V}_i(s) = r(s) + \hat{\mu}_i(s) \cdot \nabla \hat{V}_i(s)$.
• Cas stochastique : L'équation HJB inclut un terme de diffusion. PhiBE estime à la fois la dérive $\hat{\mu}_i$ et la matrice de diffusion $\hat{\Sigma}_i$ à partir des données de trajectoire, en résolvant l'EDP :
  $\beta \hat{V}_i(s) = r(s) + \mathcal{L}_{\hat{\mu}_i, \hat{\Sigma}_i} \hat{V}_i(s)$.

B. Algorithme sans modèle (Model-Free)

Pour résoudre PhiBE sans connaître explicitement les fonctions de dérive $\mu$ et de diffusion $\sigma$, les auteurs proposent un algorithme basé sur la méthode de Galerkin avec approximation linéaire :

1. On approxime la fonction de valeur par une combinaison linéaire de bases : $V(s) \approx \Phi(s)^\top \theta$.
2. On projette l'équation PhiBE sur l'espace des bases pour obtenir un système linéaire $A\theta = b$.
3. Les matrices $A$ et le vecteur $b$ sont estimés directement à partir des paires de transitions $(s, s')$ issues des données, sans avoir besoin de reconstruire le modèle complet de l'EDS.
4. Cela généralise l'algorithme LSTD (Least-Squares Temporal Difference) classique en remplaçant l'équation de Bellman discrète par l'équation PhiBE.

3. Contributions Clés et Résultats Théoriques

A. Réduction de l'erreur de discrétisation

• Précision supérieure : L'article prouve que la solution de PhiBE est une approximation d'ordre $i$ de la vraie fonction de valeur, là où l'équation de Bellman classique n'est que d'ordre 1.
• Robustesse : L'erreur de PhiBE dépend de la régularité de la dynamique (dérivées de $\mu$) et non de la variation rapide de la récompense. Ainsi, PhiBE surpasse la BE classique lorsque les dynamiques évoluent lentement mais que les récompenses oscillent fortement.
• Ordre supérieur : Des extensions d'ordre supérieur (2ème ordre, etc.) permettent d'atteindre une précision accrue avec des données plus espacées.

B. Analyse de l'erreur et complexité d'échantillonnage

L'analyse de l'erreur totale décompose l'erreur en trois composantes : erreur de discrétisation, erreur de modèle (approximation de fonction) et erreur d'échantillonnage fini.

• Indépendance de $\Delta t$ pour l'erreur de modèle : Contrairement aux analyses RL classiques où l'erreur de spécification du modèle diverge lorsque $\Delta t \to 0$ (en raison du facteur de discount $\gamma \to 1$), l'erreur de modèle pour PhiBE reste bornée et indépendante de $\Delta t$. Cela est dû à l'exploitation de la structure elliptique du générateur infinitésimal.
• Complexité d'échantillonnage améliorée : La complexité d'échantillonnage pour atteindre une précision $\epsilon$ passe de $O(\Delta t^{-4})$ dans les méthodes classiques à $O(\Delta t^{-1})$ avec PhiBE.
• Compromis fondamental (Trade-off) : L'article identifie un compromis intrinsèque en RL temps continu :
  • Réduire $\Delta t$ diminue le biais de discrétisation.
  • Cependant, cela augmente la variance statistique de l'estimateur (bruit accru par rapport au signal).
  • Un échantillonnage excessivement fréquent n'améliore pas nécessairement la performance globale sans augmenter proportionnellement la taille de l'échantillon. Ce phénomène n'est pas capturé par les analyses RL discrètes classiques.

4. Résultats Expérimentaux

Les auteurs valident leurs théories sur plusieurs scénarios :

• Dynamiques déterministes et stochastiques : Comparaison sur des systèmes linéaires et non linéaires (ex: processus d'Ornstein-Uhlenbeck).
• Performance :
  • Les solutions exactes de PhiBE sont beaucoup plus proches de la vraie fonction de valeur que celles de la BE, surtout pour de grands $\Delta t$ ou des récompenses oscillantes.
  • L'algorithme sans modèle (Galerkin sur PhiBE) surpasse significativement LSTD (basé sur BE) avec le même nombre de données et le même coût computationnel.
  • Les erreurs de PhiBE convergent à un taux d'ordre $i$ (ex: $O(\Delta t^2)$ pour l'ordre 2), tandis que LSTD reste bloqué à $O(\Delta t)$.
• Applications : Tests sur un problème de stabilisation (contrôle linéaire quadratique et non linéaire) et en haute dimension (10 dimensions), confirmant la scalabilité de la méthode.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'apprentissage par renforcement dans les environnements continus :

1. Changement de paradigme : Il propose de passer d'une approche purement discrète (MDP) à une approche hybride qui intègre la physique continue (EDS) directement dans l'équation d'apprentissage, même avec des données discrètes.
2. Efficacité des données : En exploitant la régularité des dynamiques continues, PhiBE permet d'obtenir des politiques plus précises avec moins de données ou des intervalles de mesure plus espacés.
3. Théorie rigoureuse : Il fournit les premières garanties théoriques non asymptotiques pour l'évaluation de politique en temps continu avec approximation de fonction, en clarifiant le rôle de la fréquence d'échantillonnage et en résolvant le problème de la divergence de l'erreur de modèle.
4. Applicabilité : La méthode est "plug-and-play" pour les algorithmes existants (comme LSTD) et s'applique à des domaines critiques où la modélisation précise est difficile mais la structure continue est connue (santé, finance, contrôle de processus).

En résumé, PhiBE offre un cadre théorique et algorithmique robuste pour combler le fossé entre la nature continue des systèmes physiques et la nature discrète des données observées, surpassant les méthodes RL traditionnelles par une meilleure exploitation de la structure sous-jacente.