Résumé Technique : Inverser l'équation de Bellman : Des valeurs Q aux modèles de monde

Énoncé du problème

L'apprentissage par renforcement (RL) est traditionnellement divisé en deux paradigmes : sans modèle (model-free) et avec modèle (model-based). Les agents sans modèle estiment des fonctions de valeur ($Q$) liées à des politiques et des fonctions de récompense spécifiques, contournant ainsi l'apprentissage explicite de la dynamique de l'environnement (le noyau de transition $P$). Un obstacle théorique fondamental dans ce domaine est le problème d'équivalence de valeur : des modèles de monde distincts peuvent produire des fonctions de valeur et des politiques optimales identiques, ce qui implique que les agents sans modèle n'encodent pas de manière unique l'environnement qu'ils habitent.

Alors que les agents sont de plus en plus entraînés sur des objectifs divers via l'apprentissage par renforcement conditionné par l'objectif (GCRL), il reste incertain de savoir si la collection de fonctions de valeur apprises à travers ces objectifs encode implicitement un modèle de monde unique et précis. Ce document aborde la question centrale : Quand les agents sans modèle encodent-ils implicitement un modèle précis de leur environnement ?

Méthodologie : L'apprentissage P (P-learning)

Les auteurs introduisent l'apprentissage P, un analogue inverse de l'apprentissage Q (Q-learning) conçu pour extraire un modèle de monde implicite à partir d'un agent entraîné.

• Concept : Tandis que le Q-learning met à jour de manière itérative une fonction de valeur $Q$ pour satisfaire l'équation de Bellman $T^\star(Q) = Q$ pour un environnement $P$ fixe, l'apprentissage P traite la fonction de valeur $Q$ (et la politique $\pi$ et la récompense $r$ associées) comme étant fixes. Il met ensuite à jour un modèle de monde candidat $P_\phi$ pour minimiser le résidu de Bellman :
  $$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$$
  où $T^\pi_\phi$ est l'opérateur de Bellman paramétré par le modèle de monde $P_\phi$.
• Mécanisme : L'apprentissage P échantillonne les valeurs $Q$, les politiques et les récompenses de l'agent pour décoder le modèle interne. Dans le cadre tabulaire, les auteurs prouvent que l'apprentissage P converge vers une solution impliquant la pseudo-inverse de Moore-Penrose d'une matrice $M$ dérivée des récompenses et des fonctions de valeur. Plus précisément, si $M$ est de rang plein, le modèle extrait est unique et donné par $P_\infty = M^+ Q$.
• Différentiabilité : Pour les contextes continus ou déterministes, la méthode utilise l'optimisation par gradient (ou des astuces de reparamétrage) pour mettre à jour les paramètres du modèle de monde, inversant ainsi l'équation de Bellman.

Contributions théoriques clés

Le document établit les conditions suffisantes sous lesquelles le noyau de transition $P$ est identifiable de manière unique à partir d'un ensemble de valeurs Q conditionnées par l'objectif $(Q_g, \pi_g, r_g)_{g \in G}$, brisant ainsi l'équivalence de valeur.

1. MDP Finis :

   • Déterministe : Un seul objectif générique suffit pour identifier de manière unique $P$ (Théorème 2). L'unicité est maintenue pour presque toutes les fonctions de récompense, à condition que la matrice $M$ résultante soit mono-injective par colonne.
   • Stochastique : Les objectifs doivent couvrir l'espace des états (c'est-à-dire que le rang de la matrice de récompense est égal au nombre d'états) pour garantir que $P$ est identifiable de manière unique (Théorème 3). Cela est valable pour des fonctions de récompense ou des politiques génériques.
   • Approximation : Les auteurs fournissent des bornes d'erreur serrées montrant que si les valeurs Q sont une approximation à $\epsilon$ près, l'erreur du modèle extrait évolue linéairement avec $\epsilon$.

2. MDP Continus :

   • Déterministe : Un nombre fini d'objectifs peut suffire sous certaines conditions (ex: récompenses gaussiennes avec terminaison). Pour les récompenses indicatrices, un ensemble d'objectifs couvrant l'espace des états avec un rayon spécifique est requis (Théorème 4).
   • Stochastique : L'identifiabilité est pilotée par la couverture de l'ensemble des objectifs plutôt que par leur nombre. Pour les récompenses gaussiennes, un ensemble d'objectifs ayant un intérieur non vide suffit ; pour les récompenses indicatrices, l'ensemble doit couvrir l'espace des états étendu par le rayon de la récompense (Théorèmes 6 et 7).

3. MDP Locaux : Le document étend les résultats aux MDP $N$-locaux (où les transitions sont restreintes à un voisinage), montrant que moins d'objectifs sont nécessaires si le support du noyau de transition est connu.

Résultats Empiriques

Les auteurs valident leur théorie et leur méthode à travers plusieurs environnements, démontant que l'apprentissage P peut extraire des modèles de monde hautement précis même lorsque les garanties théoriques (ex: nombre infini d'objectifs) ne sont pas remplies.

• FourRooms (MDP fin) :
  • Déterministe : Récupération exacte de $P$ avec $|G|=1$.
  • Windy (Local stochastique) : Récupération quasi-parfaite avec $|G|=4$.
  • Teleporting (Totalement stochastique) : Planification quasi-optimale avec $|G|=20$, soit nettement moins que la borne théorique du pire cas de $|S|=68$.
• Reacher (Continu, déterministe) :
  • Entraîné sur seulement $|G|=4$ objectifs basés sur la position, le modèle de monde extrait a atteint une haute fidélité (NMSE $1,2 \times 10^{-4}$) malgré des valeurs Q imparfaites.
  • Généralisation Zero-Shot : Les politiques entraînées exclusivement à l'intérieur du modèle de monde implicite extrait ont obtenu des performances proches de l'optimal sur des objectifs hors distribution (ex: atteindre des vitesses angulaires ou des configurations articulaires spécifiques) qui n'ont jamais été vus pendant l'entraînement. Cela suggère que l'agent a encodé la dynamique pour des variables (vitesse, angles) pour lesquelles il n'a jamais été explicitement récompensé.
• MountainCar (Continu, déterministe) :
  • Les agents entraînés sur des objectifs de position et ceux entraînés sur des objectifs de vitesse ont convergé vers des modèles de monde implicites presque identiques.
  • La planification au sein de ces modèles a permis un transfert zero-shot réussi vers des tâches impliquant la variable non entraînée (ex: un agent entraîné sur la position résolvant un objectif basé sur la vitesse).

Signification et Revendications

Le document soutient que l'apprentissage par renforcement conditionné par l'objectif agit comme une méthode hybride implicite, comblant le fossé entre l'apprentissage sans modèle et l'apprentissage avec modèle.

1. Modèles de monde implicites : Les agents sans modèle entraînés sur un ensemble d'objectifs suffisamment riche encodent implicitement un modèle de monde unique et précis, même dans des environnements stochastiques et continus.
2. Généralisation cachée : Ces modèles implicites contiennent des "capacités de généralisation cachées", permettant aux agents de résoudre des tâches définies sur des variables orthogonales à leurs récompenses d'entraînement (ex: apprendre la dynamique de la vitesse à partir de récompenses de position).
3. Corrélation de performance : Il existe une forte corrélation ($\rho = 0,98$) entre la performance d'un agent et la précision de son modèle de monde internalisé, suggérant que les agents GCRL performants développent naturellement de meilleures représentations du monde.
4. Utilité de l'apprentissage P : L'algorithme d'apprentissage P proposé fournit un outil pratique pour extraire ces modèles internes, permettant de réutiliser des agents sans modèle pour de nouvelles tâches sans interaction supplémentaire avec l'environnement.

Les auteurs concluent que bien que l'apprentissage P ne soit pas un substitut à l'apprentissage par renforcement explicite avec modèle, il révèle une connexion fondamentale : un entraînement riche en divers objectifs permet aux agents sans modèle de "tout apprendre" sur la dynamique de l'environnement, encodant ainsi efficacement un modèle de monde au sein de leurs fonctions de valeur.