Résumé Technique : Apprentissage par Renforcement Hors Ligne avec des Politiques de Trajectoire Génératives

Énoncé du Problème

L'apprentissage par renforcement (RL) hors ligne fait face à un défi fondamental : apprendre une politique à partir d'un ensemble de données statique et précollecté, sans interaction supplémentaire avec l'environnement. Ce cadre exige que la politique généralise à partir d'une expérience limitée, souvent restreinte, vers un monde imprévisible. Un goulot d'étranglement critique dans ce domaine réside dans le compromis entre l'expressivité de la politique et l'efficacité computationnelle.

Les méthodes traditionnelles de RL hors ligne reposent souvent sur des approximateurs de fonctions simples (par exemple, des politiques gaussiennes) qui peinent à capturer les comportements complexes et multi-modaux présents dans les ensembles de données réels. À l'inverse, les approches génératives récentes, telles que les Politiques de Diffusion, offrent une haute expressivité en modélisant des distributions d'actions complexes, mais souffrent de processus d'échantillonnage itératifs lents qui imposent une charge computationnelle significative. Pour atténuer cela, les Politiques de Cohérence ont été introduites pour accélérer l'inférence (souvent à un ou deux pas), mais cette simplification conduit fréquemment à une dégradation des performances de la politique. La question de recherche centrale abordée par ce travail est la suivante : Est-il possible de concevoir une classe de politiques qui atteigne à la fois une haute expressivité et une efficacité computationnelle ?

Méthodologie

1. Cadre Unifié des Équations Différentielles Ordinaires (ODE)

Les auteurs proposent une perspective unificatrice qui considère les modèles génératifs modernes — y compris les Modèles de Diffusion, l'Appariement de Flux (Flow Matching), les Modèles de Cohérence (CM) et les Modèles de Trajectoire de Cohérence (CTM) — comme des instances spécifiques de l'apprentissage d'une trajectoire générative en temps continu régie par une Équation Différentielle Ordinaire (ODE).

Le processus inverse est décrit par l'ODE :
$$\frac{dx_t}{dt} = f(x_t, t)$$
où $f(x, t)$ définit une trajectoire déterministe allant d'une distribution de bruit $x_T$ vers un échantillon de données $x_0$. Les auteurs introduisent une Carte de Flux $\Phi(x_t, t, s)$, qui mappe un état au temps $t$ vers un état au temps $s$. Ils soutiennent que les méthodes existantes ne sont que des approximations d'aspects spécifiques de cette carte de flux.

Pour apprendre cette carte, ils définissent deux objectifs d'entraînement complémentaires :

1. Perte de Flux Instantané (Ancre Locale) : Impose la justesse pour des pas infinitésimaux en faisant correspondre la carte apprise au champ de vecteurs (ou débruiteur) à la limite $s \to t$. Cela unifie le débruitage de style diffusion et l'estimation de vitesse par appariement de flux.
2. Perte de Cohérence de Trajectoire (Régulateur Global) : Impose une auto-cohérence sur de longs sauts multi-pas, garantissant que la composition des étapes intermédiaires équivaut au saut direct.

2. Politiques de Trajectoire Génératives (GTP)

En s'appuyant sur ce cadre, l'article introduit les Politiques de Trajectoire Génératives (GTP), un nouveau paradigme de politique qui apprend l'ensemble de la carte de solution de l'ODE sous-jacente. Contrairement aux méthodes confinées à un échantillonnage lent et haute fidélité ou à des raccourcis rapides et basse fidélité, les GTP permettent une génération flexible, multi-pas et déterministe.

3. Adaptations Pratiques pour le RL Hors Ligne

Traduire le paradigme GTP en un algorithme de RL hors ligne fonctionnel nécessite de relever trois défis spécifiques : un coût computationnel prohibitif, une instabilité de l'entraînement et des objectifs désalignés. Les auteurs introduisent deux adaptations clés fondées sur des principes théoriques :

• Approximation Stable du Score :

  • Défi : Apprendre la trajectoire de l'ODE nécessite généralement de résoudre numériquement l'ODE à l'envers en utilisant un solveur en boucle interne pour chaque échantillon, ce qui est computationnellement intraitable et instable en raison de la propagation d'erreurs provenant d'estimations imprécises aux étapes précoces.
  • Solution : Les auteurs remplacent le champ de vecteurs appris par un substitut sous forme close ancré sur l'échantillon de données hors ligne : $\tilde{f}(x_t, t) = (x_t - x)/t$.
  • Garantie Théorique : Le théorème 4.1 prouve que l'utilisation de ce substitut modifie l'objectif d'entraînement uniquement de $O(h^p)$ (où $h$ est la taille du pas), rendant l'objectif pratique asymptotiquement équivalent à l'idéal. Cela élimine le besoin d'une intégration d'ODE multi-pas coûteuse pendant l'entraînement tout en assurant la stabilité.

• Guidage Piloté par la Valeur :

  • Défi : Les objectifs génératifs standards correspondent à la distribution des données (Clonage de Comportement), ce qui ne conduit pas intrinsèquement à une amélioration de la politique.
  • Solution : Les auteurs formalisent un objectif d'entraînement pondéré par la valeur. En dérivant la solution optimale d'un problème d'optimisation de politique régularisé par KL, ils montrent qu'entraîner une politique générative à correspondre à la politique optimale équivaut à résoudre un objectif génératif pondéré où les poids sont la fonction d'avantage exponentielle : $w(s, a) \propto \exp(\eta A(s, a))$.
  • Implémentation : Pour assurer la stabilité, les poids d'avantage sont normalisés et les valeurs négatives sont tronquées. Cela permet à la politique d'imiter préférentiellement les actions à fort avantage tout en restant ancrée sur le support des données.

Contributions Clés

1. Politiques de Trajectoire Génératives (GTP) : Un nouveau paradigme de politique hautement expressif dérivé d'un cadre unifiant reliant les modèles génératifs modernes aux trajectoires d'ODE en temps continu.
2. Adaptations Théoriques : Deux adaptations clés pour le RL hors ligne pratique :
   • Une technique d'approximation du score qui fournit des garanties théoriques d'efficacité et de stabilité, éliminant le besoin de solveurs itératifs pendant l'entraînement.
   • Un cadre variationnel pour l'amélioration de politique pilotée par la valeur qui comble le fossé entre l'apprentissage par imitation et l'optimisation de politique.
3. Validation Empirique : Des expériences extensives démontrant que GTP atteint des performances de pointe sur les benchmarks D4RL, surpassant les méthodes génératives et de RL hors ligne précédentes.

Résultats Expérimentaux

Les auteurs ont évalué GTP sur le benchmark D4RL, couvrant les domaines Gym (locomotion) et AntMaze (récompense sparse, horizon long).

• Performance du Clonage de Comportement (BC) : En tant qu'apprenant d'imitation pur (sans guidage par la valeur), GTP-BC a obtenu des résultats de pointe dans 11 tâches sur 15. Notamment, il a nettement surpassé Diffusion-BC et Consistency-BC, en particulier dans la suite AntMaze difficile (score moyen de 66,3 contre 44,1 pour le suivant).
• Amélioration de la Politique : L'algorithme complet acteur-critique GTP a établi de nouveaux records de pointe pour les politiques génératives.
  • Sur les tâches Gym, GTP a obtenu un retour moyen de 89,0, dépassant le meilleur précédent (Diffusion-QL à 87,9).
  • Sur les tâches AntMaze, GTP a obtenu une moyenne de 80,6, surpassant significativement Diffusion-QL (69,6) et QGPO (78,3).
  • Réalisations Notables : GTP a obtenu un score parfait de 100,0 sur la tâche notoirement difficile antmaze-umaze.
• Efficacité : Les études d'ablation ont confirmé que GTP ne dépend pas de longues trajectoires d'ODE pour la performance ; réduire l'horizon d'échantillonnage de 5 à 2 pas a maintenu des performances élevées tout en réduisant substantiellement la latence d'inférence.

Signification et Revendications

L'article revendique que GTP comble avec succès le fossé entre l'expressivité et l'efficacité dans le RL hors ligne. En considérant les politiques génératives à travers le prisme d'un cadre unifié d'ODE et en apprenant la carte de solution complète, GTP évite les goulots d'étranglement computationnels des modèles de diffusion itératifs et la dégradation des performances des modèles de cohérence simplifiés.

Les auteurs soulignent que leur approche fournit une fondation principielle pour la conception de politiques génératives. L'introduction de l'approximation du score et du guidage piloté par la valeur rend ce cadre théoriquement riche pratiquement viable pour le RL hors ligne. Les résultats suggèrent que l'apprentissage de la trajectoire continue complète fournit un biais inductif puissant pour capturer des comportements complexes et temporellement étendus, en particulier dans les environnements à récompense sparse et à horizon long où d'autres méthodes peinent.

L'article conclut que, bien que l'inférence soit rapide, réduire le temps d'entraînement substantiel de cette classe de modèles reste une voie importante pour la recherche future. Ce travail ouvre une direction prometteuse pour exploiter la dynamique en temps continu dans le RL, offrant un équilibre entre robustesse et performance qui était auparavant inatteignable.