Drift Q-Learning

Résumé Technique : Drift Q-Learning (DriftQL)

Énoncé du Problème
L'apprentissage par renforcement hors ligne (Offline RL) vise à apprendre des politiques optimales à partir de jeux de données fixes sans interaction supplémentaire avec l'environnement. Un défi central dans ce contexte est le problème des « données hors distribution » (out-of-distribution ou OOD) : les fonctions de valeur entraînées sur des données statiques produisent des estimations peu fiables pour les actions absentes du jeu de données. Pour atténuer cela, une régularisation du comportement est nécessaire afin de contraindre la politique apprise vers la distribution des données tout en permettant l'amélioration vers des actions de haute valeur.

Les solutions existantes utilisant des modèles génératifs expressifs, tels que la diffusion et les politiques basées sur le flux (flow-based), modélisent efficacement la structure multimodale des distributions de comportement. Cependant, elles souffrent de limitations pratiques significatives : elles nécessitent un débruitage itératif ou des intégrations de solveurs lourds lors de l'inférence, ce qui entraîne une exécution lente. Bien que des alternatives basées sur la distillation existent pour accélérer l'inférence, elles introduisent de la complexité en nécessissant des réseaux supplémentaires et des pipelines d'entraînement à deux étapes.

Méthodologie
Les auteurs proposent le Drift Q-Learning (DriftQL), une méthode générative en une seule étape qui combine un régularisateur de comportement basé sur la dérive (drift) avec une amélioration de la politique pilotée par le critique. DriftQL est construit sur le cadre des « Modèles de Dérive » (Drifting Models), qui apprennent une application de poussée directe (one-step pushforward map) à partir d'un bruit préalable et de signaux de conditionnement vers les données.

Le cœur de DriftQL est un réseau acteur stochastique $f_\theta(s, \epsilon)$ qui associe un état $s$ et un bruit gaussien $\epsilon$ à une action $a$. L'objectif d'entraînement unifie la modélisation de la distribution et la recherche de récompense via deux mécanismes principaux :

1. Champ de Dérive Conditionnel : La politique est supervisée par un champ de dérive conditionnel à l'état composé de deux forces opposées :

   • Attraction ($V^+$) : Tire les actions générées vers les actions observées du jeu de données (clonage de comportement). Dans le cadre de l'apprentissage par renforcement hors ligne, où il y a généralement une seule action observée par état, cela se simplifie en une différence de vecteur directe entre l'action générée et l'action du jeu de données.
   • Répulsion ($V^-$) : Pousse les actions générées à s'éloigner les unes des autres. Cela empêche la politique de s'effondrer sur un mode unique (l'action du jeu de données) et maintient un ensemble diversifié de candidats au sein des régions de haute valeur. La répulsion est calculée à l'aide d'un décalage de moyenne pondéré par noyau (kernel-weighted mean-shift) sur les $N$ actions candidates générées pour un seul état.

2. Amélioration Pilotée par le Critique : Contrairement aux modèles de dérive standard utilisés pour la génération inconditionnelle, DriftQL incorpore un objectif basé sur la valeur. Un critique à double Q tronqué (clipped double-Q) estime la valeur des actions. L'acteur minimise une perte combinée :
   $$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$$
   où $L_{drift}$ est la perte de dérive (régression des actions vers la cible dérivée) et $L_Q$ est la valeur Q négative attendue. Le gradient de valeur biaise la politique vers les régions de haute valeur du support des données, permettant à la politique de se concentrer sur plusieurs modes de haute valeur si ceux-ci existent dans les données.

Principales Contributions

• Politique Générative en une Étape : DriftQL génère des actions en une seule passe directe (forward pass), éliminant le besoin de chaînes de débruitage itératives, de solveurs d'EDO ou d'étapes de distillation requis par les méthodes de diffusion et de flux.
• Objectif d'Entraînement Unifié : La méthode intègre la régularisation du comportement (via le champ de dérive) et l'amélioration de la politique (via le critique Q) dans un seul réseau avec une perte unifiée, évitant la complexité des pipelines d'entraînement multi-étapes.
• Sélection de Mode et Diversité : La combinaison de l'attraction (vers les données) et de la répulsion (entre les candidats) permet à la politique de maintenir une masse sur les candidats pendant l'entraînement tout en convergeant vers les modes de haute valeur, empêissant l'effondrement vers une action déterministe unique ou la dispersion vers des régions non supportées.

Résultats Expérimentaux
DriftQL a été évalué sur les benchmarks D4RL et OGBench, couvrant des tâches de contrôle continu, de navigation et de manipulation.

• Performance : DriftQL surpasse ou égale systématiquement les bases de référence de pointe en diffusion et en flux (ex: Diffusion-QL, FQL, IDQL) sur 78 tâches d'apprentissage hors ligne. Il montre des gains particulièrement marqués sur les tâches de navigation à long horizon (ex: antmaze-large-st, antmaze-giant-st) et les tâches de manipulation complexes.
• Robustesse : Sous une qualité de données dégradée (simulée par le remplacement d'une fraction d'actions par du bruit aléatoire), DriftQL maintient une performance plus proche de sa base de référence de données propres que les méthodes concurrentes, qui peinent visiblement à mesure que le bruit augmente.
• Efficacité : En termes de latence d'inférence, DriftQL est environ 2$\times$ plus rapide que FQL, 3$\times$ plus rapide que Diffusion-QL, et 4$\times$ plus rapide que IDQL/IFQL. Il y parvient sans nécessiter d'étape de distillation séparée. Les coûts d'entraînement augmentent avec le nombre d'échantillons générés ($N$) en raison des calculs de noyaux par paires, mais restent modestes par rapport à la surcharge de débruitage itératif des modèles de diffusion.

Signification et Revendications
L'article positionne DriftQL comme une alternative prometteuse aux méthodes de RL hors ligne basées sur la diffusion et le flux. Il affirme offrir l'expressivité des modèles génératifs (gestion des distributions multimodales) tout en conservant la simplicité et l'efficacité des approches déterministes (passe directe unique).

Les auteurs soutiennent que DriftQL réconcilie avec succès les objectifs concurrents du RL hors ligne : il contraint la politique au support des données pour garantir des estimations de valeur fiables tout en permettant l'amélioration vers les régions de haute récompense. En supprimant la surcharge de calcul de l'échantillonnage itératif, DriftQL offre une solution plus pratique pour le déploiement réel où la vitesse d'inférence est critique, tout en maintenant une robustesse contre la corruption des données. Ce travail suggère que la dérive (drifting) constitue un « juste milieu » utile pour le RL hors ligne, offrant des signaux d'entraînement stochastiques et distributionnels sans les coûts de test liés aux politiques génératives multi-étapes.