Résumé technique : Combler les écarts de domaine grâce à une génération alignée sur la cible pour l'apprentissage par renforcement hors ligne

Énoncé du problème

L'apprentissage par renforcement (RL) hors ligne inter-domaine vise à transférer une politique d'un domaine source vers un domaine cible en utilisant uniquement des jeux de données précollectés, sans aucune interaction en ligne. Ce cadre est crucial pour des applications telles que le contrôle d'robots hétérogènes et le transfert simulation-réalité, où la collecte de données en ligne est trop coûteuse ou dangereuse.

Un défi majeur dans ce régime est le décalage distributionnel entre les domaines source et cible, en particulier lorsque le jeu de données cible est extrêmement limité ($|D_{tar}| \ll |D_{src}|$). Les méthodes existantes tentent souvent de combler cet écart en filtrant les données sources pour trouver des transitions « proches » de la distribution cible. Cependant, les auteurs démontrent que lorsque l'écart de dynamique est important, l'intégration directe de transitions sources même « plus proches » peut induire un décalage distributionnel substantiel, dégradant les performances par rapport à un entraînement sur les données cibles seules. À l'inverse, se fier uniquement à des données cibles limitées échoue souvent à fournir une couverture d'états suffisante pour un apprentissage de politique efficace.

Méthodologie : Expansion de couverture alignée sur la cible (TCE)

Pour résoudre le compromis entre l'exploitation des données sources et l'évitement du décalage distributionnel, les auteurs proposent l'Expansion de couverture alignée sur la cible (TCE). Le TCE est un cadre qui guide théoriquement la manière dont les données sources doivent être utilisées : soit par intégration directe de transitions proches de la cible, soit par l'utilisation de données sources pour étendre la couverture d'états via une génération alignée sur la cible.

Fondement théorique

La méthode repose sur une analyse théorique de l'écart de performance entre un processus de décision markovien (MDP) cible et un MDP mixte (combinant les dynamiques source et cible). Les auteurs dérivent une borne (Théorème 4.1) montrant que l'écart de performance est régi par deux composantes :

1. Écart de dynamique : La distance de variation totale entre les dynamiques de transition source ($P_{src}$) et les dynamiques cibles ($P_{tar}$).
2. Erreur de génération : La distance entre une transition cible approximative générée ($\hat{P}_{tar}$) et les véritables dynamiques cibles.

Le TCE contrôle ces deux sources d'erreur en ajustant deux coefficients :

• $\lambda_{mix}$ : Contrôle la fraction de données sources intégrées directement (minimisant l'erreur de génération mais augmentant potentiellement l'écart de dynamique).
• $\lambda_{cov}$ : Contrôle l'étendue de l'expansion de couverture d'états via la génération (minimisant l'écart de dynamique mais augmentant potentiellement l'erreur de génération).

Cadre algorithmique

Le TCE emploie un modèle génératif à double score basé sur des équations différentielles stochastiques (SDE) pour synthétiser des transitions cohérentes avec les dynamiques cibles tout en couvrant un espace d'états étendu.

1. Réseaux de score doubles :

   • Réseau de score d'état mixte ($q^{mix}_\theta$) : Entraîné sur un mélange contrôlable d'états cibles et d'états sources « proches » de la cible (sélectionnés via un critère de plus proche voisin). Ce réseau modélise la distribution d'états étendue.
   • Réseau de score de transition cible ($q^{tran}_\theta$) : Entraîné uniquement sur les transitions cibles. Il génère l'état suivant conditionné à l'état actuel, garantissant que les dynamiques de transition s'alignent sur le domaine cible.

2. Procédure d'échantillonnage en deux étapes :

   • Étape 1 (Échantillonnage d'état) : Échantillonne un état $\hat{s}_t$ à partir de la distribution d'état mixte en utilisant l'SDE inverse guidée par $q^{mix}_\theta$.
   • Étape 2 (Échantillonnage de transition) : Génère l'état suivant $\hat{s}_{t+1}$ conditionné à $\hat{s}_t$ en utilisant l'SDE inverse guidée par $q^{tran}_\theta$.
   • Modèles auxiliaires : Un modèle de dynamique inverse (entraîné sur les données cibles) et un modèle de récompense (entraîné sur les deux domaines) sont utilisés pour récupérer l'action $\hat{a}_t$ et la récompense $\hat{r}_t$, complétant ainsi le tuple de transition.

3. Apprentissage de la politique :
   Le jeu de données d'entraînement final ($D_{train}$) est construit en combinant le jeu de données cible ($D_{tar}$), les transitions générées alignées sur la cible ($D^{gen}_{\lambda_{cov}}$), et optionnellement, un sous-ensemble filtré de transitions sources ($D^{src}_{\lambda_{mix}}$). Un algorithme de RL hors ligne (Implicit Q-Learning, IQL) est entraîné sur ce jeu de données augmenté avec un terme de régularisation KL pour pénaliser l'écart par rapport à la politique de comportement cible.

Contributions clés

• Expansion de couverture alignée sur la cible (TCE) : Un cadre novateur qui va au-delà du simple filtrage des données sources. Il décide explicitement d'utiliser les données sources directement ou de les exploiter pour générer des transitions cohérentes avec la cible, en fonction de l'ampleur de l'écart de domaine.
• Analyse théorique : Une décomposition formelle de l'écart de performance inter-domaine en décalage de dynamique et erreur de génération, fournissant une base théorique pour équilibrer le mélange de données et la génération.
• Architecture à double score : Une approche générative en deux étapes qui découple l'expansion de la couverture d'états de la modélisation des transitions. Cette conception évite le surapprentissage aux données cibles limitées, ce qui est un mode de défaillance courant lors de l'apprentissage direct des mappings état-action-prochain état dans des régimes à faible quantité de données.
• Validation empirique : Des expériences extensives démontrant que le TCE surpasse systématiquement les références de l'état de l'art dans divers contextes inter-domaines.

Résultats expérimentaux

Les auteurs ont évalué le TCE sur des tâches de contrôle continu MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) et des tâches de manipulation dextre Adroit, couvrant des changements de morphologie, de cinématique et de gravité.

• Performance : Le TCE a atteint la performance moyenne la plus élevée dans 33 tâches sur 36 avec changement de morphologie dans MuJoCo et a surpassé toutes les références sur les tâches Adroit.
• Robustesse aux grands écarts : Dans les scénarios avec de grands écarts de dynamique (par exemple, changements morphologiques importants ou changements de gravité extrêmes), la variante TCE(OG) (n'utilisant que des transitions générées, $\lambda_{mix}=0$) a nettement surpassé les méthodes mélangeant directement les données sources. Cela confirme que l'intégration naïve de sources peut être préjudiciable sous de grands écarts.
• Petits écarts : Dans des contextes plus doux (par exemple, changements de gravité), la variante TCE(SM) (intégrant des données sources, $\lambda_{mix} > 0$) a montré des performances supérieures, validant l'adaptabilité du cadre.
• Études d'ablation :
  • Coefficient de couverture ($\lambda_{cov}$) : La performance suit une courbe de compromis ; étendre la couverture trop agressivement augmente l'erreur de génération et dégrade les performances. Une valeur modérée (par exemple, 0,2) s'est révélée optimale.
  • Conception en deux étapes : La conception découplée en deux étapes s'est révélée critique. Une référence « en une étape » estimant directement les prochains états à partir de paires état-action a souffert d'erreurs significativement plus élevées et de performances inférieures en raison du surapprentissage sur les données cibles limitées.

Importance et affirmations

L'article affirme que le TCE fournit une solution simple et pratique pour le RL hors ligne inter-domaine, en particulier dans les domaines critiques pour la sécurité ou sensibles aux coûts où l'interaction en ligne est impossible. En ancrant théoriquement la décision de mélanger ou de générer des données, le TCE atténue le décalage distributionnel qui affecte les méthodes existantes.

Les auteurs soulignent que leur approche n'est pas une panacée universelle ; elle suppose des espaces d'états et d'actions partagés et repose sur le jeu de données cible, aussi petit soit-il, pour guider la génération. Ils reconnaissent des limitations dans les scénarios avec un décalage extrême où les sources et les cibles partagent peu de support. Néanmoins, les résultats suggèrent que la génération alignée sur la cible est une stratégie plus robuste que le mélange direct de données lorsque l'écart de domaine est substantiel, permettant un apprentissage de politique efficace avec des données cibles limitées.