Résumé Technique : Unification de l'Alignement des Valeurs et de l'Attribution dans l'Apprentissage par Renforcement Hors Ligne Transversal aux Domaines avec des Jeux de Données Hétérogènes

1. Énoncé du Problème

L'apprentissage par renforcement (RL) hors ligne transversal aux domaines vise à apprendre une politique dans un domaine cible en utilisant un jeu de données cible limité et un jeu de données source abondant présentant un décalage dynamique (c'est-à-dire des dynamiques de transition différentes $P_{src}$ par rapport à $P_{tar}$). Bien que des méthodes récentes aient tenté de résoudre le problème des dynamiques hors distribution (OOD) par un filtrage des données basé sur l'alignement des dynamiques (par exemple, IGDF, OTDF) ou l'alignement des valeurs (par exemple, DVDF), ces approches supposent généralement que le jeu de données source est collecté à partir d'un seul environnement avec une seule politique de comportement.

Cet article aborde un cadre plus général et réaliste : le RL hors ligne transversal aux domaines hétérogènes. Dans ce cadre, le jeu de données source est agrégé à partir de plusieurs domaines sources ayant des dynamiques de transition distinctes et collectés par diverses politiques de comportement. Les auteurs identifient un problème critique, précédemment négligé dans ce cadre, appelé Mauvaise Attribution des Valeurs.

La Mauvaise Attribution des Valeurs se produit lorsqu'une seule fonction de valeur (ou fonction d'avantage) est entraînée sur l'ensemble du jeu de données source hétérogène sans distinguer les modalités dynamiques sous-jacentes. Cela conduit à :

1. Une Estimation Incorrecte de l'Avantage : Les valeurs d'avantage attribuées aux échantillons ne reflètent pas leur optimalité réelle par rapport à leur sous-domaine dynamique spécifique.
2. Un Filtrage des Données Sous-optimal : Les mécanismes de filtrage des données reposant sur ces valeurs mal attribuées sont induits en erreur, sélectionnant des échantillons sous-optimaux (par exemple, des données de qualité moyenne provenant d'une dynamique spécifique) tout en rejetant les optimaux.
3. Un Écart de Sous-optimalité Relâché : L'analyse théorique montre que la mauvaise attribution des valeurs empêche la délimitation stricte de l'écart de sous-optimalité dans le domaine cible, dégradant ainsi les performances de l'agent.

2. Méthodologie : V2A

Pour résoudre la mauvaise attribution des valeurs, les auteurs proposent V2A (Alignement et Attribution des Valeurs), un cadre qui unifie l'alignement des dynamiques, l'alignement des valeurs et l'attribution des valeurs. La méthode se déroule en trois étapes principales :

2.1. Apprentissage de Représentations de Modalités Temporellement Cohérentes

La première étape consiste à dissocier les différentes modalités dynamiques au sein du jeu de données source.

• Approche : Les auteurs emploient un cadre d'Espérance-Maximisation (EM) pour apprendre une représentation latente $z$ pour chaque trajectoire.
• Innovation : Contrairement aux auto-encodeurs variationnels standards qui encodent les transitions individuellement (entraînant une incohérence temporelle), V2A utilise une ELBO Temporellement Cohérente. Elle encode la trajectoire entière $\tau$ dans une seule variable latente $z$ en utilisant un Réseau de Neurones Récurrent (RNN/LSTM), tout en décodant les transitions au niveau de l'étape.
• Objectif : Cela garantit que toutes les transitions au sein d'une trajectoire partagent la même représentation dynamique $z$, regroupant efficacement les trajectoires selon leurs dynamiques sous-jacentes.

2.2. Apprentissage d'Avantage Conscient des Modalités

Une fois les modalités dynamiques ($z$) inférées, le jeu de données source est reétiqueté comme $D'_{src} = \{(s, a, r, s', z)\}$.

• Approche : Les auteurs proposent un Apprentissage d'Avantage Conscient des Modalités. Au lieu d'entraîner une fonction d'avantage standard $A(s, a)$, ils entraînent une fonction d'avantage conditionnée par la modalité $A(s, a, z)$.
• Mécanisme : La représentation latente $z$ est fournie en entrée de la fonction $Q$ et de la fonction $V$ pendant le pré-entraînement (en utilisant un schéma Sparse-QL).
• Résultat : Cela permet à la fonction d'avantage de distinguer les différentes modalités dynamiques, attribuant des valeurs d'avantage correctes aux paires état-action en fonction de leur contexte dynamique spécifique, corrigeant ainsi la mauvaise attribution des valeurs.

2.3. Filtrage Unifié des Données et Apprentissage de la Politique

L'étape finale intègre ces composants dans un paradigme de filtrage des données pour l'apprentissage de la politique cible.

• Fonction de Score : Une nouvelle fonction de score $f(s, a, s', z)$ est définie pour filtrer les données sources :
  $$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$$
  où $h(\cdot)$ mesure l'alignement des dynamiques (via l'apprentissage par contraste ou le transport optimal) et $A(s, a, z)$ mesure l'alignement des valeurs conscient des modalités.
• Filtrage : Les échantillons sources sont sélectionnés en fonction du quantile supérieur-$\xi$ de ce score.
• Optimisation de la Politique : La politique cible est entraînée sur les données sources filtrées combinées aux données cibles limitées en utilisant l'Apprentissage par Q-Implicite (IQL).

3. Contributions Clés

1. Formulation du Problème : L'article formalise le cadre du RL hors ligne transversal aux domaines hétérogènes, où les données sources proviennent de plusieurs domaines et politiques de comportement, et identifie la Mauvaise Attribution des Valeurs comme une limitation fondamentale des méthodes existantes.
2. Insight Théorique : Les auteurs fournissent une borne théorique sur l'écart de sous-optimalité, démontrant que la mauvaise attribution des valeurs relâche cette borne. Ils prouvent que la dissociation des modalités dynamiques est nécessaire pour atteindre une borne plus stricte.
3. Algorithme (V2A) : Ils proposent V2A, qui intègre :
   • L'apprentissage de représentations de modalités temporellement cohérentes (via EM).
   • L'apprentissage d'avantage conscient des modalités.
   • Un paradigme unifié de filtrage des données.
4. Validation Empirique : Des expériences extensives sur des tâches MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) avec des jeux de données sources hétérogènes montrent que V2A surpasse significativement de solides références (IGDF, OTDF, DVDF, BOSA, DARA).

4. Résultats Expérimentaux

• Performance : V2A réalise des améliorations de performance significatives par rapport aux références. Par exemple, lorsqu'il est construit sur IGDF, V2A améliore le score normalisé total de 21,4 % par rapport à la référence IGDF, et de 21,4 % par rapport à DVDF (qui n'a amélioré que de 6,8 % par rapport à IGDF). Des gains similaires ont été observés avec OTDF.
• Études d'Ablation :
  • ELBO Temporellement Cohérente : Le retrait de la cohérence au niveau de la trajectoire (en utilisant une ELBO au niveau de l'échantillon à la place) a entraîné une baisse de performance, confirmant la nécessité de la cohérence temporelle pour une extraction précise des modalités.
  • Conscience des Modalités : Les visualisations des distributions d'avantage apprises montrent que V2A produit des distributions d'avantage plus nettes et plus distinctes par rapport aux distributions plus plates et moins discriminatives de DVDF, indiquant une meilleure estimation de l'optimalité des échantillons.
  • Sensibilité aux Paramètres : La méthode est robuste au coefficient de compromis $\lambda$ (optimal autour de 0,6) et au ratio de sélection des données $\xi$ (optimal autour de 0,5).

5. Importance et Revendications

L'article revendique que V2A est le premier cadre à résoudre efficacement le problème de mauvaise attribution des valeurs inhérent au RL hors ligne transversal aux domaines hétérogènes. En unifiant l'alignement des dynamiques, l'alignement des valeurs et l'attribution des valeurs, V2A permet un transfert de politique efficace même lorsque les données sources sont un mélange complexe de dynamiques et de comportements divers.

Les auteurs soulignent que, tandis que les travaux précédents se concentraient sur l'alignement des dynamiques ou des valeurs de manière isolée (ou supposaient des données sources homogènes), leur travail met en évidence que ignorer la nature multimodale des dynamiques sources conduit à une estimation incorrecte des valeurs, ce qui compromet à son tour le filtrage des données. La méthode proposée offre une solution simple mais efficace qui comble significativement le fossé entre les cadres théoriques et les scénarios de données réalistes et hétérogènes en robotique et en IA incarnée.

Limites Reconnues :

• L'apprentissage de représentations de modalités temporellement cohérentes nécessite un temps d'entraînement supplémentaire (bien que cela puisse être précalculé).
• L'analyse théorique repose sur des hypothèses légères (par exemple, des conditions suffisantes du second ordre pour la convexité dans le voisinage de la politique optimale).