Résumé Technique : Champs d'Avantage Duaux (Dual Advantage Fields)

Énoncé du Problème

L'apprentissage par renforcement conditionné par un objectif (GCRL) hors ligne fait face à un double défi fondamental : l'agent doit simultanément raisonner de manière globale sur la joignabilité à long terme (inférer comment les états se connectent au fil du temps pour recoudre des comportements à partir d'un jeu de données fixe) et agir de manière locale (décider quelle action spécifique à l'état actuel permet de progresser le plus vers un objectif).

Bien que les récentes représentations d'objectifs duaux (paramétrant la valeur par une interaction bilinéaire $V_\theta(s, g) = \psi_\theta(s)^\top \phi_\theta(g)$) fournissent de solides cartes globales de joignabilité, elles ne parviennent pas à spécifier directement les préférences d'action. Une surface de valeur indique la qualité d'un état pour un objectif donné, mais ne hiérarchise pas intrinsèquement les actions disponibles, car plusieurs actions peuvent provenir du même état avec des estimations de valeur identiques. Les méthodes existantes peinent souvent à extraire un signal local, comparatif aux actions, à partir de ces champs globaux, ce qui conduit à des performances sous-optimales dans des tâches où les actions localement correctes (ex: préhension) diffèrent du mouvement direct vers l'objectif final.

Méthodologie : Champs d'Avantage Duaux (DAF)

Les auteurs proposent les Champs d'Avantage Duaux (DAF), une méthode d'extraction de politique qui exploite les propriétés géométriques des représentations duales bilinéaires pour générer un signal d'avantage local sans entraîner une fonction de valeur d'action ($Q$-function) distincte conditionnée par l'objectif.

Intuition Fondamentale

Sous la paramétrisation bilinéaire $V_\theta(s, g) = \psi_\theta(s)^\top \phi_\theta(g)$, l'encodage de l'objectif $\phi_\theta(g)$ est mathématiquement équivalent au gradient du champ de valeur par rapport à l'encodage de l'état :
$$\nabla_\psi V_\theta(s, g) = \phi_\theta(g)$$
Cela implique que l'encodage de l'objectif définit la direction dans l'espace de représentation des états selon laquelle la valeur conditionnée par l'objectif augmente.

Mécanisme

DAF opérationnalise cette intuition à travers les étapes suivantes :

1. Modélisation de l'effet de l'action : La méthode apprend un modèle d'effet d'action $u_\xi(s, a)$ qui prédit le déplacement de caractéristique (feature displacement) actualisé induit par une action :
   $$u_\xi(s, a) \approx \mathbb{E}_{s' \sim P(\cdot|s,a)} [\gamma \psi_\theta(s') - \psi_\theta(s)]$$
2. Score d'Avantage Dual : Les actions sont scorées par le produit scalaire entre le déplacement de caractéristique prédit et l'encodage de l'objectif (la direction du gradient de la valeur) :
   $$z_\theta(s, a, g) = u_\xi(s, a)^\top \phi_\theta(g)$$
   Ce score mesure si l'action déplace la représentation de l'état dans une direction qui augmente le potentiel conditionné par l'objectif.
3. Extraction de Politique : La méthode utilise la régression pondérée par l'avantage (AWR) pour extraire une politique $\pi_\omega$. La politique est entraînée pour maximiser la log-probabilité des actions pondérées par l'exponentielle du score DAF :
   $$J(\pi_\omega) = \mathbb{E}_{(s,a,g) \sim D} \left[ \exp(\alpha \cdot z_\theta(s, a, g)) \log \pi_\omega(a|s, g) \right]$$
   Dans le cas réalisable, ce score est égal à l'avantage de Bellman conditionné par l'objectif, fournissant une garantie standard d'amélioration de politique locale.

Architecture d'Entraînement

La boucle d'entraînement comprend :

• L'apprentissage des encodages d'état et d'objectif ($\psi_\theta, \phi_\theta$) en utilisant la régression par expectile sur des données hors ligne, liées à des estimations de $Q$ pessimistes.
• L'entraînement de la carte de déplacement $u_\xi$ via une perte auxiliaire pour suivre la dynamique des caractéristiques sur un pas de temps.
• Un couplage "sans acteur" (actor-free) entre le champ de valeur et le score dual scalaire pour assurer la stabilité dans le contrôle continu, évitant les opérateurs max-$Q$ fragiles.

Contributions Clés

1. Interprétation Géométrique : L'article démontre que sous une paramétrisation standard de représentation d'objectif dual, l'encodage de l'objectif agit comme la direction du gradient du champ de valeur conditionné par l'objectif par rapport à la représentation d'état apprise.
2. Algorithme DAF : Introduction d'une méthode d'extraction de politique qui apprend des vecteurs d'effet d'action et score les actions en fonction de leur alignement avec la direction de l'objectif, produisant un signal de type avantage local.
3. Extraction Sans Acteur : Un mécanisme pour extraire des politiques à partir de données hors ligne sans entraîner une fonction $Q$ distincte conditionnée par l'objectif, en réutilisant la géométrie du critique dual pour pondérer les actions hors ligne.

Résultats Expérimentaux

Les auteurs ont évalué DAF sur le benchmark OGBench, couvrant des tâches de locomotion, de manipulation et de puzzles.

• Locomotion en Labyrinthe (Long Terme) : Sur les tâches humanoidmaze et antmaze (datasets Navigate et Stitch), DAF a obtenu des résultats compétitifs ou supérieurs par rapport aux bases de réduction d'horizon (ex: HIQL, OTA). Notamment, DAF a excellé dans les tâches "Stitch", qui nécessitent de composer des fragments de trajectoires courts en solutions à long terme, démontrant qu'une extraction d'avantage local peut préserver la structure à long terme.
• Manipulation d'Objets (Contrôle Local) : Sur les tâches cube et scene, DAF a nettement surpassé les bases. Dans la tâche cube, DAF a réussi à identifier des comportements de préhension (se déplacer vers l'objet) plutôt que de se déplacer directement vers l'objectif de placement final, un mode de défaillance courant pour les méthodes reposant uniquement sur des sous-objectifs globaux.
• Réarrangement de Puzzle : Sur les tâches de puzzle combinatoires, DAF a montré de fortes performances, gérant efficacement la nécessité de comparer les actions basées sur leurs effets en aval sur la configuration de l'objectif.
• Métriques Agrégées : En utilisant les métriques RLiable (Médiane, IQM, Moyenne, Écart d'Optimalité), DAF a amélioré la performance globale à travers tous les domaines, indiquant une robustesse à travers différents types de contrôle et de régimes de données (expert bruyant vs données sous-optimales).

Signification et Revendications

L'article affirme que les Champs d'Avantage Duaux fournissent un principe unifié pour le GCRL hors ligne : les champs de valeur globaux doivent être couplés avec des champs d'avantage locaux. En interprétant l'encodage de l'objectif comme un gradient, DAF transforme les représentations duales de simples cartes de joignabilité globale en boussoles locales pour la sélection d'actions.

Les auteurs soulignent que cette approche est particulièrement significative dans les contextes où les actions localement correctes diffèrent du mouvement direct vers l'objectif final (ex: préhension). Les résultats suggèrent que les représentations duales ne doivent pas seulement servir de cartes de joignabilité globale, mais aussi être explicitement utilisées pour extraire des signaux d'avantage locaux pour l'amélioration de la politique, offrant une performance plus cohérente à travers divers benchmarks de GCRL hors ligne que les approches hiérarchiques ou quasi-métriques précédentes.

L'article reconnaît les limites concernant la couverture des jeux de données ; comme toutes les méthodes de RL hors ligne, la performance de DAF dépend de la couverture des actions nécessaires et de la précision de la représentation duale et du modèle d'effet d'action appris dans les régions stochastiques ou mal couvertes.