Résumé technique : Flux de transport contrefactuels pour le raffinement conservateur de trajectoires hors ligne

1. Formulation du problème

Le papier traite une limitation fondamentale de l'apprentissage par renforcement (RL) hors ligne : la difficulté d'améliorer les comportements observés sans extrapoler au-delà du support des données enregistrées. Alors que le RL standard apprend des correspondances état-action réactives, il échoue souvent à modéliser explicitement comment une trajectoire spécifique à faible résultat pourrait être révisée localement pour réussir. Les méthodes hors ligne existantes cherchent soit à contraindre les politiques via des pénalités de valeur, soit à utiliser des modèles génératifs (diffusion/flux) pour créer de nouveaux comportements, opérant souvent au niveau de la transition ou apprenant des politiques globales plutôt que des améliorations spécifiques à une instance.

Les auteurs formulent le problème comme un raffinement de trajectoire conditionné par la source. Étant donné une trajectoire candidate initiale $\tau^-$ avec un faible retour du monde (par exemple, faible rendement, violations de sécurité), l'objectif est d'apprendre une révision locale vers une alternative proche $\tau^*$ qui offre un meilleur retour tout en restant comportementalement plausible au sein de la distribution des données hors ligne. Cela est conceptualisé comme la recherche d'une trajectoire réalisable qui minimise la déviation par rapport à la source tout en satisfaisant une marge d'amélioration $\delta$ :
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.c.} \quad R(\tau') \ge R(\tau^-) + \delta$$
où $R(\tau)$ représente le retour mesurable du monde et $d_\tau$ mesure la déviation au niveau de la trajectoire.

2. Méthodologie : Flux de transport contrefactuels

Le cadre proposé, les Flux de transport contrefactuels (Counterfactual Transport Flows), apprend à transporter une trajectoire source vers une meilleure alternative dans un espace de trajectoire latent en utilisant le way-matching conditionnel (conditional flow matching). La méthode opère en trois étapes principales :

A. Construction de paires de préférences locales

Au lieu d'apprendre une politique globale, la méthode construit des paires de préférences locales faibles à partir de données hors ligne. Pour une trajectoire source donnée $\tau^-$, l'algorithme :

1. Encode les trajectoires dans un espace latent à l'aide d'un encodeur $\phi$.
2. Identifie un voisinage latent local $\mathcal{N}(\tau^-)$ de trajectoires similaires.
3. Sélectionne une trajectoire cible $\tau^+$ dans ce voisinage qui satisfait le critère d'amélioration ($R(\tau^+) \ge R(\tau^-) + \delta$).
4. Forme une paire $(\tau^-, \tau^+)$ représentant une révision « contrefactuelle » : ce que l'agent aurait pu faire différemment dans des conditions similaires pour obtenir un meilleur retour.

B. Flow Matching conditionné par la source

Le raffinement est modélisé comme un processus de transport continu plutôt que comme une prédiction en une seule étape.

• Interpolation latente : Pour chaque paire, un chemin d'interpolation linéaire est défini : $z_s = (1-s)z^- + s z^+$, où $z^- = \phi(\tau^-)$ et $z^+ = \phi(\tau^+)$, avec $s \sim U(0, 1)$.
• Champ de vecteurs conditionnel : Le modèle apprend un champ de vecteurs $v_\theta(z_s, s \mid z^-)$ conditionné spécifiquement sur la trajectoire source $z^-$. Cela garantit que la direction de raffinement est spécifique à l'instance, apprenant comment cette trajectoire particulière peut être révisée, plutôt que d'apprendre une direction globale vers des régions à haut retour.
• Objectif d'entraînement : Le modèle est entraîné en utilisant l'objectif de flow matching pour minimiser la différence entre la vitesse prédite et la vitesse cible ($z^+ - z^-$) :
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. Inférence avec force de raffinement

Au moment de l'inférence, la méthode prend une trajectoire candidate initiale $\tau^-$, l'encode en $z^-$, et intègre le champ de vecteurs appris. L'intégration est arrêtée à un paramètre de force de raffinement $\alpha \in [0, 1]$ :
$$\tilde{z} = z_\alpha$$
L'état latent résultant est décodé pour produire la trajectoire raffinée $\tau^* = \psi(\tilde{z})$.

• $\alpha = 0$ : Récupère la trajectoire originale (conservateur).
• $\alpha = 1$ : Transporte pleinement la trajectoire vers la cible locale à haut retour.
• $0 < \alpha < 1$ : Permet un compromis continu entre la préservation du comportement original et l'application d'un raffinement plus fort.

3. Principales contributions

Les auteurs soulignent trois contributions primaires :

1. Formulation : Ils recadrent l'amélioration de décision hors ligne comme un raffinement de trajectoire conditionné par la source à partir du retour du monde, se distinguant de l'optimisation de politique globale ou de la génération de trajectoires non contraintes.
2. Méthodologie : Ils proposent de construire des paires de préférences locales à partir des résultats observés et d'utiliser le flow matching conditionnel pour apprendre des directions de raffinement spécifiques à l'instance dans l'espace de trajectoire latent.
3. Validation : Ils valident l'approche sur les benchmarks D4RL (AntMaze et MuJoCo), démontrant une amélioration du retour avec des déviations de trajectoire conservatrices, sans nécessiter de labels de préférence humaine ou de modèles de récompense séparés.

4. Résultats expérimentaux

Les expériences ont été menées sur des jeux de données D4RL, incluant les tâches AntMaze et MuJoCo (HalfCheetah), en utilisant un auto-encodeur de trajectoire pour la construction de l'espace latent.

• Baselines : La méthode a été comparée à :
  • Nearest Improved Neighbor (Voisin amélioré le plus proche) : Remplace directement la source par la trajectoire de plus haut retour la plus proche.
  • Random Improved Trajectory (Trajectoire améliorée aléatoire) : Remplace la source par une trajectoire de plus haut retour choisie aléatoirement.
  • Non-local Flow Matching : Entraîne le modèle de flux sans contraintes de localité sur la sélection de la cible.
• Performance :
  • AntMaze : La méthode proposée a obtenu une amélioration du retour de +69,44 avec la plus faible déviation d'action (1,41) et de latence (27,00). En revanche, la baseline "Random Improved Trajectory" a obtenu des gains bruts plus élevés (+117,50) mais avec des déviations nettement plus importantes (Action : 2,18, Latence : 62,50), indiquant un manque de conservatisme. La baseline "Non-local Flow Matching" a même dégradé le retour (-11,48).
  • MuJoCo : Des tendances similaires ont été observées. La méthode proposée a obtenu une amélioration du retour de +1180,20 avec des déviations de 1,58 (action) et 31,40 (latence). La méthode "Nearest Improved Neighbor" a obtenu une amélioration brute légèrement inférieure (+1050,30) mais avec des déviations plus élevées (2,14/42,50).
• Analyse : Les résultats indiquent que la construction de cible locale et le conditionnement par la source sont tous deux nécessaires pour un raffinement conservateur. Les approches globales ou non locales échouent à apprendre des directions de raffinement stables, tandis que les stratégies de remplacement direct sacrifient trop de fidélité comportementale.

5. Signification et affirmations

Le papier affirme que les Flux de transport contrefactuels offrent une voie prometteuse pour l'amélioration hors ligne fiable en :

• Ancrant l'amélioration dans les données : La méthode améliore le comportement en utilisant uniquement le retour scalaire du monde (par exemple, les rendements) des données enregistrées, éliminant le besoin de labels de préférence humaine, de modèles de récompense séparés ou d'interaction en ligne avec l'environnement.
• Interprétabilité : La perspective de transport offre une interprétabilité au niveau de la trajectoire. Le champ de vecteurs appris trace des chemins de raffinement explicites, offrant des explications de type « contrefactuel » sur la manière dont les comportements à faible retour peuvent être révisés.
• Contrôlabilité : Le paramètre de force de raffinement $\alpha$ permet un compromis ajustable entre le conservatisme (préserver la proposition originale) et l'amélioration agressive.

Les auteurs maintiennent une position modeste, notant que le terme « contrefactuel » est utilisé au sens de raffinement de trajectoire (ancré dans les données observées) plutôt qu'au sens de l'inférence causale formelle. Ils identifient des directions de travaux futurs, notamment la sélection de voisinage adaptative, les garanties théoriques pour les trajectoires décodées et l'intégration avec des modèles de monde appris pour une planification hypothétique itérative.