🤖 machine learning

BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning

BiTrajDiff est un cadre novateur d'augmentation de données pour l'apprentissage par renforcement hors ligne qui utilise des modèles de diffusion bidirectionnels pour générer à la fois des trajectoires futures et passées à partir d'états intermédiaires, surmontant ainsi les biais de distribution des ensembles de données et améliorant la généralisation des politiques en explorant des schémas de comportement diversifiés.

Auteurs originaux : Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Rue à Sens Unique » de l'Apprentissage Robotique

Imaginez que vous essayez d'enseigner à un robot comment naviguer dans un labyrinthe. Vous ne disposez que d'une vidéo enregistrée d'un humain traversant ce labyrinthe. Mais voici le hic : l'humain dans la vidéo ne marche jamais que dans le couloir de gauche ou dans celui de droite. Il ne traverse jamais la porte de connexion au milieu.

Dans le monde de l'Apprentissage par Renforcement Hors Ligne (Offline RL), c'est un problème courant. Le robot apprend à partir d'un jeu de données statique (la vidéo) et a peur d'essayer quoi que ce soit de nouveau car il pourrait faire une erreur (une erreur « hors distribution »). Ainsi, il reste coincé dans le couloir de gauche ou de droite, ne découvrant jamais qu'il peut traverser la porte pour obtenir une meilleure récompense.

Les méthodes existantes tentent d'aider en utilisant l'IA pour « imaginer » de nouveaux chemins. Cependant, la plupart de ces méthodes agissent comme des générateurs de rues à sens unique.

S'ils commencent à gauche, ils imaginent simplement plus de chemins de marche vers la gauche.
S'ils commencent à droite, ils imaginent simplement plus de chemins de marche vers la droite.
Ils comprennent rarement comment assembler un chemin qui va de la Gauche $\rightarrow$ Porte $\rightarrow$ Droite. Ils préservent la « connectivité » des mauvaises données d'origine.

La Solution : BiTrajDiff (Le « Assembleur Bidirectionnel »)

Les auteurs proposent une nouvelle méthode appelée BiTrajDiff. Au lieu de regarder uniquement vers l'avant ou vers l'arrière, cette méthode regarde dans les deux directions simultanément pour construire un pont entre des chemins déconnectés.

Pensez-y comme à un tailleur cousant une nouvelle robe en utilisant deux pièces de tissu différentes :

Le Point d'Ancrage (L'Aiguille) : L'IA choisit un point spécifique au milieu de la pièce (un état) dans la vidéo originale. Appelons cela l'« Ancrage ».
Le Fil Avant (Futur) : L'IA demande : « Si je me tiens à cet Ancrage, à quoi ressemble un bon futur ? » Elle génère un chemin se déplaçant vers l'avant à partir de ce point.
Le Fil Arrière (Histoire) : L'IA demande : « Si je me tiens à cet Ancrage, comment suis-je arrivé ici ? » Elle génère un chemin se déplaçant vers l'arrière à partir de ce point.
La Couture : La magie opère lorsque l'IA coud ces deux fils ensemble à l'Ancrage. Soudainement, elle a créé un tout nouveau chemin complet reliant le « Couloir de Gauche » au « Couloir de Droite » à travers la porte — un chemin qui n'existait pas dans la vidéo originale.

Comment Cela Fonctionne (Étape par Étape)

Entraînement des Tailleurs : Le système entraîne deux « tailleurs IA » (Modèles de Diffusion) séparés. L'un est un expert en prédiction du futur, et l'autre est un expert en reconstruction du passé.
Génération des Pièces : Il choisit un point aléatoire dans les anciennes données. Il demande au « Tailleur du Futur » de dessiner un chemin vers l'avant et au « Tailleur du Passé » de dessiner un chemin vers l'arrière.
Combler les Vides : L'IA utilise ensuite un outil de « Dynamique Inverse » pour déterminer quelles actions (mouvements) et quelles récompenses (points) seraient nécessaires pour rendre ces chemins dessinés réels.
Le Contrôle Qualité (Le Videur) : Tous les chemins cousus ne sont pas bons. Certains peuvent sembler étranges ou impossibles. Le système dispose d'un « Videur » (un filtre) qui vérifie deux choses :
- Est-ce réaliste ? (Est-ce que cela ressemble à quelque chose qui pourrait réellement se produire dans le labyrinthe ?)
- Est-ce bon ? (Est-ce que cela mène à un score élevé ?)
- Si la réponse est non, le chemin est jeté. Si oui, il est ajouté au jeu de données d'entraînement.

Pourquoi C'est Mieux

Le papier a testé cela sur le benchmark D4RL (un ensemble standard de tâches de contrôle robotique comme marcher, courir et naviguer dans des labyrinthes).

Le Résultat : En cousant ensemble des chemins vers l'avant et vers l'arrière, BiTrajDiff a créé des « ponts » entre des comportements qui étaient auparavant séparés.
L'Analogie : Si les anciennes données étaient une bibliothèque avec deux salles de livres séparées qui ne parlaient jamais entre elles, BiTrajDiff a construit un couloir les reliant. Maintenant, le robot peut lire un livre de la salle de gauche, traverser le nouveau couloir, et lire un livre de la salle de droite.
Le Résultat Final : Les robots entraînés avec ces nouvelles données « cousues » ont appris plus vite et ont mieux performé que les robots entraînés uniquement avec les anciennes données ou avec des données générées par des méthodes à sens unique. Ils ont pu résoudre des tâches (comme traverser une porte dans un labyrinthe) que les données originales déclaraient impossibles.

Résumé

BiTrajDiff est une nouvelle façon d'enseigner aux robots en « imaginant » de nouvelles expériences. Au lieu de simplement deviner ce qui se passe ensuite, elle devine ce qui s'est passé avant et ce qui se passe ensuite, puis les assemble pour créer une histoire complète et de haute qualité. Cela permet aux robots d'apprendre à partir de scénarios « et si » qui manquaient dans leurs vidéos d'entraînement originales, les aidant à surmonter les limites de leurs expériences passées.

Résumé Technique : BiTrajDiff

Énoncé du Problème

L'Apprentissage par Renforcement (RL) hors ligne vise à apprendre des politiques efficaces à partir de jeux de données statiques et précollectés, sans interaction supplémentaire avec l'environnement. Un défi majeur dans ce domaine est le problème hors distribution (OOD), où la politique apprise rencontre des paires état-action absentes des données enregistrées, entraînant des erreurs d'extrapolation et une surestimation des valeurs. Pour atténuer ce problème, les méthodes existantes imposent souvent des contraintes conservatrices, ce qui restreint involontairement l'apprentissage aux biais structurels du jeu de données, limitant ainsi la diversité comportementale et la généralisation.

Les approches récentes d'Augmentation de Données (DA) tentent de résoudre ce problème en utilisant des modèles génératifs (notamment des modèles de diffusion) pour synthétiser de nouvelles transitions. Cependant, les méthodes de DA actuelles opèrent principalement dans un paradigme de défilement unique (soit futur vers l'avant, soit passé vers l'arrière) conditionné par des états présents dans le jeu de données. Par conséquent, ces méthodes tendent à préserver la connectivité au niveau des trajectoires originales du jeu de données. Elles génèrent des variations locales au sein des modèles de comportement existants, mais échouent à rétablir les connexions entre des modèles de comportement distincts et déconnectés (par exemple, relier deux pièces séparées dans une tâche de navigation où aucune trajectoire traversant la porte n'existe dans les données originales).

Méthodologie

Les auteurs proposent BiTrajDiff (Diffusion de Trajectoire Bidirectionnelle), un nouveau cadre de DA conçu pour rétablir explicitement la connectivité globale au niveau des trajectoires en synthétisant des trajectoires qui relient des modèles de comportement précédemment déconnectés.

Cadre Central

BiTrajDiff décompose la synthèse de trajectoires en deux processus de diffusion indépendants mais complémentaires :

Diffusion Futur-Avant : Modélise la génération de séquences d'états futurs à partir d'un état intermédiaire.
Diffusion Passé-Arrière : Modélise la reconstruction de séquences d'états passés se terminant au même état intermédiaire.

Les deux processus sont conditionnés par les mêmes états ancrés intermédiaires ( $s_t$ ) échantillonnés à partir du jeu de données hors ligne, ainsi que par un signal de retour cumulatif cible.

Composants Clés

Entraînement par Diffusion Bidirectionnelle :
- Deux modèles de diffusion distincts ( $\epsilon_{\theta_f}$ pour l'avant, $\epsilon_{\theta_b}$ pour l'arrière) sont entraînés sur le jeu de données hors ligne.
- Le modèle avant génère des trajectoires $\{s_t, \dots, s_{t+H-1}\}$ conditionnées par l'état initial $s_t$ et le retour cible $R_f$ .
- Le modèle arrière génère des trajectoires $\{s_{t-H+1}, \dots, s_t\}$ conditionnées par l'état terminal $s_t$ et le retour cible $R_b$ .
- L'entraînement utilise la Guidance sans Classificateur (CFG) pour gérer la génération conditionnelle et inconditionnelle, le retour cumulatif servant de condition principale.
Génération et Assemblage de Trajectoires Bidirectionnelles :
- Lors de l'inférence, un état ancre $s_t$ est échantillonné à partir du jeu de données.
- Le modèle avant génère un segment futur, et le modèle arrière génère un segment historique.
- Ces segments sont assemblés à l'état ancre partagé $s_t$ pour former une trajectoire bidirectionnelle complète : $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$ .
- Ce mécanisme d'assemblage permet la synthèse de trajectoires reliant des états qui étaient auparavant inaccessibles ou déconnectés dans le jeu de données original.
Complétion de Trajectoire :
- Étant donné que les modèles de diffusion génèrent des séquences d'états, un Modèle de Dynamique Inverse (IDM) est utilisé pour prédire les actions ( $a_t$ ) étant données les transitions d'état ( $s_t, s_{t+1}$ ).
- Un Modèle de Récompense (RM) prédit les récompenses ( $r_t$ ) pour les paires état-action.
- Cela complète la trajectoire avec des signaux d'action et de récompense, formant un tuple de transition complet.
Filtrage de Trajectoires Bidirectionnelles :
Pour assurer la qualité des données augmentées, un mécanisme de filtrage en deux étapes est appliqué :
- Filtre OOD : Utilise une Forêt d'Isolation pour détecter et supprimer les trajectoires qui s'écartent significativement de la distribution des données originales (détection de nouveauté).
- Filtre Glouton : Sélectionne les meilleures trajectoires basées sur la récompense cumulative la plus élevée, garantissant que les données augmentées guident la politique vers des comportements performants.

Contributions Clés

Identification des Limitations : Les auteurs identifient que les méthodes de DA à défilement unique préservent la connectivité au niveau des trajectoires originales, échouant à explorer les connexions entre des modèles de comportement distincts.
Synthèse Bidirectionnelle : La proposition de BiTrajDiff, qui décompose explicitement la génération en processus avant et arrière conditionnés par des ancres partagées, permettant la synthèse de trajectoires reliant des modes de comportement déconnectés.
Validation Empirique : Des expériences approfondies sur la référence D4RL démontrent que BiTrajDiff surpasse systématiquement des bases de référence avancées en DA (y compris Synther, DiffStitch et RTDiff) sur diverses architectures de RL hors ligne (IQL, TD3BC, CQL, DT).

Résultats Expérimentaux

L'article évalue BiTrajDiff sur la référence D4RL, couvrant des tâches de locomotion, de navigation (Maze2D, AntMaze) et de manipulation (Kitchen).

Gains de Performance : BiTrajDiff atteint les retours moyens les plus élevés sur la plupart des tâches et algorithmes. Par exemple, dans les tâches de locomotion, il surpasse systématiquement les bases de référence unidirectionnelles. Dans des environnements à récompense sparse comme Maze et Kitchen, où la qualité des données est critique, BiTrajDiff montre des améliorations significatives en stabilité et en performance.
Études d'Ablation :
- Directionnalité : BiTrajDiff (bidirectionnel) surpasse systématiquement les variantes uniquement avant et uniquement arrière, validant la nécessité d'assembler les segments passés et futurs pour rétablir la connectivité globale.
- Filtrage : La combinaison des filtres OOD et Glouton s'avère supérieure à l'utilisation de l'un seul ou à l'absence de filtres, équilibrant diversité et fiabilité.
- Ratio d'Augmentation : Un ratio de 30 % de données augmentées par rapport aux données originales ( $\sigma=30\%$ ) produit une stabilité et une performance optimales ; une augmentation excessive (100 %) introduit du bruit qui dégrade les performances.
Estimateur TD n-étapes : BiTrajDiff maintient son avantage de performance par rapport aux bases de référence même lorsque l'horizon n-étapes augmente, suggérant que les trajectoires générées sont de meilleure qualité et plus cohérentes avec la dynamique sous-jacente que celles des autres méthodes de DA.
Diversité vs Précision : Les métriques de visualisation (Erreur Dynamique et Distance L2) montrent que BiTrajDiff génère des trajectoires avec une diversité significativement plus élevée (plus grande distance L2 par rapport aux données originales) tout en maintenant une précision dynamique compétitive, contrairement aux méthodes unidirectionnelles qui tendent à surajuster la distribution originale.

Importance et Affirmations

L'article affirme que BiTrajDiff répond à une limitation fondamentale de l'augmentation de données en RL hors ligne : l'incapacité des défilements à processus unique à relier des modèles de comportement déconnectés. En modélisant explicitement et en assemblant des trajectoires futur-avant et passé-arrière autour d'états ancrés partagés, BiTrajDiff rétablit la connectivité globale au niveau des trajectoires absente du jeu de données original.

Les auteurs affirment que cette approche permet aux algorithmes de RL hors ligne d'apprendre à partir d'un ensemble plus diversifié de modèles comportementaux sans sacrifier la cohérence physique, conduisant à des améliorations substantielles des performances sur un large éventail de tâches et d'algorithmes. Ce travail est présenté comme une avancée dans la surmonter des biais structurels de l'apprentissage hors ligne conservateur grâce à l'augmentation de données générative. Des travaux futurs sont notés pour explorer la génération bidirectionnelle dans des contextes multi-tâches avec des modèles comportementaux plus larges.