🤖 AI

Goal-Conditioned Decision Transformer for Multi-Goal Offline Reinforcement Learning

Ce papier présente un Transformer de décision conditionné par l'objectif qui exploite des données hors ligne précollectées pour résoudre efficacement des tâches robotiques complexes à objectifs multiples avec des récompenses clairsemées, démontrant des performances supérieures aux bases de référence en ligne les plus avancées sur la plateforme Franka Emika Panda.

Auteurs originaux : Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un bras robotique à accomplir des tâches complexes, comme saisir un bloc et le placer à un endroit précis. Habituellement, vous devriez laisser le robot essayer, échouer, percuter des objets et apprendre de ses erreurs dans le monde réel. Mais cela est dangereux, coûteux et use le robot.

Ce papier introduit une méthode plus intelligente et plus sûre pour enseigner aux robots en utilisant l'apprentissage hors ligne. Imaginez cela ainsi : au lieu de laisser le robot s'entraîner en temps réel, nous lui fournissons une immense bibliothèque de « vidéos familiales » d'autres robots (ou d'experts) accomplissant des tâches. Le robot étudie ensuite ces vidéos pour apprendre à bouger, sans jamais toucher au monde réel pendant l'entraînement.

Voici la décomposition de leur nouvelle méthode, utilisant des analogies simples :

1. Le Problème : Le Robot « Une Seule Tâche »

La plupart des robots sont comme des étudiants qui ne révisent que pour un examen spécifique. Si vous enseignez à un robot à pousser un bloc rouge, il pourrait ne pas savoir comment pousser un bloc bleu ou attraper une tasse. Il manque de généralisation.

2. La Solution : Le « Transformateur de Décision Conditionné par l'Objectif »

Les auteurs ont créé un nouveau modèle d'IA appelé un Transformateur de Décision Conditionné par l'Objectif. Voici comment cela fonctionne :

La Partie « Transformateur » (Le Super-Lecteur) : Imaginez un étudiant qui ne se contente pas de mémoriser des étapes, mais qui comprend l'histoire d'un mouvement. Ce modèle lit une séquence d'événements (où se trouvait le robot, ce qu'il a fait et ce qui s'est passé ensuite) comme un livre. Il utilise une architecture « Transformateur » (la même technologie derrière les chatbots avancés) pour comprendre le contexte de l'histoire entière, et pas seulement la dernière phrase.
La Partie « Conditionné par l'Objectif » (Le GPS) : Les robots standard se contentent peut-être de recevoir l'ordre : « Fais cela. » Ce nouveau modèle reçoit l'ordre : « Fais cela pour atteindre cet endroit précis. »
- L'Analogie : Imaginez que vous donnez des directions à un conducteur.
  - Ancienne méthode : « Tourne à gauche, puis à droite. » (Le conducteur ne connaît pas la destination).
  - Nouvelle méthode : « Tourne à gauche, puis à droite pour arriver à la Pizzeria. »
- En fournissant explicitement au robot l'« objectif désiré » (la Pizzeria) dans sa mémoire, conjointement avec l'historique des mouvements, le robot apprend que différents chemins peuvent mener à la même destination. Il apprend à adapter ses mouvements en fonction de l'endroit où il veut finir.

3. L'Astuce « Rétrospective »

Le papier mentionne une technique appelée Rejeu d'Expérience Rétrospective.

L'Analogie : Imaginez qu'un robot essaie de pousser un bloc vers la cuisine mais le pousse accidentellement vers le salon. Un robot normal pense : « J'ai échoué. »
L'Astuce Rétrospective : Cette méthode dit : « Eh bien, tu n'es pas arrivé à la cuisine, mais tu as réussi à pousser le bloc vers le salon ! Faisons comme si c'était l'objectif dès le début. » Cela transforme les « échecs » en « leçons réussies », aidant le robot à apprendre beaucoup plus vite à partir de données clairsemées.

4. L'Expérience : Le Robot Franka Panda

L'équipe a testé cela sur un vrai bras robotique (Franka Emika Panda) avec trois tâches :

Atteindre : Toucher un endroit spécifique.
Pousser : Glisser un cube vers un endroit.
SaisirEtPlacer : Soulever un objet et le déplacer.

Ils ont comparé leur nouveau « Transformateur Conditionné par l'Objectif » à :

Le Clonage Comportemental : Simplement copier les vidéos sans comprendre le « pourquoi ».
TQC+HER : Une méthode d'apprentissage en ligne standard très puissante qui apprend par essais et erreurs en temps réel.

5. Les Résultats : Le Perdant Gagne

Les résultats ont été surprenants et impressionnants :

Vitesse : Leur méthode s'est entraînée en 80 minutes, tandis que la méthode en ligne standard a pris 240 minutes.
Performance : Dans des tâches complexes (comme SaisirEtPlacer), leur méthode hors ligne a en réalité mieux performé que la méthode en ligne qui avait des heures de pratique dans le monde réel.
Robustesse : Même lorsque les « vidéos » qu'ils ont étudiées étaient majoritairement mauvaises (erreurs aléatoires) avec seulement quelques bons exemples, le modèle a quand même compris comment réussir. C'était comme un étudiant qui pouvait passer l'examen même si le manuel était erroné à 75 %, tant que la logique fondamentale était présente.
Récompenses Clairsemées : Dans des situations où le robot ne reçoit aucun signal « bien joué ! » jusqu'à la toute fin (récompenses clairsemées), cette méthode est restée stable, tandis que d'autres se sont perdues et ont échoué.

Résumé

Le papier affirme qu'en traitant l'apprentissage des robots comme la lecture d'une histoire avec une destination claire en tête, ils peuvent enseigner des tâches complexes aux robots en utilisant uniquement des données préenregistrées. C'est plus rapide, plus sûr et souvent plus efficace que les méthodes traditionnelles qui exigent que le robot s'entraîne physiquement dans le monde réel. Ils ont également publié l'ensemble de données qu'ils ont utilisé afin que d'autres puissent l'essayer aussi.

Résumé technique : Transformateur de Décision Conditionné par l'Objectif pour l'Apprentissage par Renforcement Hors Ligne Multi-Objectif

Énoncé du problème

L'apprentissage par renforcement (RL) en robotique fait face à des défis critiques concernant l'efficacité des échantillons et la capacité de généralisation à travers des objectifs variables. Les algorithmes en ligne standards nécessitent une interaction continue avec l'environnement, ce qui est souvent peu pratique pour le matériel réel en raison des risques de sécurité, de l'usure du matériel et des contraintes de temps. Bien que les simulations offrent une solution partielle, elles souffrent fréquemment du fossé « sim-to-real » (de la simulation au réel).

Le RL hors ligne (offline) répond à ces limitations en permettant aux agents d'apprendre des politiques optimales entièrement à partir de jeux de données précollectés, éliminant ainsi le besoin d'exploration en ligne risquée. Cependant, les méthodes hors ligne existantes se concentrent souvent sur des tâches fixes uniques, ce qui est insuffisant pour la robotique à usage général. De plus, bien que le Transformateur de Décision (DT) ait réussi à reformuler le RL comme un problème de modélisation de séquences conditionnelle, son application aux scénarios hors ligne multi-objectifs—spécifiquement ceux impliquant des récompenses clairsemées et la manipulation robotique—reste sous-explorée.

Méthodologie

Les auteurs proposent un Transformateur de Décision Conditionné par l'Objectif (GC-DT) adapté à la robotique multi-objectifs hors ligne. La méthodologie centrale consiste à modifier l'architecture standard du DT pour traiter explicitement les informations d'objectif au sein du cadre de modélisation de séquences.

1. Adaptation de l'architecture

Contrairement aux DT standards qui se conditionnent sur des retours scalaires, le GC-DT intègre des données d'objectif structurées directement dans la séquence d'entrée. Dans les environnements multi-objectifs, l'espace d'observation est un dictionnaire contenant :

$o_t$ : Observation actuelle.
$g_d$ : Objectif désiré.
$g_a$ : Objectif atteint.

L'état à l'instant $t$ est défini comme un tuple $s_t = (o_t, g_d, g_a)$ . Pour adapter le Transformateur, ces vecteurs sont aplatis et concaténés en un seul vecteur d'entrée :
$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$

En incluant l'objectif atteint ( $g_a$ ) aux côtés de l'objectif désiré ( $g_d$ ), le modèle peut inférer implicitement les progrès vers la cible sans nécessiter de métriques de distance explicites ni de façonnage de récompense. Cela permet au modèle autorégressif d'effectuer une attribution de crédit temporellement étendue concernant la réalisation de l'objectif sur l'ensemble de la trajectoire.

2. Jeu de données et entraînement

Le modèle est entraîné entièrement hors ligne en utilisant des données générées à partir de l'environnement Franka Emika Panda via la suite Panda-Gym. Le jeu de données comprend :

Données d'experts : Trajectoires provenant d'agents Truncated Quantile Critics (TQC) convergés, évaluées sur 1 million d'instants.
Données aléatoires : Trajectoires générées par des agents échantillonnant des actions de manière uniforme.
Mélanges : Diverses combinaisons de données d'experts et aléatoires pour tester l'efficacité des données et la résilience au bruit.

Les auteurs publient également ce jeu de données hors ligne spécialisé pour soutenir la reproductibilité.

3. Tâches et structures de récompense

L'approche est évaluée sur trois tâches de manipulation robotique : Reach (positionnement de l'effecteur terminal), Push (déplacement d'un cube) et PickAndPlace (soulèvement et déplacement d'un objet). La performance est testée sous deux structures de récompense :

Récompenses clairsemées : Feedback binaire (0 pour succès, -1 sinon).
Récompenses denses : Distance euclidienne négative entre les objectifs atteints et désirés.

Contributions clés

L'article expose trois contributions principales :

Extension architecturale : Extension du Transformateur de Décision pour gérer les paramètres multi-objectifs en incorporant un conditionnement explicite par l'objectif (objectifs désirés et atteints) dans la séquence d'entrée.
Publication de jeu de données : Publication d'un jeu de données RL hors ligne spécialisé pour la manipulation robotique multi-objectifs sur la plateforme Franka Emika Panda.
Validation empirique : Démonstration que l'approche GC-DT surpasse les références en ligne de l'état de l'art (TQC+HER) et l'Imitation Comportementale (BC) dans des paramètres hors ligne, en particulier sous des signaux de récompense clairsemés.

Résultats expérimentaux

Les expériences ont été menées en utilisant trois graines aléatoires, comparant le GC-DT à l'Imitation Comportementale (BC) et au TQC avec Hindsight Experience Replay (TQC+HER).

Performance comparative

Tâches complexes : Dans les environnements plus complexes Push et PickAndPlace avec des récompenses denses, le GC-DT a constamment surpassé à la fois TQC+HER et BC en termes de retour moyen et de taux de succès.
Efficacité : Le GC-DT a obtenu ces résultats avec un temps d'entraînement significativement inférieur (80 minutes) par rapport à la référence en ligne TQC+HER (240 minutes).
Récompenses clairsemées : Le GC-DT a démontré une robustesse supérieure dans les paramètres de récompenses clairsemées. Dans la tâche PickAndPlace, le GC-DT a obtenu un retour significativement plus élevé (-7,63 contre -16,96 pour TQC+HER) et a maintenu un taux de succès de 97,8 %, alors que le taux de succès de TQC+HER est tombé à 77,0 %.

Efficacité des données et robustesse

Taille du jeu de données : La performance est restée invariante à la taille du jeu de données pour la tâche Reach. Pour les tâches complexes, la performance n'a diminué que lorsque les données sont tombées en dessous de 250 000 échantillons ; même à 100 000 échantillons, le modèle a maintenu un succès >96 % dans des paramètres denses.
Ratio de données d'experts : Le modèle a montré une robustesse surprenante au bruit. Même lorsque le jeu de données ne comprenait que 25 % de données d'experts (mélangées à 75 % de trajectoires aléatoires), le GC-DT a maintenu un succès >80 % dans les tâches complexes. La performance n'a chuté brutalement qu'en dessous de ce seuil.

Importance et affirmations

Les auteurs affirment que le Transformateur de Décision Conditionné par l'Objectif proposé comble efficacement le fossé entre le RL hors ligne et le contrôle robotique multi-objectifs. Ils émettent l'hypothèse que la robustesse du modèle, en particulier dans les paramètres de récompenses clairsemées, découle de la capacité du Transformateur à effectuer une attribution de crédit à long horizon via l'auto-attention.

L'article affirme que cette approche peut surpasser la politique d'expert même utilisée pour générer les données d'entraînement dans des tâches complexes comme PickAndPlace. De plus, il établit que la modélisation de séquences conditionnée par l'objectif est une alternative viable et robuste aux méthodes acteur-critique en ligne traditionnelles pour la robotique multi-objectifs hors ligne, capable de gérer des démonstrations sous-optimales et des feedbacks clairsemés sans nécessiter d'interaction en ligne.

Les travaux futurs sont identifiés comme l'extension de ce cadre à des paramètres d'apprentissage continu et l'entraînement avec des trajectoires d'experts hétérogènes.