🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

Cet article propose une méthode pour améliorer l'efficacité d'échantillonnage de l'apprentissage par renforcement en ligne en guidant les modèles de monde avec des données hors ligne abondantes et non organisées via la répétition d'expérience et le guidage d'exécution, surmontant ainsi les problèmes de décalage de distribution et surpassant de manière significative les bases de référence à travers diverses tâches visuomotrices.

Auteurs originaux : Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot à marcher, courir ou ramasser une tasse de café. Traditionnellement, vous devriez rester là à le regarder, en lui disant chaque fois s'il a bien ou mal fait quelque chose. C'est lent, coûteux et cela demande beaucoup d'efforts humains pour étiqueter les données.

Ce document présente une nouvelle méthode appelée NCRL (Données hors ligne non curées pour un apprentissage par renforcement efficace) qui enseigne aux robots beaucoup plus rapidement grâce à une approche de type « transformer les déchets en trésors ». Voici comment cela fonctionne, décomposé en concepts simples :

1. Le problème : Le dilemme des données « poubelles »

Habituellement, pour entraîner un robot, vous avez besoin d'un ensemble de données propres et organisées où chaque action est associée à un score (ex. : « Bon travail ! » ou « Mauvais travail ! »). Mais dans le monde réel, nous avons des montagnes de données désordonnées et non organisées.

Elles n'ont pas de scores (sans récompense).
Elles sont un mélange de mouvements excellents et d'erreurs terribles (qualité mixte).
Elles proviennent de différents types de robots (multi-incarnation).

Imaginez cela comme une bibliothèque remplie de millions de livres, mais aucun n'a de titre, de résumé ou de note. La plupart des gens ignoreraient cette bibliothèque car elle est trop difficile à utiliser. Les méthodes précédentes ont tenté d'utiliser ces données, mais elles ont souvent échoué car elles supposaient que les données étaient nettes et étiquetées.

2. La solution : Construire une « carte mentale » d'abord

Au lieu d'essayer d'apprendre la tâche spécifique immédiatement, la méthode NCRL construit d'abord un Modèle de Monde (World Model).

L'analogie : Imaginez un étudiant qui veut apprendre à conduire une voiture. Au lieu de monter dans une voiture et d'essayer de conduire immédiatement jusqu'à l'épicerie, il passe d'abord des mois à regarder toutes sortes de vidéos de conduite — certaines de voitures de course, d'autres de camions, certaines de conducteurs maladroits et d'autres d'experts. Il ne connaît pas encore la destination ; il apprend simplement comment la voiture se déplace, comment la route apparaît et comment fonctionne le volant.
La thèse du document : Les auteurs ont entraîné un seul « cerveau » (le Modèle de Monde) sur ces données désordonnées et non étiquetées provenant de 6 types de robots différents. Ce cerveau a appris la physique générale du mouvement sans avoir besoin de connaître l'objectif final.

3. Le piège : Pourquoi le simple « ajustement fin » (Fine-Tuning) échoue

Les chercheurs ont découvert que si vous prenez ce cerveau pré-entraîné et que vous essayez immédiatement de lui enseigner une nouvelle tâche spécifique (comme « Marcher vers la porte »), il échoue souvent.

L'analogie : C'est comme prendre un étudiant qui a étudié des vidéos de conduite générale et le mettre immédiatement dans une voiture de course sur une piste qu'il n'a jamais vue. L'étudiant panique parce que la piste spécifique ressemble très différemment des vidéos qu'il a regardées. La « carte mentale » qu'il a construite ne correspond pas à la réalité de la nouvelle tâche.
La découverte du document : Ils ont découvert que cela se produit à cause d'un décalage de distribution (distributional shift). Les données désordonnées utilisées pour l'entraînement sont très différentes des données spécifiques que le robot rencontre lorsqu'il commence à essayer de résoudre la nouvelle tâche.

4. La solution : Deux techniques spéciales pour combler l'écart

Pour corriger ce décalage, les auteurs ont ajouté deux « petites roues de training » pour aider le robot à faire le pont entre le passé désordonné et le présent spécifique.

Technique A : La Répétition d'Expérience (La méthode des « Flashcards »)

Comment ça marche : Lorsque le robot commence à apprendre la nouvelle tâche, il ne se contente pas de regarder son petit ensemble d'expériences récentes. Il retourne dans sa vaste bibliothèque de données désordonnées et cherche les clips spécifiques qui ressemblent à la situation actuelle.
L'analogie : Imaginez que le robot soit coincé sur un virage spécifique. Au lieu de simplement deviner, il sort une « flashcard » de sa bibliothèque de vieilles vidéos montrant un virage similaire, même si cette vieille vidéo provient d'un robot différent ou d'un autre jour. Il « révise » ces souvenirs pertinents pour se rappeler comment les choses fonctionnent, l'empêchant d'oublier ce qu'il a appris précédemment.

Technique B : Le Guidage d'Exécution (La méthode du « Copilote »)

Comment ça marche : Le robot possède un « Copilote » (une politique entraînée sur les données désordonnées) qui sait comment se déplacer en toute sécurité, même s'il n'est pas parfait. Pendant les premières étapes de l'apprentissage, le robot alterne entre tester ses propres nouvelles idées et laisser le Copilote prendre le contrôle pendant quelques secondes.
L'analogie : Pensez à un nouveau conducteur avec un moniteur de conduite assis sur le siège passager. Le nouveau conducteur essaie de diriger, mais s'il commence à dévier, l'instructeur reprend doucement le contrôle pendant un moment pour garder la voiture sur la route, puis lui rend le contrôle. Cela empêche le robot de s'aventurer dans des « impasses » où il ne peut rien apprendre, le guidant vers des zones où il est plus susceptible de réussir.

5. Les résultats : Deux fois plus rapide

Le document a testé cette méthode sur 72 tâches différentes, allant d'un guépard qui court à un bras robotique empilant des blocs.

L'affirmation : En utilisant cette méthode, les robots ont appris deux fois plus vite que les robots partant de zéro (apprenant sans aucune donnée préalable).
La comparaison : Même comparée à d'autres méthodes qui tentaient d'utiliser des données hors ligne, la méthode NCRL l'a emporté avec une marge significative, particulièrement sur les tâches difficiles où le robot doit explorer et comprendre par lui-même.

Résumé

Le document soutient que nous n'avons pas besoin de données parfaitement étiquetées pour enseigner aux robots. Nous pouvons utiliser les données « désordonnées » dont nous disposons déjà (des vidéos de robots en mouvement sans scores) si nous :

Construisons d'abord une compréhension générale du monde.
Utilisons un système de « recherche » pour trouver des souvenirs anciens pertinents lors de l'apprentissage de nouvelles tâches (Répétition d'Expérience).
Utilisons un « Copilote » pour guider le robot afin qu'il ne se perde pas au début (Guidage d'Exécution).

Cela permet aux robots d'apprendre des compétences complexes avec beaucoup moins de tentatives, rendant l'entraînement de l'IA beaucoup plus efficace.

Résumé Technique : Apprentissage par Renforcement Efficace en Guidant les Modèles de Monde avec des Données Non-Curatées

Énoncé du Problème
L'exploitation de données hors ligne (offline) est une voie prometteuse pour améliorer l'efficacité d'échantillonnage de l'apprentissage par renforcement (RL) en ligne. Cependant, les approches existantes reposent principalement sur des jeux de données hors ligne curatés, étiquetés avec des récompenses et souvent restreints à des tâches ou des embodiment spécifiques. L'acquisition de telles données est coûteuse et laborieuse, particulièrement pour la manipulation robotique où une annotation rétrospective des récompenses est requise. Bien que des travaux récents aient exploré l'utilisation de données abondantes « non-curatées » — caractérisées par l'absence de récompenses, une qualité mixte et une collecte sur de multiples embodiments — l'application naïve de ces jeux de données s'est avérée insuffisante. Plus précisément, le pré-entraînement d'un modèle de monde sur ces données, suivi d'un ajustement fin (fine-tuning) naïf pour le RL en ligne, échoue souvent à accélérer l'apprentissage. Les auteurs identifient la cause profonde de cet échec comme étant un décalage distributionnel entre les données hors ligne utilisées pour le pré-entraînement et les données en ligne collectées lors de la phase d'ajustement fin. Lorsque la distribution hors ligne ne couvre pas suffisamment la distribution des données de la tâche en aval, le modèle de monde pré-entraîné peine à bénéficier de l'apprentissage de la politique, entraînant un oubli catastrophique ou une dégradation de la précision du modèle.

Méthodologie : NCRL
Le papier propose NCRL (Non-curated offline data for efficient RL), un pipeline en deux étapes conçu pour utiliser efficacement des données non-curatées, sans récompense et multi-embodiments.

Pré-entraînement d'un Modèle de Monde Multi-Embodiment :
Au lieu d'entraîner des modèles distincts par tâche, NCRL pré-entraîne un modèle unique et agnostique à la tâche sur un grand jeu de données non-curatées. L'architecture est basée sur le Recurrent State Space Model (RSSM) avec des modifications spécifiques pour gérer des entrées diverses :
- Suppression des pertes spécifiques à la tâche.
- Remplissage par zéro (zero-padding) des actions pour unifier les dimensions entre les différents embodiments.
- Mise à l'échelle à 280 millions de paramètres.
  Le modèle est optimisé à l'aide de pertes standards de prédiction, de dynamique et de représentation sur les trajectoires hors ligne brutes, sans étiquettes de récompense.
Ajustement Fin par RL avec Répétition et Guidage :
Pour traiter le décalage distributionnel et transférer efficacement les connaissances pré-entraînées, NCRL introduit deux techniques clés lors de la phase d'ajustement fin en ligne :
- Répétition d'Expérience (Experience Rehearsal) : Plutôt que de rejeter les données hors ligne après le pré-entraînement, NCRL récupère les trajectoires pertinentes pour la tâche à partir du jeu de données non-curaté pendant l'entraînement en ligne. Ceci est réalisé en calculant la distance de caractéristique neurale entre les observations initiales dans le tampon en ligne et les trajectoires hors ligne en utilisant l'encodeur pré-entraîné. Ces trajectórias récupérées sont rejouées pour :
  - Prévenir l'oubli catastrophique en continuant à entraîner le modèle de monde sur les données de pré-entraînement pertinentes.
  - Augmenter la distribution d'état initial ( $p_0(s)$ ) pour les déroulements de modèle (rollouts), permettant la génération de trajectoires prometteuses pour les mises à jour de la politique.
  - Servir de régularisateur contre le décalage de distribution.
- Guidage d'Exécution (Execution Guidance) : Pour guider l'exploration vers des régions où le modèle de monde a une grande confiance (et où les données hors ligne existent), NCRL entraîne une politique a priori ( $\pi_{bc}$ ) via l'imitation comportementale (behavioral cloning) sur les données hors ligne récupérées. Lors de la collecte de données en ligne, l'agent alterne de manière probabiliste entre la politique de RL ( $\pi_\phi$ ) et la politique a priori ( $\pi_{bc}$ ). Cette approche de politique mixte dirige l'agent vers des régions de haute qualité de l'espace d'état tôt dans l'entraînement, atténuant les risques d'une exploration difficile.

Principales Contributions
Le papier présente quatre contributions principales :

C1 : Il propose un cadre plus réaliste pour exploiter les données hors ligne, en utilisant des jeux de données non-curatés, sans récompense, de qualité mixte et multi-embodiments, dépassant les contraintes des données curatées et étiquetées par des récompenses.
C2 : Il démontre que l'ajustement fin naïf d'un modèle de monde échoue sur de nombreuses tâches en raison du décalage de distribution entre les données de pré-entraînement et de fine-tuning.
C3 : Il introduit la répétition d'expérience et le guidage d'exécution comme techniques spécifiques pour atténuer ce fossé de distribution et encourager l'exploration.
C4 : Il présente le cadre NCRL, qui intègre les données non-curatées à la fois dans les étapes de pré-entraînement et d'ajustement fin, démontant une performance supérieure sur un ensemble diversifié de tâches par rapport aux approches existantes.

Résultats Expérimentaux
Les auteurs évaluent NCRL sur 72 tâches de contrôle visuomoteur couvrant la locomotion et la manipulation robotique à travers 6 embodiments (utilisant les benchmarks DMControl et Meta-World). Le jeu de données hors ligne comprend 60k trajectoires (10M de paires état-action) collectées auprès d'agents non supervisés et de démonstrations bruitées.

Efficacité d'Échantillonnage : Sous un budget limité de 150k échantillons en ligne, NCRL atteint presque le double du score agrégé des bases d'apprentissage à partir de zéro (DrQ-v2 et DreamerV3). Il égale la performance de ces bases entraînées avec 3,3x à 6,7x plus d'échantillons.
Comparaison avec les Méthodes Hors Ligne : NCRL surpasse significativement les méthodes de pointe qui exploitent les données hors ligne, notamment R3M (pré-entraînement visuel), UDS-RLPD, ExPLORe et JSRL-BC. Notamment, alors que des méthodes comme JSRL-BC peinent avec les trajectoires non-expertes, NCRL utilise efficacement les données exploratoires et de qualité mixte.
Comparaison avec les Méthodes Basées sur le Modèle : NCRL surpasse d'autres approches de pré-entraînement de modèle de monde (ex: iVideoGPT, DreamerV3 pré-entraîné) qui reposent sur de nouvelles architectures mais manquent de mécanismes pour réutiliser les données hors ligne pendant l'ajustement fin. Crucialement, NCRL y parvient sans dépendre de techniques comme le reward shaping ou l'initialisation du tampon de rejeu par des experts utilisées par certaines bases.
Adaptation aux Tâches : Dans un contexte d'apprentissage continu, NCRL permet aux agents de s'adapter à de nouvelles tâches (ex: tâches du robot Ant) de manière nettement plus rapide que la base PackNet, atteignant l'adaptation en moins de 100 essais par tâche.

Signification et Revendications
Le papier affirme que la principale importance de NCRL réside dans sa capacité à débloquer le potentiel des données abondantes et non-curatées pour le RL. En identifiant le décalage de distribution comme le goulot d'étranglement de l'ajustement fin naïf et en le traitant par la répétition d'expérience et le guidage d'exécution, les auteurs démontrent que les modèles de monde pré-entraînés sur des données non-curatées peuvent considérablement booster l'efficacité d'échantillonnage. Ce travail suggère que la richesse d'information contenue dans les jeux de données non-curatés (dynamique, états informatifs, priors d'action) n'est pas pleinement exploitée par les méthodes actuelles qui rejettent ces données après le pré-entraînement ou échouent à les aligner avec les objectifs en ligne. NCRL fournit un pipeline pratique pour combler ce fossé, permettant un RL efficace sur une gamme plus large de tâches et d'embodiments sans le coût prohibitif de l'annotation des récompenses.