🤖 machine learning

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning

Cet article introduit TMRL, un cadre unifié qui fait le pont entre l'apprentissage par imitation et l'apprentissage par renforcement en utilisant le pré-entraînement lissé par contexte pour injecter du bruit de diffusion afin d'assurer une large couverture des actions, ainsi que l'apprentissage par renforcement modulé par le pas de temps pour contrôler dynamiquement l'exploration, améliorant ainsi considérablement l'efficacité de l'échantillonnage et permettant l'ajustement réussi de politiques robotiques en conditions réelles en moins d'une heure.

Auteurs originaux : Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta

Publié 2026-08-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à faire un nouveau travail, comme préparer un sandwich ou retrouver un jouet perdu. La méthode habituelle pour lui apprendre consiste en une danse en deux étapes. D'abord, vous montrez au robot des milliers de vidéos d'humains accomplissant la tâche parfaitement ; le robot essaie de les copier exactement, comme un élève qui mémorise un manuel scolaire. C'est ce qu'on appelle l'« apprentissage par imitation ». Mais voici le problème : si le robot est confronté à une situation qu'il n'a pas vue auparavant — par exemple, si le sandwich est sur une assiette de forme inhabituelle — il panique. Parce qu'il a mémorisé les mouvements exacts pour l'assiette du « manuel », il se fige ou tente de faire quelque chose d'impossible, car il n'a jamais appris quoi faire quand les choses deviennent désordonnées.

Pour corriger cela, les scientifiques tentent souvent d'apprendre au robot à « explorer » en ajoutant du bruit aléatoire, comme s'ils lui disaient de faire bouger son bras de manière un peu aléatoire pour voir ce qui se passe. Mais c'est comme essayer d'apprendre à conduire en tournant le volant de manière aléatoire ; cela peut finir par fonctionner, mais c'est dangereux et inefficace. La grande question de la robotique est la suivante : comment apprendre à un robot à être assez précis pour suivre des instructions, tout en étant assez flexible pour essayer de nouvelles choses lorsqu'il est bloqué, sans simplement s'agiter aveuglément ?

C'est ici qu'intervient une nouvelle idée appelée TMRL (Timestep-Modulated Reinforcement Learning ou Apprentissage par Renforcement Modulé par le Pas de Temps). Les chercheurs de l'Université de Washington et d'Amazon proposent une variante ingénieuse de la façon dont nous enseignons aux robots. Au lieu de simplement mémoriser les mouvements parfaits ou d'ajouter un chaos aléatoire, ils apprennent au robot à « flouter » légèrement sa vision du monde, de manière intentionnelle.

Pensez-y de cette façon : imaginez que vous apprenez à cuisiner un gâteau. Si vous ne cuisinez un gâteau qu'avec exactement 2 tasses de farine, vous pourriez échouer si vous utilisez accidentellement 2,1 tasses. Mais et si, pendant votre entraînement, on vous demandait de prétendre que vous avez 2,1 tasses, ou 2,2 tasses, ou même 3 tasses ? En pratiquant avec ces versions « floues » de la recette, vous apprenez que le gâteau fonctionne toujours même si les ingrédients ne sont pas parfaits. Vous apprenez l'essence de la pâtisserie, pas seulement les chiffres exacts.

Dans le monde du robot, la « recette » est l'instruction (comme « ramasse le bloc rouge ») et les « ingrédients » sont les capteurs du robot (ce qu'il voit ou ressent). La méthode des chercheurs, appelée Context-Smoothed Pre-training (CSP) (Pré-entraînement à Contexte Lissé), prend les instructions du robot et y ajoute un peu de « brouillard numérique ». Cela apprend au robot à agir même lorsque les instructions sont légèrement floues. Cela force le robot à apprendre une gamme de mouvements plus large. Si le robot voit une version « floue » de « ramasse le bloc rouge », il pourrait essayer de ramasser un bloc rouge qui est légèrement plus loin, ou légèrement incliné. Il apprend que le but est de « récupérer le truc rouge », et non pas de « saisir le truc rouge aux coordonnées X ».

Une fois que le robot possède cet entraînement « flou », la seconde partie de la magie opère : le TMRL. C'est comme si l'on donnait au robot un cadran spécial qu'il peut tourner pendant qu'il effectue réellement le travail. Quand le robot est sûr de ce qu'il doit faire (comme lorsqu'il tient le bloc), il tourne le cadran sur « mise au point précise » et agit avec précision. Mais s'il est bloqué ou si la situation est étrange (comme si le bloc se trouve dans un nouvel endroit), il tourne le cadran sur « mode flou ». Cela dit au robot : « D'accord, oublie les mouvements exacts du manuel pendant un instant ; essaie certains de ces mouvements plus larges et flous que tu as appris pendant l'entraînement. »

Les chercheurs ont testé cela dans des simulations informatiques et sur de vrais robots. Ils ont constaté que les robots entraînés avec cette méthode « floue » étaient bien meilleurs pour résoudre de nouveaux puzzles que les robots entraînés de l'ancienne manière. Dans les simulations, cette nouvelle méthode a aidé les robots à apprendre des tâches beaucoup plus rapidement, atteignant souvent des taux de réussite proches de la perfection là où d'autres méthodes échouaient complètement. Plus impressionnant encore, ils ont montré que cela fonctionnait sur de vrais robots dans le monde réel. Dans un test, un bras robotique a appris à mettre une saucisse dans une casserole et une crevette dans un tiroire en moins d'une heure de temps d'expérience réel. Sans cette méthode, le robot serait resté là à fixer les objets, incapable de comprendre comment les déplacer.

L'article soutient que l'ancienne méthode consistant à simplement ajouter du bruit aléatoire aux actions du robot est maladroite et inefficace. Au lieu de cela, en apprenant au robot à gérer des instructions « floues », il apprend à être intelligent dans son exploration. Il sait exactement quand être précis et quand être créatif. Les auteurs suggèrent que cette approche pourrait changer la donne pour créer des robots capables de s'adapter au monde réel, désordonné et imprévisible, les transformant de simples exécutants rigides en solveurs de problèmes flexibles. Bien qu'il reste du travail à faire pour s'assurer que ces robots sont assez sûrs et efficaces pour chaque tâche, les résultats actuels suggèrent que « flouter » les instructions pourrait être l'ingrédient secret pour débloquer la véritable intelligence robotique.

Résumé Technique : TMRL – Pré-entraînement par Modulation de l'Étape de Diffusion pour un Finetuning de Politique Efficace

1. Énoncé du Problème

Le paradigme standard d'entraînement des politiques robotiques implique un pré-entraînement via l'Apprentissage par Imitation Comportementale (Behavioral Cloning - BC) sur de grands ensembles de données de démonstrations, suivi d'un ajustement par Apprentissage par Renforcement (Reinforcement Learning - RL) dans les environnements de déploiement. Bien que le BC offre une imitation précise dans des contextes familiers, il souffre d'une limitation critique : l'effondrement de la distribution d'actions (action distribution collapse). Dans les régions peu couvertes ou sous l'effet d'un décalage de distribution (contextes hors distribution), les politiques de BC font du surapprentissage sur les données observées, attribuant une probabilité quasi nulle aux actions optimales qui n'ont pas été explicitement démontrées.

Ce manque de couverture d'actions crée un goulot d'étranglement pour le RL en aval. Si la politique pré-entraînée ne peut pas échantillonner les transitions nécessaires pour découvrir des signaux de récompense, le finetuning par RL échoue. Les solutions existantes, telles que l'injection de bruit gaussien non structuré dans les actions (ex: PostBC), entraînent souvent des phénomènes de « tremblement » (dithering) et une exécution incohérente. Inversement, les méthodes qui reposent strictement sur la distribution conditionnelle $p(a|c)$ ne peuvent pas explorer au-delà du support de la politique de base. Le défi central est de savoir comment pré-entraîner des politiques capables d'élargir de manière adaptative leur distribution d'actions lors du RL pour équilibrer l'exploitation précise et l'exploration nécessaire.

2. Méthodologie

Les auteurs proposent un cadre unifié composé de deux étapes : le Pré-entraînement par Lissage de Contexte (Context-Smoothed Pre-training - CSP) et le Reinforcement Learning Modulé par l'Étape de Diffusion (Timestep-Modulated Reinforcement Learning - TMRL).

A. Pré-entraînement par Lissage de Contexte (CSP)

Au lieu de perturber les actions, le CSP injecte du bruit directement dans les entrées de contexte ( $c$ ) pendant le pré-entraînement.

Mécanisme : Un processus de diffusion direct corrompt le contexte $c$ avec un bruit paramétré par une étape de temps $\sigma$ (ou $t_c$ ), produisant un contexte bruité $\tilde{c}$ .
Objectif d'entraînement : La politique $p_\theta$ est entraînée pour prédire les actions $a$ conditionnées par le contexte corrompu $\tilde{c}$ et une variable latente $z$ . La politique est entraînée à travers une distribution de niveaux de bruit $\sigma \in [0, T]$ .
Effet :
- À faible bruit ( $\sigma \to 0$ ), la politique apprend un comportement conditionnel précis $p(a|c)$ .
- À fort bruit ( $\sigma \to T$ ), le contexte devient peu informatif, et la politique approxime la distribution marginale des actions $p(a)$ , offrant une large couverture.
- Crucialement, cela crée un continuum où la politique peut « emprunter » des séquences d'actions cohérentes à partir de contextes proches et de type ambigu (aliased), plutôt que de compter sur un bruit aléatoire.

B. Reinforcement Learning Modulé par l'Étape de Diffusion (TMRL)

Lors de l'étape de finetuning par RL, le CSP pré-entraîné sert de politique de base pilotable.

Politique de Haut Niveau : Un agent de RL (politique de haut niveau $\pi_{HL}$ ) apprend à sélectionner deux variables à chaque étape : le bruit latent $z$ (pilotage standard) et l'étape de diffusion $\sigma$ .
Contrôle Dynamique : L'agent traite $\sigma$ $σ$ comme une variable de contrôle explicite (un « cadran de couverture »).
- $\sigma$ élevé : Crée une ambiguïté entre le contexte actuel et les contextes proches, élargissant la couverture d'actions pour explorer en toute sécurité dans des états hors distribution (OOD).
- $\sigma$ faible : Affine le conditionnement pour une exploitation précise une fois que l'agent a identifié une trajectoire prometteuse.
Implémentation : Cette approche est compatible avec diverses architectures de politiques, incluant les politiques de diffusion basées sur l'état, les nuages de points 3D et les modèles Vision-Language-Action (VLA).

3. Contributions Clés

Politiques à Contexte Lissé (CSP) : Un cadre de pré-entraînement qui étend le support des actions en injectant du bruit de diffusion dans les entrées de contexte, créant une interpolation fluide entre l'imitation conditionnelle et l'exploration marginale.
RL Modulé par l'Étape de Diffusion (TMRL) : Un algorithme de finetuning qui module dynamiquement l'étape de diffusion pendant le RL, accordant à l'agent un contrôle explicite sur le compromis entre exploration (large couverture) et exploitation (conditionnement précis).
Garanties Théoriques : L'article fournit une analyse théorique montrant que le lissage de contexte augmente le chevauchement de la Variation Totale (TV) entre les distributions d'actions de différents contextes. Cela prouve que le lissage atténue l'effondrement de la couverture, garantissant que les états OOD ont une probabilité non nulle d'échantillonner des actions optimales issues de contextes démontrés proches.
Généralisabilité : La méthode est démontrée comme fonctionnant de manière transparente à travers diverses modalités d'entrée, incluant les états 2D, les nuages de points 3D et les plongements (embeddings) VLA.

4. Résultats Expérimentaux

Les auteurs évaluent TMRL à travers des tâches robotiques simulées et réelles :

Couverture d'Actions (Zero-Shot) : Le CSP surpasse significativement le BC standard et le PostBC dans les métriques « Success@K » sur des tâches inédites (ex: navigation et manipulation OGBench), démontant une couverture d'actions initiale plus large.
Efficacité d'Échantillonnage RL :
- Simulation : TMRL atteint des taux de succès proches de 100 % sur des tâches complexes comme pointmaze-giant et cube-single, surpassant les bases de référence comme DSRL, SPiRL et RLPD. Notamment, sur la tâche cube-single, les bases de référence ont atteint un succès proche de zéro tandis que TMRL a réussi.
- Tâches VLA : Sur le benchmark LIBERO, TMRL adapte avec succès des politiques VLA pré-entraînées à des tâches à long horizon (libero-90) là où d'autres méthodes échouent à cause du surapprentissage.
- Nuages de Points 3D : Dans des tâches de saisie dextre, TMRL permet aux politiques de généraliser à de nouvelles formes d'objets (ex: de canettes à marqueurs) en partageant des stratégies de saisie à travers des contextes lissés.
Performance Réelle :
- TMML permet le finetuning réussi de politiques VLA sur de vrais robots (WidowX et Franka Panda) pour des tâches telles que « mettre une saucisse dans une marmite » et « appuyer sur un bouton ».
- Efficacité : La méthode atteint une adaptation réussie en moins d'une heure de temps d'expérience réelle, alors que les méthodes de base (comme DSRK) échouent totalement à apprendre ces tâches.
Études d'Ablation : Les comparaisons avec le Classifier-Free Guidance (CFG) montrent que l'approche de corruption de contexte de TMRL est supérieure pour l'exploration OOD, car le CFG repose toujours sur la distribution conditionnelle effondrée. Les visualisations confirment que TMRL explore via des actions cohérentes et ambiguës plutôt que par du bruit aléatoire.

5. Signification et Revendications

L'article affirme que TMRL repense fondamentalement la relation entre pré-entraînement et finetuning. En déplaçant l'attention du bruit d'action non structuré vers un lissage de contexte structuré, la méthode fournit un mécanisme permettant aux politiques d'élargir leur support de manière adaptative sans sacrifier la cohérence de l'exécution.

Les auteurs soulignent que cette approche comble le fossé entre la précision de l'apprentissage par imitation et l'exploration requise par le RL. La principale importance réside dans la capacité à permettre un finetuning par RL efficace en termes d'échantillonnage pour des tâches de manipulation complexes dans le monde réel, une capacité dont les politiques initialisées par BC classique sont dépourvues. Ce travail suggère que la « réactivité de la politique aux représentations d'entrée bruitées » est un levier critique, jusqu'ici sous-utilisé, pour améliorer l'apprentissage robotique.

Limites Reconnues :
Les auteurs notent que l'élargissement des distributions d'actions peut introduire des risques de sécurité (comportements dangereux), nécessitant des filtres de sécurité ou des modèles de monde pour un déploiement fiable. De plus, bien que l'efficacité d'échantillonnage soit améliorée, elle reste un défi pour des tâches réelles très complexes, suggérant des opportunités d'optimisation pour les algorithmes de pilotage et les noyaux de corruption.