🤖 machine learning

ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies

ReGuide est un cadre d'auto-amélioration pour les politiques de diffusion par imitation de comportement qui utilise un guidage conditionné par la phase pour générer des déroulements correctifs lors de déviations au moment du test et affine itérativement la politique avec ces données récupérées, augmentant ainsi considérablement les taux de réussite des tâches par rapport aux méthodes de guidage statiques ou non réutilisables existantes.

Auteurs originaux : Tzu-Hsiang Lin, Srinivas Shakkottai, Dileep Kalathil, P. R. Kumar

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tzu-Hsiang Lin, Srinivas Shakkottai, Dileep Kalathil, P. R. Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à effectuer une tâche complexe, comme empiler des blocs ou suspendre un outil, en lui montrant quelques vidéos d'un humain le faisant parfaitement. On appelle cela l'« Apprentissage par Imitation ».

Le problème est que les robots sont maladroits. Si le robot commet une petite erreur au début — comme incliner légèrement un bloc — il se retrouve dans une situation qu'il n'a pas vue dans les vidéos d'entraînement. Parce qu'il ne sait pas quoi faire dans cette « nouvelle » situation, il panique, commet une autre erreur, et toute la tâche échoue. C'est ce qu'on appelle le problème du décalage de covariable (covariate shift) : le robot s'égare parce que sa réalité s'éloigne des exemples qui lui ont été enseignés.

Les anciennes méthodes vs La nouvelle méthode

Les anciennes méthodes :

La méthode du « Tuteur Expert » : Chaque fois que le robot s'égare, vous (l'expert humain) devez intervenir, corriger l'erreur et enregistrer cette correction. C'est excellent, mais c'est coûteux et cela nécessite qu'un humain surveille le robot 24h/24 et 7j/7.
La méthode du « Pilotage au moment de l'exécution » : Vous donnez au robot un « GPS » (un modèle de guidage) qui le ramène sur la bonne voie pendant qu'il bouge. Mais le hic, c'est qu'une fois que le robot a terminé la tâche, vous jetez les données du GPS. On ne tire pas de leçon de la correction ; on l'a simplement utilisée pour cette fois précise.

La nouvelle méthode (ReGuide) :
Les auteurs de ce papier, ReGuide, proposent un juste milieu ingénieux. Ils disent : « Pourquoi jeter les données du GPS ? Utilisons les corrections réussies du robot comme de nouvelles leçons d'entraînement ! »

Pensez à un étudiant passant un examen blanc.

Apprentissage standard : L'étudiant passe l'examen, se trompe, et le professeur se contente de dire : « Réessayez la prochaine fois. »
ReGuide : L'étudiant est bloqué, un tuteur intelligent l'aide à résoudre le problème sur le moment, puis l'étudiant écrit cette solution spécifique dans son cahier de révision. La prochaine fois, il étudiera ce cahier. Le robot n'est pas seulement guidé ; il apprend de ses propres récupérations.

Comment fonctionne ReGuide (La recette en 3 étapes)

Le papier décompose cela en trois ingrédients principaux :

1. Guidage conditionné par phase (La « Carte avec points de passage »)

Les tâches longues (comme assembler un jouet) ont différentes étapes : « Prendre la pièce », « Déplacer vers la table », « Insérer la vis ».

Le Problème : Si vous dites simplement au robot « Va vers la ligne d'arrivée », il pourrait essayer d'insérer la vis avant même d'avoir ramassé la pièce.
La Solution : ReGuide divise la tâche en phases (comme des chapitres dans un livre). Il crée des « zones cibles » spécifiques pour chaque phase.
L'Analogie : Imaginez conduire de New York à Los Angeles. Un GPS global pourrait simplement dire « Dirigez-vous vers l'Ouest ». ReGuide est comme un GPS qui dit : « En ce moment, vous êtes dans la phase 'Traversée du Désert'. Votre cible est la prochaine station-service. Ne vous souciez pas encore de l'océan. » Cela permet au robot de rester concentré sur l'étape immédiate et correcte.

2. La porte « Dévié mais Récupérable » (L'« Interrupteur de Sécurité »)

Le robot possède une « boule de cristal » (un modèle de dynamique) qui prédit ce qui se passera s'il effectue une certaine action.

Le Problème : Si le robot est déjà parfait, le fait de le pousser pourrait en réalité aggraver la situation. Si le robot est trop loin de sa trajectoire (par exemple, s'il a fait tomber le bloc au sol), la boule de cristal ne peut plus prédire quoi faire.
La Solution : ReGuide n'active le « guidage par GPS » que lorsque le robot est légèrement égaré mais peut encore être sauvé.
L'Analogie : Pensez à un funambule. S'il vacille un peu, un entraîneur lui donne une légère tape pour le stabiliser. S'il se tient parfaitement immobile, l'entraîneur reste silencieux. S'il est déjà tombé de la corde, l'entraîneur ne peut plus l'aider à marcher sur la corde. ReGuide n'intervient que lorsque le « vacillement » est réparable.

3. Auto-amélioration itérative (La « Boucle d'étude »)

C'est la recette magique.

Étape A : Le robot tente la tâche. Lorsqu'il commence à dévier, ReGuide le ramène vers le succès.
Étape B : Le robot enregistre ce chemin « guidé » comme un nouvel exemple d'entraînement.
Étape C : Le robot se réentraîne en utilisant ces nouveaux exemples.
Étape D : Le robot essaie à nouveau, mais cette fois-ci, il est plus intelligent car il a appris de la « guidance » précédente.

Le papier montre que vous pouvez répéter cette boucle. Le robot devient meilleur, génère des « données de récupération » encore meilleures, et devient encore plus performant. C'est comme un personnage de jeu vidéo qui devient plus fort à chaque fois qu'il survit à un combat de boss et apprend les schémas du boss.

Les Résultats

Les auteurs ont testé ce système sur quatre tâches robotiques différentes (déplacer une canette, empiler des carrés, transporter des objets et suspendre des outils).

Le Résultat : Les robots utilisant ReGuide sont devenus 1,3 à 7,7 fois plus performants que les robots qui se sont contentés d'apprendre à partir des vidéos originales.
Comparaison : Il a battu la méthode du « Pilotage au moment de l'exécution » (qui jette les données) et n'a pas nécessité l'intervention constante d'un expert humain.

Résumé

ReGuide est un système qui transforme les « quasi-échecs » d'un robot en ses meilleurs professeurs. Au lieu de simplement corriger une erreur et l'oublier, le robot enregistre la correction, l'étudie et devient un maître de la récupération d'erreurs. C'est une boucle d'auto-amélioration où le robot apprend à se sauver lui-même, encore et encore.

Résumé Technique : ReGuide

Énoncé du Problème

Les politiques de diffusion par imitation (behavior cloning), bien qu'expressives pour modéliser des distributions d'actions multimodales, restent vulnérables au décalage de covariables (covariate shift). De légères déviations par rapport aux états démontrés peuvent amener la politique à interroger des observations hors de sa distribution d'entraînement, entraînant des erreurs cumulatives et l'échec de la tâche. Cela est particulièrement aigu dans les tâches de manipulation à long horizon.

Les solutions existantes font face à des compromis importants :

Expansion de la distribution d'entraînement : Les méthodes comme DAgger nécessitent un accès continu à un expert pour les corrections, tandis que l'augmentation de données repose sur des hypothèses concernant la structure des tâches ou la dynamique locale.
Guidage au moment du test : Des méthodes récentes (ex. : DynaGuide, Latent Policy Barrier) orientent une politique gelée lors de l'inférence en utilisant les gradients d'un modèle de dynamique appris. Cependant, ces approches rejettent les trajectoires corrigées après exécution, échouant ainsi à exploiter les données récupérées pour l'amélioration de la politique.

Méthodologie : ReGuide

ReGuide est un cadre d'auto-amélioration qui transforme le guidage au moment du test en un mécanisme de génération de données de récupération on-policy réutilisables. Il opère via une boucle itérative rollout–collect–train (déroulement–collecte–entraînement), composée de trois éléments clés :

1. Construction de Cibles Sensibles aux Phases (Phase-Aware)

Pour traiter l'ambiguïté des cibles globales dans les tâches à long horizon, ReGuide décompose les démonstrations en macro-phases ordonnées temporellement.

Augmentation de Caractéristiques : Les états latents sont augmentés de différences temporelles (visuelles et proprioceptives) pour lever l'ambiguïté des états visuellement similaires appartenant à différentes étapes de la tâche.
Clustering : Les caractéristiques sont regroupées par PCA et triées par pas de temps pour former des macro-phases.
Ensembles de Cibles : Pour chaque phase $j$ , un ensemble de centroïdes représentatifs $P_j$ est construit. Cela préserve la multimodalité au sein des phases tout en fournissant des cibles de guidage locales précises plutôt qu'une simple manifold globale.

2. Guidage Conditionné par la Phase (PCG)

ReGuide utilise un modèle de dynamique appris pour guider le processus de débruitage de la diffusion, mais avec des contraintes spécifiques pour garantir la qualité des données :

Guidage par Action Propre (Clean-Action Guidance) : Contrairement au guidage standard qui différencie à travers les itérations de débruitage bruitées, ReGuide adapte le Manifold Preserving Guided Diffusion (MPGD). Il applique le gradient de guidage à travers l'action propre estimée ( $\hat{A}^0_t$ ), correspondant à la distribution sur laquelle le modèle de dynamique a été entraîné.
Porte à Double Seuil (Two-Threshold Gating) : Le guidage n'est appliqué que dans le régime « dévié mais récupérable ».
- Un seuil inférieur empêche l'intervention inutile lorsque le déroulement est déjà proche de la manifold de l'expert.
- Un seuil supérieur empêche le recours à des gradients de dynamique extrapolatifs lorsque le déroulement est trop éloigné de la distribution d'entraînement.
- Ces seuils sont spécifiques à chaque phase, s'adaptant à la géométrie locale de chaque étape de la tâche.
Commutation de Phase : Le système suit l'indice de la phase actuelle, progressant uniquement lorsque l'état latent prédit est systématiquement plus proche des cibles de la phase suivante.

3. Apprentissage d'Auto-Amélioration Itératif

Les déroulements guidés réussis sont filtrés et réabsorbés dans l'ensemble de données pour mettre à jour la politique. Le cadre supporte deux mécanismes de mise à jour complémentaires :

ReGuide-FT (Fine-Tuning) : Affine l'actuel checkpoint sur un mélange du jeu de données original et des nouveaux déroulements guidés. C'est efficace sur le plan computationnel et préserve la compétence existante.
ReGuide-FS (From Scratch) : Réentraîne une nouvelle politique à partir de zéro sur le jeu de données augmenté. Cela élimine la dépendance au checkpoint initial, ce qui est bénéfique lorsque la politique de base est une mauvaise initialisation.
Composition : Ces méthodes peuvent être empilées (ex. : ReGuide-FS suivi de ReGuide-FT) pour combiner leurs forces respectives.

Contributions Clés

Mécanisme de Génération de Données : ReGuide recadre le guidage au moment du test non pas seulement comme un outil de correction, mais comme un générateur de données de récupération on-policy de haute qualité capturant où la politique dévie et comment s'en remettre.
Guidage Conditionné par la Phase (PCG) : Une stratégie de guidage novatrice qui localise les cibles par phases de tâche et limite le guidage à des régimes fiables, évitant l'effondrement des modes de comportement valides.
Différenciation par Action Propre : Adaptation du guidage pour différencier à travers les actions propres estimées plutôt que les itérations bruitées, assurant la compatibilité avec les modèles de dynamique entraînés sur des données propres.
Boucle Itérative : Un cadre qui améliore la politique de manière itérative sans nécessiter de démonstrations d'experts supplémentaires, limitée uniquement par le plafond de performance des données auto-générées.

Résultats Expérimentaux

Évalué sur quatre tâches de manipulation Robomimic (Can, Square, Transport, Tool Hang) dans des régimes de faibles données :

Gains de Performance : ReGuide améliore les taux de succès de la politique de base de 1,3 à 7,7×.
- Tool Hang a connu l'amélioration la plus spectaculaire (7,7× avec l'itération de ReGuide-FT), partant d'un taux de succès de base de 3 %.
- Can, Square, et Transport ont montré des améliorations constantes (1,3–1,5×) avec une seule itération, et des gains supplémentaires avec la composition ou l'itération.
Comparaison avec LPB : Dans les configurations de test uniquement (sans fine-tuning), le PCG surpasse la ligne de base Latent Policy Barrier (LPB) sur toutes les tâches évaluées.
Aperçus d'Ablation :
- Guidé vs Non-Guidé : Les gains sont attribués à la qualité des données de récupération guidées, et non simplement au volume des déroulements additionnels.
- Seuillage : La porte à double seuil est critique ; supprimer le seuil supérieur réduit considérablement les performances.
- Multimodalité : Un nombre intermédiaire de cibles de phase ( $M \approx 50$ ) est optimal ; trop peu de cibles provoque un effondrement des modes, tandis que trop de cibles diluent le signal.
- Itération : Une seconde itération de ReGuide-FT surpasse systématiquement la première, démontant la viabilité de la boucle d'auto-amélioration.

Signification et Revendications

L'article affirme que ReGuide offre une solution pratique au problème du décalage de covariables dans l'apprentissage par imitation en transformant le "gaspillage" des trajectoires échouées ou corrigées en données d'entraînement précieuses. En traitant les déroulements guidés comme des données on-policy réutilisables, ReGuide permet aux politiques de s'améliorer de manière itérative sans nécessiter l'intervention coûteuse d'un expert continu.

Les auteurs soulignent que le cadre est modeste dans sa portée : il repose sur un modèle de dynamique fixe à travers les itérations (pour l'efficacité) et utilise un filtrage de succès au niveau de la trajectoire. Ils reconnaissent que bien que la méthode fonctionne bien en simulation, des travaux futurs sont nécessaires pour aborder la validation sur robot réel, la découverte de phases adaptative et la calibration de l'incertitude du modèle de dynamique. La contribution centrale est la démonstration que les données de récupération guidées sont plus précieuses que les déroulements non guidés, permettant une boucle fermée d'amélioration de la politique pilotée uniquement par ses propres expériences corrigées.