Iterative On-Policy Refinement of Hierarchical Diffusion Policies for Language-Conditioned Manipulation

Le cadre HD-ExpIt améliore les politiques de manipulation hiérarchiques conditionnées par le langage en mettant en œuvre un cycle d'affinement itératif basé sur des retours environnementaux, permettant à un planificateur et à un contrôleur basés sur la diffusion de s'entraîner mutuellement et d'atteindre des performances de pointe sur le benchmark CALVIN.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot à cuisiner un grand repas complexe, comme un dîner de Noël, en lui donnant simplement des instructions en français : « Prépare un rôti avec des légumes ».

Le problème, c'est que si vous donnez cette instruction directement aux bras du robot, il risque de paniquer. C'est trop d'informations d'un coup.

C'est là que la méthode HD-ExpIt (décrite dans l'article) intervient. Elle fonctionne comme une équipe de deux personnes très spécialisées : un Chef et un Cuisinier.

Voici comment cela fonctionne, expliqué simplement :

1. Le duo : Le Chef (Planificateur) et le Cuisinier (Contrôleur)

• Le Chef (Le Planificateur de haut niveau) : Il ne touche pas aux casseroles. Son travail est de regarder l'instruction « Prépare un rôti » et de dessiner un plan visuel. Il imagine les étapes : « D'abord, on prend la viande, ensuite on la met dans le four, puis on coupe les carottes... ». Il crée une série d'images mentales (des sous-objectifs) pour guider le cuisinier.
• Le Cuisinier (Le contrôleur de bas niveau) : C'est lui qui a les mains dans la pâte. Il reçoit une image de l'étape suivante (par exemple, « la viande dans le four ») et essaie de bouger les bras du robot pour y arriver.

2. Le problème initial : Le Chef rêve trop !

Dans les anciennes méthodes, le Chef apprenait sur de vieux livres de cuisine (des données statiques). Il pouvait imaginer des étapes magnifiques, mais il ne savait pas ce que le Cuisinier était réellement capable de faire.

• Exemple : Le Chef dit : « Sauter par-dessus la table pour attraper le sel ».
• Réalité : Le Cuisinier est un robot avec des bras courts. Il ne peut pas sauter. Il échoue.
• Résultat : Le robot plante, car le Chef a donné des ordres impossibles à exécuter.

3. La solution magique : La boucle d'apprentissage (HD-ExpIt)

Au lieu de se contenter des vieux livres, les auteurs ont créé une méthode où le Chef et le Cuisinier apprennent ensemble en pratiquant, comme un couple de danseurs qui répète jusqu'à ce que tout soit parfait.

Voici le cycle en 3 étapes simples :

1. L'Essai (La Danse) : Le Chef propose un plan. Le Cuisinier essaie de l'exécuter.
   • Si ça marche : Bravo ! On garde cette séquence.
   • Si ça rate (parce que le plan était trop ambitieux) : On jette cette séquence.
2. Le Feedback (Le Retour d'expérience) : Le robot essaie plusieurs fois (grâce à la nature « floue » et créative du modèle de diffusion, qui génère plein de variations). Il finit par trouver des façons de réussir que le Chef n'avait jamais imaginées dans les vieux livres.
3. L'Enseignement (Le Repérage) : On prend toutes ces nouvelles réussites et on les donne au Chef pour qu'il apprenne.
   • Le résultat : Le Chef apprend : « Ah bon ? Le Cuisinier ne peut pas sauter, mais il peut très bien faire une pirouette pour attraper le sel. Je vais donc dessiner des plans avec des pirouettes à l'avenir ! »

4. Pourquoi c'est génial ?

• Pas de professeur externe : Le robot n'a pas besoin d'un humain pour lui dire « Non, c'est mal ». Il utilise ses propres réussites et échecs pour s'améliorer.
• Adaptation parfaite : Le Chef finit par connaître exactement les limites et les talents du Cuisinier. Il ne lui donne plus des ordres impossibles, mais des ordres parfaitement adaptés à ses capacités.
• Résultats record : Sur des tests très difficiles (comme le benchmark CALVIN, où le robot doit faire 5 tâches complexes à la suite), cette méthode a permis au robot de réussir beaucoup plus souvent que n'importe quelle autre méthode précédente.

En résumé

Imaginez que vous apprenez à un enfant à faire du vélo.

• L'ancienne méthode : Vous lui donnez un manuel de vélo théorique. Il essaie de pédaler, tombe, et vous dites « Relis le chapitre 3 ».
• La méthode HD-ExpIt : Vous le laissez essayer. Il tombe, il se relève, il trouve un équilibre. Vous observez comment il a réussi à se stabiliser, et vous lui expliquez : « Tiens, la prochaine fois, penche-toi un peu plus à gauche comme tu l'as fait tout à l'heure ».

Le Chef (le planificateur) apprend à dessiner des plans que le Cuisinier (le robot) peut réellement accomplir, grâce à une boucle d'essais-erreurs intelligente. C'est comme ça que le robot passe de « maladroit » à « expert ».

Résumé technique

Voici un résumé technique détaillé du papier « Iterative On-Policy Refinement of Hierarchical Diffusion Policies for Language-Conditioned Manipulation » (Raffinement itératif en ligne des politiques de diffusion hiérarchiques pour la manipulation conditionnée par le langage).

1. Problématique

La manipulation robotique conditionnée par le langage nécessite de mapper des entrées multimodales (observations visuelles et instructions textuelles) vers des actions continues. Pour les tâches à long horizon et diverses, les approches hiérarchiques sont privilégiées : elles décomposent la tâche en un planificateur de haut niveau (HL) qui génère des sous-objectifs (souvent visuels) et un contrôleur de bas niveau (LL) qui exécute les actions pour atteindre ces sous-objectifs.

Cependant, ces agents souffrent d'un décalage de couplage (HL-LL coupling mismatch) :

• Le planificateur HL génère des sous-objectifs qui peuvent être hors de portée des capacités réelles du contrôleur LL.
• Les solutions existantes tentent de combler ce fossé via des modules intermédiaires (« glue ») ou des représentations partagées, mais elles reposent souvent sur des jeux de données offline fixes.
• Cette dépendance aux données statiques limite la généralisation à des environnements non vus et empêche l'alignement dynamique entre la planification et l'exécution.

2. Méthodologie : HD-ExpIt

Les auteurs proposent HD-ExpIt (Hierarchical Diffusion with Expert Iteration), un cadre d'apprentissage qui affine itérativement des politiques de diffusion hiérarchiques grâce aux retours de l'environnement. Le processus s'organise en une boucle d'auto-renforcement inspirée de l'algorithme Expert Iteration, mais adaptée aux robots continus sans utiliser de recherche coûteuse (comme MCTS).

Le cycle comprend trois étapes principales à chaque itération $t$ :

1. Mise à jour supervisée :

   • Le HL (planificateur) et le LL (contrôleur) sont entraînés de manière supervisée sur un jeu de données actuel $D_t$.
   • Le HL est un modèle de diffusion qui génère une séquence complète de sous-objectifs visuels conditionnée par l'observation initiale et l'instruction textuelle.
   • Le LL est une politique conditionnée par l'objectif qui produit des blocs d'actions pour passer d'une observation source à une observation cible.

2. Collecte de trajectoires (Rollouts) et filtrage :

   • Au lieu d'utiliser un expert externe, HD-ExpIt exploite la nature stochastique du planificateur de diffusion comme mécanisme de recherche générative.
   • Pour chaque contexte (état initial + tâche), le système effectue $K$ tentatives de déroulement (rollouts) en utilisant la politique actuelle.
   • Seules les trajectoires réussies (validées par le retour binaire de l'environnement) sont conservées. Cela permet de découvrir des comportements réussis absents du jeu de données initial et intrinsèquement alignés avec les capacités du LL.
   • Stratégie d'exploration : Pour éviter la dérive de distribution, le système collecte des données non seulement depuis les réinitialisations de l'environnement, mais aussi depuis des états intermédiaires visités par l'expert approximatif (expert-replayed contexts), élargissant ainsi l'espace d'exploration.

3. Agrégation des données :

   • Les nouvelles trajectoires réussies sont ajoutées au jeu de données d'entraînement.
   • Deux stratégies sont proposées :
     • HD-ExpIt (Standard) : Fusionne les nouvelles données avec les anciennes et réentraîne le modèle de zéro (évite l'oubli catastrophique, mais coûteux).
     • HD-ExpIt-ft (Fine-tuning) : Utilise uniquement les nouvelles données pour affiner la politique précédente (plus efficace en calcul, risque d'oubli).

3. Contributions Clés

1. Cadre HD-ExpIt : Une méthode simple et stable pour l'amélioration continue des politiques de diffusion hiérarchiques via une boucle d'apprentissage supervisée alimentée par des données collectées en ligne.
2. Alignement implicite : Un paradigme où le feedback de l'environnement aligne implicitement le planificateur HL sur les capacités réelles du contrôleur LL, sans nécessiter de modèles proxy explicites ni d'espaces de représentations partagées complexes.
3. Évaluation empirique : Des résultats state-of-the-art (SOTA) sur des benchmarks complexes (CALVIN et Franka-3Blocks), démontrant une amélioration significative par rapport aux politiques entraînées uniquement sur des données offline.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux environnements : Franka-3Blocks (10 tâches) et CALVIN (34 tâches, benchmark long-horizon).

• Amélioration des performances :

  • Sur Franka-3Blocks, une seule itération de HD-ExpIt porte le taux de réussite de 70 % à plus de 94 %.
  • Sur CALVIN (LH-MTLC), la méthode double le taux de réussite pour accomplir 5 tâches consécutives par rapport à la politique initiale (passant de ~2,7 à 4,28 tâches réussies en moyenne).
  • HD-ExpIt atteint les meilleures performances parmi toutes les méthodes entraînées de zéro sur CALVIN, surpassant des approches baselines comme MDT, TaKSIE et HULC.

• Analyse des composants :

  • Amélioration du HL : Le planificateur apprend à générer des plans non seulement pertinents pour la tâche, mais aussi réalisables par le LL actuel.
  • Amélioration du LL : Le contrôleur s'améliore même lorsqu'il est guidé par des sous-objectifs "Ground Truth", prouvant une amélioration intrinsèque de ses capacités de contrôle.
  • Synergie : L'entraînement conjoint permet une meilleure généralisation. Par exemple, un HL entraîné avec un contrôleur fort (DP) produit de meilleurs plans même lorsqu'il est couplé à un contrôleur différent (ACT).

• Alignement HL-LL : Les tests montrent que les plans générés par HD-ExpIt sont plus réalisables pour le contrôleur spécifique que les sous-objectifs extraits de démonstrations humaines (Ground Truth), prouvant que le système a appris à "ancrer" la planification dans les capacités d'exécution.

5. Signification et Impact

Ce travail résout un problème fondamental de la robotique hiérarchique : le décalage entre la planification abstraite et les contraintes physiques de l'exécution.

• Au-delà des données statiques : HD-ExpIt démontre que l'on peut dépasser les limites des jeux de données offline fixes en utilisant l'auto-apprentissage guidé par le succès environnemental.
• Stabilité et Simplicité : Contrairement aux méthodes de renforcement profond (RL) instables pour les architectures hiérarchiques, HD-ExpIt maintient la stabilité de l'apprentissage supervisé tout en bénéficiant de l'exploration en ligne.
• Généralisation : La capacité à découvrir des comportements réussis dans des contextes non vus (via l'exploration stochastique et le filtrage) permet une généralisation robuste à des scénarios complexes et à long horizon.

En résumé, HD-ExpIt propose une voie efficace pour transformer les politiques robotiques hiérarchiques statiques en agents adaptatifs capables d'apprendre continuellement de leurs propres succès, atteignant ainsi des performances de pointe sur des benchmarks de manipulation robotique exigeants.