💻 computer science

Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections

Cet article propose la politique de diffusion supervisée par ensemble (Set-Supervised Diffusion Policy, SDP), un nouveau cadre qui exploite l'apprentissage contrastif sur des paires de corrections humaines et de segments d'actions indésirables du robot pour entraîner des politiques de diffusion plus robustes au décalage de distribution et aux données bruitées.

Auteurs originaux : Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot une tâche délicate, comme l'assemblage d'un meuble ou le fait de pousser un bloc dans un emplacement précis. Vous jouez le rôle du professeur et le robot est l'élève.

Le Problème : Le Piège du « Copieur Parfait »

Traditionnellement, lorsque nous enseignons aux robots, nous utilisons une méthode appelée Apprentissage par Imitation (Behavior Cloning). Imaginez que c'est comme un élève qui essaie de copier parfaitement l'écriture d'un professeur. Si le professeur écrit un « 5 » qui ressemble un peu à un « 6 » parce que sa main a tremblé, le robot essaie de copier exactement ce « 6 » tremblant.

Dans le monde de la robotique, c'est un problème majeur.

La Dérive : Si le robot commet une petite erreur, il se retrouve dans une situation que l'enseignant n'a jamais vue. Le robot panique et commet une erreur encore plus grande.
Ignorer le « Non » : Lorsque le robot se trompe, vous (l'humain) intervenez pour corriger la situation. Vous montrez au robot le bon mouvement à effectuer. Mais les méthodes d'entraînement classiques ne regardent que votre bon mouvement. Elles ignorent complètement le mauvais mouvement que le robot vient de faire. C'est comme si un professeur disait : « Bon travail pour avoir corrigé cela », mais sans jamais expliquer pourquoi la tentative initiale était mauvaise. Le robot continue d'essayer de copier les mouvements « parfaits », mais il n'apprend pas ce qu'il doit éviter.

La Solution : La « Zone de Sécurité » (Set-Supervised Diffusion Policy)

Les auteurs de ce document, Zhaoting Li et ses collègues, proposent une nouvelle façon d'enseigner appelée Set-Supervised Diffusion Policy (SDP).

Au lieu de dire au robot : « Fais exactement ce mouvement spécifique », ils lui disent : « Fais n'importe quoi à l'intérieur de cette zone de sécurité ».

Voici comment cela fonctionne, en utilisant une analogie simple :

1. La « Zone Rouge » et la « Zone Verte »

Imaginez que le robot essaie de garer une voiture.

L'Erreur du Robot (Action Négative) : Le robot essaie de se garer trop à gauche. Il heurte le trottoir.
Votre Correction (Action Positive) : Vous prenez le volant et vous dirigez la voiture vers le centre.

Dans les anciennes méthodes, le robot mémorise simplement : « Dirige-toi vers le centre ».
Avec la SDP, le robot apprend une Zone de Sécurité. Il comprend : « D'accord, heurter le trottoir (le côté gauche) est mauvais. Le centre est bon. Donc, je peux me garer n'importe où au milieu de cette zone, tant que je ne heurte pas le trottoir. »

Cette « Zone de Sécurité » est appelée un Ensemble d'Actions Désirées (Desired Action Set). Cela donne de la flexibilité au robot. Il n'a pas besoin d'être un copieur parfait ; il doit simplement rester dans les règles de la zone.

2. La Magie de la « Diffusion »

Comment le robot apprend-il à rester dans cette zone ? Ils utilisent une technique appelée Diffusion.
Voyez la diffusion comme un sculpteur travaillant l'argile.

Point de Départ : Le robot commence avec une masse d'argile aléatoire et désordonnée (un bruit aléatoire).
Le Processus : Étape par étape, le robot « débruite » l'argile, en retirant les mauvaises parties et en lui donnant une forme.
Le Twist : Dans la SDP, alors que le robot façonne l'argile, il a une règle : « Si tu commences à façonner l'argile en une forme qui heurte le trottoir (l'action négative), arrête-toi et repousse-la vers la zone de sécurité. »

Ce processus est appelé Diffusion Réfléchie (Reflected Diffusion). C'est comme une balle rebondissant à l'intérieur d'une pièce. Si la balle frappe le mur (la limite de la zone « mauvaise »), elle rebondit vers l'intérieur de la pièce (la zone « bonne »). Cela garantit que le robot génère toujours un mouvement sûr et acceptable, même s'il ne s'agit pas exactement du même mouvement que vous avez effectué.

3. Apprendre des Erreurs (Données Contrastives)

L'innovation clé est que la SDP utilise à la fois l'erreur du robot et votre correction.

Ancienne Méthode : « Voici le bon mouvement. Copie-le. »
Méthode SDP : « Voici le mauvais mouvement (ne fais pas ça) et voici le bon mouvement (fais ça). Ton but est de trouver n'importe quel mouvement qui est meilleur que le mauvais et proche du bon. »

En apprenant ce qu'il ne faut pas faire, le robot devient beaucoup plus robuste. Si votre correction était un peu hésitante ou instable, le robot ne panique pas. Il sait simplement : « D'accord, je dois rester dans cette zone générale », plutôt que d'essayer de copier parfaitement une main tremblante.

Qu'ont-ils découvert ?

Les chercheurs ont testé cela sur des robots effectuant des tâches comme pousser des objets et assembler des meubles.

Meilleure gestion du bruit : Lorsque l'enseignant humain faisait des erreurs ou que les données étaient « bruitées » (tremblantes), les robots SDP continuaient de bien performer. Les anciens robots « copieurs » échouaient car ils essayaient de copier les erreurs.
Meilleure collecte de données : Comme le robot SDP est autorisé à explorer à l'intérieur de la « Zone de Sécurité » plutôt que de simplement copier l'enseignant, il recueille une plus grande variété d'expériences. Cela crée un meilleur « manuel scolaire » pour les entraînements futurs.
Succès dans le monde réel : Ils ont testé cela sur de vrais robots (pas seulement en simulation) avec des tâches comme l'insertion d'un objet en forme de T dans un trou. Le robot SDP a réussi plus souvent que le robot standard, surtout dans les versions les plus difficiles de la tâche.

Résumé

En bref, la SDP change la façon dont nous enseignons aux robots : on passe de « Copie mes mouvements de main exacts » à « Reste dans cette zone sûre et évite les mauvaises choses ». En utilisant les erreurs du robot comme une ligne de démarcation et les corrections de l'humain comme un guide, le robot apprend à être plus flexible, plus robuste et moins susceptible d'échouer quand les choses deviennent désordonnées.

Résumé Technique : Set-Supervised Diffusion Policy (SDP)

Énoncé du Problème

Les politiques de diffusion (Diffusion Policies - DP) sont apparues comme un cadre robuste pour la manipulation robotique, particulièrement dans les espaces d'actions continus à haute dimension (action-chunks). Cependant, comme d'autres méthodes de clonage de comportement (Behavior Cloning - BC), les DP sont vulnérables au décalage de distribution (distributional shift), où la distribution d'états induite par la politique s'éloigne des données d'entraînement lors du déploiement. Une stratégie d'atténuation courante implique des interventions humaines en boucle, où un enseignant corrige les échecs du robot.

Les pipelines actuels d'agrégation de données et les pertes de BC standard ignorent largement le « signal négatif » fourni par les actions indésirables du robot lors de ces interventions. Ils enregistrent généralement uniquement les actions correctives de l'enseignant, biaisant l'apprentissage vers la distribution spécifique de l'enseignant. Cela conduit à un surapprentissage des données d'expert potentiellement imparfaites ou bruitées et à une dépendance accrue envers des interventions coûteuses et de haute qualité. De plus, les méthodes existantes qui tentent d'apprendre à partir de préférences ou de corrections (par exemple, l'optimisation directe des préférences - DPO - ou les modèles basés sur l'énergie comme CLIC) peinent avec les chunks d'actions à haute dimension ou manquent de la stabilité et de l'intégration avec les mécanismes de découpage d'actions (action-chunking) qui rendent les DP efficaces.

Méthodologie : Set-Supervised Diffusion Policy (SDP)

Les auteurs proposent la Set-Supervised Diffusion Policy (SDP), un cadre qui exploite les données de chunks d'actions contrastives (paires d'actions positives et négatives) pour entraîner des politiques de diffusion. Au lieu de traiter l'action de l'enseignant comme une cible unique et exacte, la SDP construit un ensemble de chunks d'actions désirés qui sert de cible sous forme d'ensemble pour l'apprentissage de la politique.

1. Extension des ensembles d'actions désirés aux action-chunks

S'appuyant sur le concept de supervision par ensemble de CLIC (qui opère sur des actions à étape unique), la SDP étend cela aux action-chunks (séquences d'actions $A_t = [a_t, \dots, a_{t+T-1}]$ ).

Étant donné une observation $O_t$ et une paire de chunks d'actions (négatif $A^-$ du robot, positif $A^+$ de l'humain), la SDP définit un ensemble d'actions désirées $\hat{A}_t$ .
Cet ensemble est construit comme une séquence d'ensembles désirés à étape unique $\hat{A}^s_{t+i}$ , où chaque étape est définie par la distance entre l'action négative et l'action positive.
Un chunk d'action appartient à l'ensemble si chaque action à étape unique à l'intérieur de celui-ci tombe dans l'ensemble désiré correspondant. Cela assouplit l'exigence de correspondre exactement à l'action de l'enseignant, permettant des actions alternatives tout aussi désirables.

2. Objectif d'entraînement et échantillonnage

Entraîner une politique de diffusion pour maximiser la probabilité d'échantillonner à partir de cet ensemble est non trivial car les modèles de diffusion ne fournissent pas d'estimations de vraisemblance explicites requises pour les pertes de divergence KL standard utilisées dans les modèles basés sur l'énergie.

Approximation : La SDP approxime l'objectif en maximisant la vraisemblance d'une liste de chunks d'actions désirés échantillonnés tirés de la distribution cible.
Échantillonnage contraint : Pour générer ces échantillons, la SDP emploie une procédure d'échantillonnage de diffusion réfléchie (reflected diffusion sampling). Pendant le processus de débruitage, les échantillons intermédiaires sont projetés à nouveau dans l'ensemble désiré s'ils en franchissent la limite. Plus précisément, si une étape débruitée sort de l'ensemble, elle est projetée vers l'action positive correspondante ( $a^+$ ). Cela garantit que les échantillons générés restent dans l'ensemble désiré tout en restant proches de la distribution actuelle de la politique.
Fonction de perte : La politique est entraînée à l'aide d'une perte de débruitage standard (similaire au BC) mais sur ces chunks d'actions échantillonnés plutôt que sur les actions brutes de l'enseignant.

3. Pipeline d'agrégation de données

La SDP s'intègre dans une boucle d'apprentissage interactive en ligne :

Lorsqu'un humain intervient, le système enregistre à la fois l'action de l'enseignant ( $A^+$ ) et l'action non exécutée du robot ( $A^-$ ) pour le même pas de temps.
Ces paires forment un jeu de données contrastif utilisé pour construire les ensembles d'actions désirés.
Le cadre prend en charge à la fois l'apprentissage en ligne (agrégation de données pendant l'exécution) et l'apprentissage hors ligne (augmentation des jeux de données de démonstration existants en synthétisant des actions négatives).

Contributions Clés

Supervision par ensemble pour les politiques de diffusion : L'article introduit un nouveau cadre qui adapte la supervision par ensemble (précédemment limitée aux EBM et aux actions à étape unique) aux politiques de diffusion opérant dans des espaces de chunks d'actions à haute dimension.
Apprentissage contrastif à partir des corrections : La SDP utilise efficacement le signal négatif des échecs du robot lors des interventions humaines, plutôt que de l'ignorer. Cela réduit le surapprentissage des actions spécifiques de l'enseignant et améliore la robustesse aux données bruitées.
Stratégie d'échantillonnage par réflexion : Les auteurs proposent un pipeline d'entraînement pratique impliquant un processus de débruitage contraint avec des opérateurs de réflexion pour générer des chunks d'actions désirés valides pour l'entraînement des modèles de diffusion.
Amélioration de la qualité des données : La méthode induit des jeux de données agrégés de plus haute qualité lors de l'apprentissage en ligne en encourageant l'exploration au sein de l'ensemble d'actions désirées, menant à une couverture d'états plus large par rapport aux approches de BC standard.

Résultats Expérimentaux

Les auteurs ont évalué la SDP à travers plusieurs tâches de manipulation simulées (Push-T, Square, PickCan, TwoArmLift) et des tâches en monde réel (Insert-T, Round-table Assembly).

Apprentissage interactif en ligne : La SDP a systématiquement surpassé les lignes de base de pointe (DP, DP-DPO, CLIC, IBC) dans des contextes d'intervention précis et bruités. Notamment, la SDP a montré une dégradation de performance nettement plus faible sous un feedback bruité par rapport au DP standard, démontant une robustesse supérieure.
Apprentissage hors ligne : Les politiques entraînées hors ligne sur des jeux de données collectés par des agents SDP ont surpassé celles entraînées sur des jeux de données collectés par des agents DP standards. Cela suggère que la SDP génère des jeux de données avec une meilleure couverture d'états et de meilleures propriétés de généralisation.
Performance en monde réel : Dans des tâches réelles à long horizon, la SDP a atteint des taux de réussite plus élevés que la DP, particulièrement lorsqu'elle est entraînée sur des jeux de données contenant des corrections humaines. La méthode s'est montrée plus efficace pour exploiter les données de correction afin d'améliorer les performances sur des tâches difficiles.
Études d'ablation : Les expériences ont confirmé que la stratégie d'échantillonnage basée sur la réflexion est cruciale pour la performance, surpassant les alternatives telles que le guidage par classificateur (classifier guidance).

Signification et Revendications

L'article affirme que la supervision contrastive est un signal puissant mais sous-utilisé pour l'apprentissage de politiques robotiques. En passant d'une imitation ponctuelle à une supervision par ensemble, la SDP atténue les problèmes de surapprentissage inhérents au clonage de comportement standard. Les auteurs soutiennent que cette approche permet aux politiques de s'améliorer au-delà de la qualité des données d'entraînement (similairement à l'apprentissage par renforcement) tout en maintenant la stabilité et l'expressivité des modèles de diffusion.

Ce travail démontre qu'en modélisant explicitement l'espace des actions acceptables via les corrections humaines, on obtient des politiques plus robustes et des données d'entraînement de meilleure qualité, réduisant ainsi la dépendance aux démonstrations d'experts parfaites. Les auteurs reconnaissent des limites, telles que le coût computationnel de l'échantillonnage des chunks d'actions désirés pendant l'entraînement et l'hypothèse d'un feedback de correction absolu (plutement que relatif).