🤖 AI

Hybrid Diffusion for Simultaneous Symbolic and Continuous Planning

Ce papier aborde les limites des modèles de diffusion standards dans les tâches robotiques à long horizon en proposant un nouveau cadre de diffusion hybride qui génère simultanément des plans symboliques de haut niveau et des trajectoires continues, améliorant ainsi la prise de décision et permettant une synthèse d'actions flexible et conditionnelle.

Auteurs originaux : Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu, Olav Egeland, Yilun Du

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu, Olav Egeland, Yilun Du

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment ranger une pièce en désordre. Vous voulez qu'il ramasse les jouets, les trie par couleur et les place dans les bons bacs. Cela semble simple, mais pour un robot, c'est un immense casse-tête. Il doit décider quoi faire (la stratégie) et comment bouger son bras pour le faire (le mouvement physique) en même temps.

Depuis longtemps, les scientifiques utilisent un type d'intelligence artificielle appelé modèle de diffusion pour enseigner aux robots. Imaginez un modèle de diffusion comme un artiste de « débruitage ». Si vous prenez une photo nette et que vous y ajoutez lentement du bruit (des interférences) jusqu'à ce qu'elle ne soit plus qu'un flou, un modèle de diffusion apprend à inverser ce processus. Il commence par le flou et retire lentement le bruit pour révéler l'image nette. En robotique, l'« image » est une trajectoire fluide que le bras du robot doit suivre.

Le Problème : Le Plan à Long Terme « Flou »
L'article explique que si ces modèles sont excellents pour des mouvements courts et fluides (comme saisir une tasse), ils se perdent lorsque la tâche est longue et complexe (comme trier dix blocs dans un ordre spécifique).

Les auteurs comparent cela à une personne essayant de se souvenir d'une longue histoire. Si vous vous concentrez uniquement sur les sentiments de l'histoire (le mouvement continu) sans vous souvenir des points clés de l'intrigue (les décisions), vous pourriez bien saisir le ton mais oublier la fin. Le robot finit par bouger de manière fluide mais fait les mauvaises choses, ou reste bloqué dans des boucles. Il peine à relier les décisions de la « grande image » aux mouvements de la « petite image ».

La Solution : Le Planificateur de Diffusion Hybride (HDP)
Pour résoudre ce problème, les auteurs ont créé un nouveau système appelé Planificateur de Diffusion Hybride (HDP). Ils ont réalisé que pour résoudre un long casse-tête, il faut deux éléments fonctionnant ensemble :

Le Script (Plan Symbolique) : Une liste d'étapes de haut niveau, comme « Prendre le Bloc A », « Se déplacer vers le Bac 1 », « Placer le Bloc A ».
La Performance (Plan Continu) : Les mouvements réels et fluides du bras du robot pour exécuter ces étapes.

Au lieu d'enseigner au robot uniquement les mouvements, le HDP lui apprend à générer à la fois le script et la performance simultanément.

Comment Cela Fonctionne : Le « Débruitage » sur Deux Voies
L'article utilise une astuce ingénieuse pour enseigner les deux au robot en même temps. Imaginez que vous avez deux casse-têtes séparés :

Casse-tête A (Le Mouvement) : Une photo floue du bras du robot en mouvement.
Casse-tête B (Le Script) : Une phrase où certains mots sont couverts par des boîtes noires (masqués).

Le système HDP apprend à nettoyer les deux casse-têtes en même temps.

Il prend le mouvement flou et le script masqué.
Il utilise les indices du script pour aider à déterminer le mouvement. (Par exemple : « Si le script dit "Prendre le Bloc A", le bras doit être près du Bloc A. »)
Il utilise les indices du mouvement pour aider à déterminer le script. (Par exemple : « Si le bras se déplace vers la gauche, l'étape suivante est probablement "Se déplacer vers la gauche". »)

En permettant aux deux casse-têtes de communiquer entre eux pendant leur résolution, le robot apprend un lien beaucoup plus fort entre quoi faire et comment le faire.

Pourquoi Cela Compte : Le « Réalisateur » et l'« Acteur »
Les auteurs montrent que cette méthode est bien supérieure aux anciennes approches.

Ancienne Méthode : Le robot essaie de deviner toute la trajectoire d'un coup. Il échoue souvent, comme un acteur essayant d'improviser toute une pièce de théâtre sans script.
Nouvelle Méthode (HDP) : Le robot agit comme un réalisateur et un acteur travaillant ensemble. Le « réalisateur » (le plan symbolique) donne des instructions claires, et l'« acteur » (le plan de mouvement) les suit avec précision.

Superpouvoirs : Suivre les Instructions
Parce que le robot génère un « script » en parallèle du mouvement, vous pouvez lui donner des instructions spécifiques à la dernière minute.

Exemple : Vous pouvez dire au robot : « Peu importe ce qui se passe, assurez-vous que le Bloc Rouge soit placé au sommet de la tour. »
Les anciens modèles ignoraient cela ou se perdaient.
Le HDP peut prendre cette instruction, la verrouiller dans le « script », puis générer les mouvements physiques pour la réaliser. C'est comme dire à un chef : « Préparez les pâtes, mais mettez le fromage par-dessus », et le chef le fait réellement.

Les Résultats
L'équipe a testé cela dans des simulations informatiques et avec un vrai bras robotique.

Dans les Simulations : Lorsqu'on leur demandait de trier un nombre croissant de blocs, les anciens modèles échouaient rapidement. Le HDP continuait de s'améliorer et pouvait gérer des tâches beaucoup plus complexes.
Dans le Monde Réel : Lorsqu'ils l'ont essayé sur un vrai robot, le HDP a eu beaucoup plus de succès pour terminer les tâches sans heurter d'obstacles ni se perdre. Les anciens modèles proposaient souvent des plans qui semblaient corrects sur le papier mais impossibles à exécuter physiquement.

En Résumé
Cet article présente une méthode pour enseigner aux robots à planifier des tâches longues et complexes en leur apprenant à rédiger une « liste de choses à faire » (plan symbolique) en même temps qu'ils apprennent les « pas de danse » (mouvement continu). En permettant à ces deux parties de s'entraider, le robot devient beaucoup plus intelligent, plus fiable et plus facile à contrôler, même pour des tâches difficiles comme le tri de nombreux objets ou l'utilisation d'outils.

1. Énoncé du problème

Le papier aborde le défi de la planification robotique à long horizon par apprentissage par imitation. Bien que les modèles de diffusion soient devenus l'état de l'art pour la modélisation de trajectoires robotiques continues (par exemple, Diffuser), ils rencontrent des limitations significatives lorsqu'ils sont appliqués à des tâches complexes à long horizon :

Confusion des modes : Les modèles de diffusion purs peinent à maintenir une prise de décision cohérente sur de longs horizons temporels, confondant souvent différents modes de comportement (par exemple, échouer à trier des blocs dans un ordre spécifique malgré la visualisation de démonstrations réussies).
Manque de transparence : Les planificateurs continus fonctionnent comme des boîtes noires, rendant difficile le guidage ou l'intervention dans le processus de planification à un niveau élevé.
Inefficacité : Les méthodes existantes de planification tâche-et-mouvement (TAMP) sont efficaces mais nécessitent une ingénierie manuelle extensive (définition de prédicats symboliques, schémas d'actions et modèles de transition), limitant leur adaptabilité à de nouvelles tâches via l'apprentissage à partir de démonstrations uniquement.

Le problème central réside dans la manière de combiner la flexibilité de la planification continue basée sur la diffusion avec la rigueur structurelle de la planification symbolique pour obtenir un comportement à long horizon robuste, interprétable et contrôlable, sans une lourde charge d'ingénierie.

2. Méthodologie : Planificateur de Diffusion Hybride (HDP)

Les auteurs proposent le Planificateur de Diffusion Hybride (HDP), un cadre qui génère simultanément une trajectoire d'action continue ( $A_c$ ) et un plan symbolique discret ( $A_d$ ) en utilisant un processus de diffusion couplé.

Architecture de base

Processus de diffusion duaux : HDP emploie deux processus de diffusion distincts fonctionnant en parallèle mais couplés au sein d'un seul réseau neuronal :
1. Diffusion continue (DDPM) : Modélise la trajectoire robotique continue (positions, vitesses, états de la pince) en utilisant des modèles probabilistes de diffusion de débruitage standard.
2. Diffusion discrète (Diffusion masquée - MD4) : Modélise le plan symbolique (par exemple, « Prendre le bloc A », « Placer dans l'emplacement 1 ») en utilisant une diffusion masquée, où les jetons sont progressivement démasqués à partir d'un état entièrement masqué.
Modélisation conjointe : Un réseau de débruitage unifié basé sur Transformer ( $D_\theta$ ) prend en entrée la trajectoire continue bruitée, la séquence symbolique partiellement masquée et l'observation de l'environnement ( $O$ ). Il prédit le bruit pour la partie continue et les logits pour la partie discrète simultanément.
Objectif d'entraînement : Le modèle est entraîné sur une somme pondérée de pertes :
- Erreur quadratique moyenne (MSE) pour la tâche de débruitage continue.
- Perte d'entropie croisée pour la prédiction de jetons masqués discrets.
- Niveaux de corruption indépendants : Crucialement, lors de l'entraînement, les niveaux de bruit ( $k_c$ pour le continu, $k_d$ pour le discret) sont échantillonnés indépendamment. Cela force le modèle à apprendre à débruiter une modalité en utilisant des informations de l'autre (par exemple, utiliser un plan symbolique propre pour guider le débruitage d'une trajectoire bruitée, et vice versa).

Inférence et conditionnement

Échantillonnage conjoint : Le modèle génère les deux plans simultanément en débruitant itérativement la trajectoire continue et en démasquant les jetons symboliques.
Conditionnement flexible (Inpainting) : Parce que le plan symbolique est modélisé via une diffusion masquée, HDP prend en charge l'échantillonnage conditionnel. Les utilisateurs peuvent fixer un plan symbolique partiel ou complet (par exemple, « Le bloc A doit être placé en premier ») et demander au modèle de générer une trajectoire continue qui respecte strictement ces contraintes. Cela est réalisé en fixant le niveau de bruit des jetons conditionnés à zéro pendant le processus de diffusion inverse.

3. Contributions clés

Nouvelle référence pour l'apprentissage par imitation : Les auteurs introduisent une nouvelle suite de tâches axée sur la prise de décision à long horizon et multimodale (tri, agencement et utilisation d'outils) où l'agent doit inférer lui-même la séquence des sous-tâches, plutôt que de recevoir une séquence prédéfinie.
Planificateur de Diffusion Hybride (HDP) : Une architecture novatrice qui couple des processus de diffusion discrets (masqués) et continus (DDPM). Cela permet au modèle d'apprendre la correspondance entre la logique symbolique de haut niveau et le contrôle moteur de bas niveau directement à partir des données.
Contrôlabilité flexible : La méthode permet une planification conditionnelle fine. Contrairement au conditionnement par langage traditionnel qui nécessite des phrases complètes, HDP permet aux utilisateurs d'« inpainter » des parties spécifiques du plan symbolique, garantissant que la trajectoire générée respecte ces contraintes.

4. Résultats expérimentaux

Les auteurs ont évalué HDP par rapport à des bases de référence incluant Diffuser standard, Diffuser hiérarchique et des variantes qui concatènent simplement des données symboliques ou utilisent des modèles de diffusion séparés.

Performance en simulation :
- Taux de réussite : HDP a largement surpassé toutes les bases de référence. Sur la tâche de « Tri X-Arm », HDP a atteint 86 % de réussite contre 46 % pour le Diffuser standard.
- Évolutivité : À mesure que la complexité de la tâche augmentait (par exemple, trier plus de blocs), les performances des bases de référence se sont dégradées de manière monotone. HDP est resté robuste, ne montrant qu'une baisse marginale de performance.
- Efficacité de l'entraînement : HDP a convergé significativement plus vite que le Diffuser standard.
Adhésion conditionnelle :
- Lorsqu'il était conditionné pour placer un bloc spécifique en dernier, HDP respectait la contrainte dans 93 % des cas. Les bases de référence (Joint Diffuser, Separate Diffuser) ne respectaient la contrainte que dans environ 32 % des cas, démontrant que la concaténation naïve échoue à faire respecter les contraintes symboliques.
Déploiement dans le monde réel :
- Testé sur un robot Franka Emika avec des observations basées sur des images. HDP a maintenu des taux de réussite élevés (70 % pour le tri, 60 % pour l'utilisation d'outils), tandis que les bases de référence chutaient considérablement (par exemple, Diffuser est tombé à 20 % pour le tri).
- Modes de défaillance : Les bases de référence échouaient souvent en raison de « plans invalides » (erreurs logiques dans la séquence), tandis que les échecs de HDP étaient principalement dus à un « mouvement imprécis » (erreurs cinématiques), indiquant que la logique de haut niveau était correcte.

5. Signification et impact

Combler le fossé : HDP comble avec succès le fossé entre la flexibilité des planificateurs continus basés sur l'apprentissage et les garanties structurelles de la planification symbolique, sans nécessiter l'ingénierie lourde des systèmes TAMP traditionnels.
Interprétabilité : En générant un plan symbolique parallèlement à la trajectoire, l'intention du robot devient transparente, permettant un débogage plus facile et une surveillance humaine.
Contrôlabilité : La capacité de se conditionner sur des plans symboliques partiels ouvre de nouvelles voies pour l'interaction humain-robot, permettant aux opérateurs de guider des tâches complexes en spécifiant des contraintes de haut niveau plutôt que des actions de bas niveau.
Évolutivité : La méthode démontre que l'apprentissage à partir de démonstrations peut s'étendre à des tâches complexes à long horizon si l'architecture du modèle prend explicitement en compte la structure de prise de décision discrète inhérente à de telles tâches.

En conclusion, le papier établit que la génération simultanée de plans symboliques et continus via une diffusion hybride est une approche supérieure pour la planification robotique à long horizon, offrant une robustesse, une interprétabilité et une contrôlabilité que les modèles de diffusion purement continus ne possèdent pas.