💻 computer science

DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization

Le papier présente DiSPo, une nouvelle politique d'apprentissage par démonstration basée sur un modèle hybride diffusion-SSM (Mamba) qui apprend à partir de compétences grossières pour générer des actions à échelle variable, améliorant ainsi significativement le taux de réussite et l'efficacité d'inférence dans des tâches de manipulation robotique.

Auteurs originaux : Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

Publié 2026-02-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment accomplir une tâche délicate, comme passer un anneau métallique à travers un tuyau étroit ou toucher un bouton sans le casser.

Le problème, c'est que les humains ne donnent pas toujours des instructions parfaites. Parfois, nous montrons le mouvement global (le "coarse" ou grossier) : "Va vers le tuyau". Parfois, nous donnons des instructions ultra-précises (le "fine" ou fin) : "Tourne de 2 millimètres à gauche, puis avance doucement".

Les robots traditionnels sont comme des élèves qui ont du mal à comprendre : s'ils n'apprennent que les mouvements grossiers, ils ratent le bouton. S'ils apprennent seulement les mouvements précis, ils sont lents et coûteux en calculs.

Voici comment DiSPo (le robot de l'article) résout ce casse-tête, expliqué simplement :

1. Le Chef d'Orchestre et le Métro (La Diffusion et le SSM)

DiSPo combine deux technologies puissantes :

La Diffusion (Le Chef d'Orchestre) : Imaginez un sculpteur qui commence avec un bloc de pierre brumeux (du bruit) et enlève petit à petit la pierre pour révéler la statue. DiSPo fait pareil : il commence avec un mouvement flou et le "nettoie" étape par étape pour trouver le mouvement parfait.
Le SSM / Mamba (Le Métro) : C'est une technologie qui permet au robot de se souvenir de tout ce qui s'est passé, comme un métro qui garde en mémoire chaque arrêt pour savoir où il doit aller ensuite. C'est très efficace et rapide.

2. L'Analogie du "Zoom" Magique

Le génie de DiSPo, c'est sa capacité à changer de granularité (de précision) à la demande, comme un zoom sur un appareil photo.

Le problème des autres : Si vous apprenez à un robot avec des vidéos prises à 2 images par seconde (très flou), il ne saura pas faire les mouvements rapides nécessaires pour éviter un obstacle. Il est "bloqué" dans la vitesse d'apprentissage.
La solution DiSPo : DiSPo possède un bouton magique appelé "Facteur d'échelle".
- Si le robot est dans une zone libre, il dit : "Je vais aller vite, je n'ai pas besoin d'être précis" (Mouvement grossier, économie d'énergie).
- S'il approche du tuyau ou du bouton, il dit : "Attention ! Je vais ralentir et devenir ultra-précis" (Mouvement fin).

Il apprend à faire les deux à partir des mêmes démonstrations, même si ces démonstrations étaient un peu floues ou rapides.

3. L'Entraînement "Faux-Réaliste" (Pseudo-démonstrations)

Comment apprendre à un robot à faire des mouvements très précis s'il n'a jamais vu de vidéos précises ?
DiSPo utilise une astuce d'entraînement intelligente :

Il prend une vidéo floue (mouvement grossier).
Il imagine ce à quoi ressemblerait la vidéo si elle était en haute définition (il crée une "pseudo-démonstration").
Il s'entraîne sur cette version imaginaire pour apprendre les détails fins.
C'est comme si un élève lisait un résumé d'un livre, puis essayait d'imaginer les scènes détaillées pour mieux comprendre l'histoire, avant de la jouer réellement.

4. Le Résultat dans la Vie Réelle

Dans les expériences réelles (avec un vrai bras robotique UR5e) :

Les autres robots (les baselines) ont souvent raté le coup : ils ont rayé le tuyau ou ont manqué le bouton parce qu'ils ne savaient pas ajuster leur vitesse.
DiSPo a réussi à passer l'anneau dans le tuyau et à toucher le bouton avec une précision chirurgicale, même en partant de démonstrations humaines imparfaites.

En Résumé

DiSPo, c'est comme un robot qui a appris à conduire :

Il sait rouler vite sur l'autoroute (mouvements grossiers) pour aller vite.
Il sait se garer avec une précision millimétrique (mouvements fins) quand il faut éviter un obstacle.
Et le plus important : il a appris à faire les deux en regardant des vidéos de conduite qui n'étaient pas toujours parfaites, sans avoir besoin de réapprendre tout depuis zéro.

C'est une avancée majeure car cela permet aux robots d'être à la fois rapides (quand ce n'est pas nécessaire d'être précis) et extrêmement précis (quand la vie ou la tâche l'exige), le tout en apprenant de manière plus efficace.

Titre : DiSPo : Apprentissage de politique basé sur la diffusion et les modèles d'espace d'état (SSM) pour la discrétisation d'actions du grossier au fin.

1. Problématique

Le domaine de l'apprentissage par imitation (Imitation Learning - IL) pour la robotique fait face à un défi majeur : l'apprentissage de compétences à granularité variable à partir de démonstrations multi-granulaires.

Limites des méthodes existantes : Les approches traditionnelles (comme les primitives de mouvement dynamique) ou les méthodes neuronales récentes (Transformers, politiques de diffusion) apprennent généralement à partir de démonstrations à une fréquence fixe. Elles peinent à encoder ou décoder la diversité des granularités inhérentes aux tâches humaines (mouvements grossiers de positionnement vs manœuvres précises de vissage ou d'insertion).
Coût computationnel : L'apprentissage de compétences fines nécessite souvent des démonstrations haute fréquence, entraînant un surcoût de stockage et de calcul.
Objectif : Développer un modèle capable d'apprendre à partir de démonstrations "grossières" (basse fréquence) et de générer des actions "fines" (haute fréquence) à la demande, tout en s'adaptant dynamiquement à la granularité requise par l'utilisateur.

2. Méthodologie : DiSPo

Les auteurs proposent DiSPo, une politique hybride combinant la puissance de représentation des modèles de diffusion et la flexibilité de discrétisation des modèles d'espace d'état (SSM), spécifiquement l'architecture Mamba.

Architecture Principale

Base Diffusion-SSM : Le modèle utilise un processus de diffusion probabiliste (DDPM) où le réseau de débruitage est construit sur des blocs Mamba (un type de SSM efficace et linéaire).
Mécanisme de "Step-Scaling" (Échelle de pas) : C'est l'innovation centrale. Contrairement aux SSM classiques (comme S4) qui utilisent une taille de pas fixe, DiSPo intègre un facteur d'échelle de pas ( $r_t$ $r_{t}$ ) conditionnel.
- Ce facteur $r_t$ contrôle la granularité temporelle de la discrétisation du SSM.
- Il permet au modèle d'apprendre à partir de démonstrations à différentes fréquences et d'ajuster la taille des pas de temps en temps réel (en ligne) pour générer des actions plus fines ou plus grossières.
Entrées et Sorties :
- Le modèle prend en entrée des observations (images, proprioception), des actions bruitées, l'étape de diffusion ( $k$ ) et le facteur d'échelle ( $r_t$ ).
- Il prédit le bruit résiduel pour reconstruire une séquence d'actions moins bruitée, en adaptant les paramètres internes du SSM ( $\bar{A}, \bar{B}$ ) via la fonction SoftPlus appliquée à $r_t$ .

Stratégie d'Apprentissage Multi-Granularité

Pour pallier le manque de données haute fréquence, les auteurs proposent un schéma en deux étapes :

Pré-entraînement avec augmentation de fréquence : Le dataset est augmenté aléatoirement avec des facteurs d'échelle de pas pour simuler diverses granularités.
Fine-tuning avec "Pseudo-démonstrations" :
- Le modèle pré-entraîné génère des séquences d'actions haute fréquence à partir de bruit.
- Une boucle de remplacement est utilisée : les actions à basse fréquence (correspondant aux démonstrations originales) sont remplacées par les démonstrations réelles bruitées, tandis que les nouvelles actions haute fréquence sont générées par le modèle.
- Cela permet d'affiner le modèle pour produire des mouvements précis sans collecter de nouvelles données haute fréquence.

3. Contributions Clés

Première modélisation Mamba pour la manipulation fine : DiSPo est la première tentative d'adapter un modèle discret (Mamba) pour gérer des manipulations robotiques à haute précision en modulant sa discrétisation.
Mécanisme d'échelle de pas adaptable : Introduction d'un prédicteur de facteur d'échelle ( $\phi_r$ ) qui permet de moduler la granularité des actions en ligne, optimisant ainsi l'efficacité d'inférence (mouvements grossiers dans les espaces libres, mouvements fins près des obstacles).
Benchmarks Coarse-to-Fine : Création de nouveaux benchmarks évaluant spécifiquement la capacité à générer des actions fines à partir de démonstrations grossières, un scénario négligé par les méthodes actuelles.
Validation Réelle : Démonstration réussie sur un bras robotique UR5e pour des tâches complexes (passage d'une pince à travers un tuyau, toucher un bouton).

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois simulations (passage de pince, passage de passage, toucher un bouton) et deux tâches réelles.

Performance de Succès : DiSPo atteint un taux de réussite supérieur à 81 % sur tous les benchmarks, surpassant significativement les méthodes de base (DiffusionPolicy-C/T, D-Ma, VQ-BeT), dont les performances chutent drastiquement avec des démonstrations à basse fréquence (2.5 Hz).
Amélioration par Fine-tuning : L'utilisation de la méthode de pseudo-démonstrations améliore les performances de DiSPo d'environ 6 % à 19 % sans collecte de données supplémentaire.
Efficacité d'Inférence : Grâce à l'ajustement dynamique de la granularité, DiSPo réduit le nombre d'étapes d'action nécessaires de 32 % sur la tâche "toucher un bouton" (en utilisant des pas grossiers là où la précision n'est pas critique) tout en maintenant un taux de réussite élevé.
Expériences Réelles : Sur le robot UR5e, DiSPo réussit à insérer une pince carrée avec un jeu radial de 2,5 mm et à toucher un bouton sans collision, là où la méthode de base (D-Ma) échoue souvent par frottement ou arrêt prématuré.

5. Signification et Impact

Ce travail représente une avancée significative pour l'apprentissage par imitation en robotique :

Efficacité des Données : Il permet d'apprendre des compétences complexes à partir de données grossières, réduisant considérablement le coût de collecte de données (pas besoin de démonstrateurs humains haute fréquence).
Flexibilité Opérationnelle : La capacité à ajuster la granularité des actions en temps réel permet une meilleure adaptation aux contraintes environnementales et une optimisation des ressources de calcul.
Nouvelle Direction pour les SSM en Robotique : Il démontre que les modèles d'espace d'état modernes (Mamba), souvent utilisés pour le langage, peuvent être adaptés avec succès pour la génération de trajectoires robotiques continues et multi-échelles, offrant une alternative plus efficace aux Transformers pour les tâches de contrôle à long terme.

En résumé, DiSPo résout le compromis traditionnel entre la précision des mouvements et l'efficacité des données/du calcul, offrant une politique unifiée capable de reproduire des comportements humains complexes à différentes échelles de temps.