💻 computer science

DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization

Dit artikel introduceert DiSPo, een nieuw beleid dat een diffusie-SSM-architectuur (Mamba) gebruikt om efficiënt vaardigheden te leren van demonstraties en actiegranulariteit aan te passen, waardoor de succesratio en inferentie-efficiëntie aanzienlijk worden verbeterd ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

Gepubliceerd 2026-02-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om een taak te doen, zoals het door een buisje duwen van een klem of het indrukken van een knopje. Vaak laten mensen de robot dit doen door het zelf te demonstreren. Maar hier zit een probleem: als je de robot alleen maar leert van een "traag" filmpje van de beweging (bijvoorbeeld 2 keer per seconde), kan de robot de fijne details missen. Hij ziet de grote lijnen, maar niet hoe hij precies moet sturen om niet tegen de muur te botsen.

Deze paper introduceert DiSPo, een slimme nieuwe manier om robots te leren. Je kunt het zien als een super-robot-trainer die twee dingen tegelijk kan: het begrijpen van grove schetsen én het tekenen van de fijne details.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vage" Tekening

Stel je voor dat je iemand vraagt om een tekening te maken van een landschap, maar je geeft alleen een schets met een paar grote lijnen (een "grove" demonstratie). Een gewone robot zou proberen die lijnen rechtstreeks over te nemen. Het resultaat? Een ruwe, onnauwkeurige tekening. Als de robot dan moet sturen, botst hij tegen dingen aan omdat hij niet weet hoe hij de bocht moet nemen.

Traditionele methodes proberen dit op te lossen door de robot duizenden minuten aan "super-snel" en "super-precies" video-materiaal te geven. Dat is echter duur, tijdrovend en vaak onnodig.

2. De Oplossing: DiSPo (De Slimme Vertaler)

DiSPo is een combinatie van twee krachtige technologieën:

Diffusie: Denk hieraan als een kunstenaar die eerst een vage, wollige tekening maakt en die stap voor stap scherper en duidelijker maakt.
SSM (Mamba): Dit is het "geheugen" van de robot. Het is als een zeer efficiënte lezer die een heel lang verhaal kan onthouden zonder vergeten te worden, zelfs als het verhaal heel snel of heel langzaam gaat.

De creatieve analogie: De Chef-kok en de Sous-chef
Stel je voor dat je een recept hebt voor een complexe maaltijd (de taak).

De oude methodes zijn alsof je de chef-kok alleen maar een lijstje geeft met de ingrediënten (de grove stappen). De chef probeert het te maken, maar omdat hij de timing en de fijne handelingen niet kent, lukt het niet goed.
DiSPo is als een chef die een sous-chef (de Mamba) in huis heeft. De chef geeft de grove instructies ("bak de kip"). De sous-chef weet echter precies hoe hij die instructies moet vertalen naar de juiste snelheid en beweging. Als de chef zegt "bak langzaam", doet de sous-chef dat. Als hij zegt "nu heel snel en precies", past de sous-chef zijn bewegingen direct aan.

3. Hoe DiSPo het doet: De "Trapsgewijze" Magie

Het geheim van DiSPo zit in iets wat ze "Coarse-to-Fine" noemen (van grof naar fijn).

Stap 1: De Grove Schets. De robot kijkt naar de demonstratie (bijvoorbeeld een trage video). Hij begrijpt de grote lijnen: "Ik moet van punt A naar punt B."
Stap 2: De Fijne Details. Hier komt de magie. DiSPo heeft een speciale knop (een "stap-schaal" factor). De gebruiker kan zeggen: "Ik wil nu heel precies zijn!" of "Ik kan nu wat sneller gaan."
- Als de robot in een vrije ruimte is, gebruikt hij de "grove" modus: hij maakt grote, snelle sprongen. Dit bespaart tijd en rekenkracht.
- Zodra hij in de buurt komt van een obstakel (zoals de buis of de knop), schakelt hij automatisch over naar de "fijne" modus. Hij maakt dan heel kleine, precieze bewegingen om niet te botsen.

Het is alsof je een auto bestuurt: op de snelweg ga je hard (grote stappen), maar zodra je een smalle straat inrijdt of een parkeerplaats zoekt, vertraag je en maak je kleine, nauwkeurige bewegingen. DiSPo doet dit automatisch, gebaseerd op wat de situatie vraagt.

4. Het Resultaat: Beter, Sneller en Slimmer

In de tests hebben ze robots getraind met alleen maar trage, grove video's.

Andere robots faalden vaak: ze botsten tegen de buis of raakten de knop niet.
De DiSPo-robot slaagde in meer dan 80% van de gevallen. Hij leerde uit de trage video's hoe hij de fijne details moest bedenken.

Bovendien is DiSPo slimmer in het gebruik van energie. Omdat hij in veilige situaties "grof" kan bewegen, hoeft hij niet constant de hele tijd super-precies te zijn. Dit maakt de robot sneller en goedkoper om te laten werken.

Samenvatting in één zin

DiSPo is een slimme robot-trainer die uit een trage, onnauwkeurige demonstratie een perfecte, precieze beweging kan halen, en die automatisch weet wanneer hij moet versnellen en wanneer hij moet vertragen om niet tegen dingen aan te botsen.

Het is de eerste keer dat een robot zo'n flexibele "schakelaar" heeft tussen grove en fijne bewegingen, zonder dat we duizenden uren aan dure training nodig hebben.

1. Probleemstelling

Het paper adresseert een fundamentele uitdaging in het leren van robotmanipulatie via imitatie (Imitation Learning - IL): het leren van vaardigheden met meerdere granulariteiten (multi-granularity) uit demonstraties die variëren in precisie en frequentie.

Huidige beperkingen: Traditionele IL-methoden (zoals Dynamische Bewegingsprimitieven of standaard Diffusion Policies) vertrouwen vaak op uitgebreide, hoogfrequente (fijne) data. Ze hebben moeite om de inherente variatie in granulariteit van menselijke vaardigheden te coderen of te decoderen.
Het dilemma: Het genereren van precieze, fijne bewegingen (bijv. schroeven, lassen, invoegen) vereist vaak hoogfrequente data, wat leidt tot hoge opslag- en rekenkosten. Bestaande methoden kunnen moeilijk schakelen tussen grove (coarse) en fijne bewegingen zonder nieuwe data te verzamelen of complexe interpolatietechnieken toe te passen.
Doel: Een beleid ontwikkelen dat kan leren van grove demonstraties en deze kan vertalen naar fijne, gebruikersgewenste acties, terwijl het de temporele structuur van de demonstraties begrijpt.

2. Methodologie: DiSPo

De auteurs introduceren DiSPo (Diffusion-SSM based Policy), een hybride architectuur die de representatieve kracht van Diffusiemodellen combineert met de flexibele discretisatiecapaciteiten van State Space Models (SSM), specifiek Mamba.

Kernarchitectuur

Diffusie-SSM Integratie: DiSPo gebruikt een DDPM (Denoising Diffusion Probabilistic Model) proces om ruis te verwijderen uit een actiesequentie. In plaats van een Transformer of CNN als backbone, gebruikt DiSPo gestapelde DiSPo-blokken, die variaties zijn van het Mamba-blok.
Stap-schaal mechanisme (Step-scaling): Dit is de belangrijkste innovatie. DiSPo introduceert een stap-schaal factor ( $r_t$ ) die de discretisatiegraad (temporele granulariteit) van de SSM-paramaters aanpast.
- De SSM-paramaters ( $\Delta, B, C$ ) worden niet als vaststaand beschouwd, maar voorspeld als functie van de input en de gewenste schaal $r_t$ .
- Dit stelt het model in staat om te leren van demonstraties met verschillende frequenties en tijdens de inferentie de stapgrootte dynamisch aan te passen aan de behoeften van de gebruiker.

Leerstrategie

Om het probleem van het genereren van fijne bewegingen uit grove data op te lossen, gebruikt DiSPo een twee-staps leerproces:

Pre-training met Sample-rate Augmentatie: Het dataset wordt verrijkt met willekeurige stap-schaal factoren. Het model leert om ruis te voorspellen en observaties te reconstrueren over verschillende frequenties.
Fine-tuning met Pseudo-demonstraties:
- Het model genereert "pseudo-demonstraties" (fijne acties) uit grove data door het diffusieproces te doorlopen.
- Om de nauwkeurigheid te waarborgen, worden de voorspelde acties op de oorspronkelijke frequentie van de demonstratie vervangen door de echte (ruis-bevattende) demonstratie-acties.
- Het model wordt vervolgens getraind op deze hybride dataset (originele + pseudo-demonstraties) om de hoge-frequentie vaardigheden te verfijnen zonder extra menselijke data te verzamelen.

Inferentie en Controle

Tijdens de uitvoering kan DiSPo online de stap-schaal factoren aanpassen via een voorspeller ( $\phi_r$ ) of handmatige input.
In niet-kritieke gebieden (bijv. vrije ruimte) kan het grove stappen gebruiken om de inferentiekosten te verlagen.
In kritieke gebieden (bijv. bij het invoegen van een object) schakelt het over naar fijne stappen voor hoge precisie.

3. Belangrijkste Bijdragen

Nieuwe Architectuur: De eerste toepassing van een Mamba-based diffusiemodel voor robotmanipulatie dat specifiek is ontworpen voor coarse-to-fine actiegeneratie.
Flexibele Discretisatie: Het introduceren van het step-scaling mechanisme in Mamba, waardoor het model dynamisch de tijdschaal van acties kan moduleren zonder de onderliggende dynamiek te veranderen.
Efficiënte Leerstrategie: Een methode om hoogfrequente vaardigheden te leren uit laagfrequente data via pseudo-demonstratiegeneratie, wat de behoefte aan dure, hoogfrequente dataverzameling elimineert.
Benchmarks: Het creëren van nieuwe benchmarks voor coarse-to-fine imitatielearning en het valideren op zowel gesimuleerde als echte robottaken.

4. Resultaten

De auteurs evalueren DiSPo op drie gesimuleerde benchmarks (klem passeren, doorgang passeren, knop aanraken) en twee real-world taken met een UR5e-robotarm.

Succespercentages: DiSPo overtreft state-of-the-art baselines (zoals Diffusion Policy-C/T, D-Ma, VQ-BeT) aanzienlijk.
- Bij het trainen op grove data (2.5 Hz) en testen op fijne frequenties (20 Hz), bereikt DiSPo succespercentages van >81%, terwijl baselines vaak faalt (succes daalt naar bijna 0%).
- Op de "Button touch" taak met gemengde frequentie-data bereikt DiSPo 93% succes, vergeleken met 81% voor de beste baseline.
Efficiëntie: Door het gebruik van adaptieve stap-schaal factoren kan DiSPo het aantal benodigde actiestappen met 32% verminderen in minder kritieke gebieden, wat de inferentie-efficiëntie verhoogt zonder de taakprestatie significant te beïnvloeden.
Real-world Validatie: In echte experimenten (klem passeren en knop aanraken) slaagt DiSPo erin om precieze, botsingsvrije bewegingen te genereren, terwijl de baseline (D-Ma) vaak vastloopt of botsingen veroorzaakt door gebrek aan fijne controle.

5. Betekenis en Impact

Dit werk is significant omdat het een brug slaat tussen de efficiëntie van State Space Models (Mamba) en de expressieve kracht van Diffusiemodellen in de robotica.

Data-efficiëntie: Het demonstreert dat robots complexe, precieze vaardigheden kunnen leren van "slechte" of grove menselijke demonstraties, wat de drempel voor het verzamelen van trainingsdata verlaagt.
Adaptiviteit: Het biedt een uniek mechanisme om de precisie van een robot in real-time aan te passen aan de context van de taak (grof voor navigatie, fijn voor manipulatie), wat essentieel is voor robuuste en veilige robotinteractie in onvoorspelbare omgevingen.
Toekomstperspectief: Het opent de weg voor meer flexibele beleidsmodellen die niet vastzitten aan een specifieke tijdschaal, wat cruciaal is voor de volgende generatie dexterous robots.

Samenvattend biedt DiSPo een krachtige, schaalbare oplossing voor het probleem van multi-granulariteit in robotleren, met bewezen superioriteit in zowel simulatie als de echte wereld.