🤖 AI

From Noise to Control: Parameterized Diffusion Policies

Dit artikel introduceert de Parameterized Diffusion Policy (PDP), een raamwerk dat laagdimensionale continue parameters inbedt in een geleerd gedragsmanifold om diffusiemodellen te transformeren van stochastische generatoren naar precieze, optimaliseerbare instrumenten voor het sturen van robotgedrag en het aanpassen aan nieuwe beperkingen zonder hertraining.

Oorspronkelijke auteurs: Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Te Veel Manieren om Eén Ding te Doen

Stel je voor dat je een robot leert hoe hij een lade moet sluiten. In de echte wereld is er niet één "perfecte" manier om dit te doen. De robot kan de hendel benaderen vanaf de linkerkant, de rechterkant, van bovenaf of zelfs van onderaf. Al deze manieren zijn geldig om de taak te voltooien.

In het verleden probeerden methoden voor robotleren al deze verschillende manieren samen te middelen. Het resultaat? De robot probeerde een "gemiddelde" beweging te maken die eigenlijk niet goed werkte — hij zou een obstakel kunnen raken of de hendel volledig missen.

Onlangs zijn wetenschappers begonnen met het gebruik van Diffusion Policies. Denk aan deze als een "creatieve kunstenaar"-robot. In plaats van te middelen, kan de kunstenaar veel verschillende, unieke manieren genereren om de lade te sluiten. Maar deze kunstenaar is een beetje chaotisch. Als je hem vraagt om "de lade te sluiten", kiest hij misschien een willekeurige stijl. Als je plotseling een boek in de weg legt (een nieuwe beperking), weet de kunstenaar niet hoe hij moet aanpassen. Hij blijft gewoon willekeurige stijlen kiezen, in de hoop dat er toevallig eentje werkt. Het is alsof je probeert een auto te besturen door het stuur willekeurig te schudden en te hopen dat je op de weg blijft.

De Oplossing: PDP (Parameterized Diffusion Policy)

De auteurs stellen een nieuw framework voor genaamd PDP. Ze willen die chaotische kunstenaar veranderen in een nauwkeurige, controleerbare bestuurder.

Zo doen ze het, met behulp van een eenvoudige analogie:

1. De "Gedragskaart" (De Manifold)

Stel je voor dat de robot een kaart heeft van alle verschillende manieren waarop hij kan bewegen. Bij standaard diffusie is deze kaart een rommelige, verstrengelde knoop van wol, waarbij een kleine beweging je naar een compleet andere, ongerelateerde beweging kan werpen.

PDP creëert een net en georganiseerde kaart. Op deze kaart vertegenwoordigen punten die dicht bij elkaar liggen bewegingen die fysiek vergelijkbaar zijn (zoals een hendel benaderen vanaf de linkerkant versus de verre linkerkant). Punten die ver uit elkaar liggen, vertegenwoordigen zeer verschillende strategieën (zoals benaderen vanaf de linkerkant versus de rechterkant). Dit wordt een "geometrie-uitgelijnde gedragsmanifold" genoemd.

2. De "Draaiknop" (De Parameter)

In plaats van de robot een willekeurige beweging te laten kiezen, geeft PDP de robot een laag-dimensionale draaiknop (een parameter genaamd $z$ ).

Door de knop een klein beetje te draaien, beweegt de robot soepel van de ene strategie naar een vergelijkbare andere.
Door de knop helemaal rond te draaien, beweegt hij naar een compleet andere strategie.

Deze draaiknop werkt als een afstandsbediening voor het gedrag van de robot. Je hoeft de hele robot niet opnieuw te trainen om van gedachten te veranderen; je draait gewoon aan de knop.

3. De "GPS" (Latent Fitting)

Wat gebeurt er als de omgeving verandert? Stel dat er een nieuw obstakel verschijnt dat de "linkse" benadering blokkeert.

Oude manier: De robot probeert willekeurige strategieën, in de hoop dat er een werkt.
PDP-manier: De robot kijkt naar het nieuwe obstakel en vraagt zich af: "Welke instelling op mijn draaiknop brengt me eromheen?" Hij berekent snel de perfecte instelling voor de draaiknop ( $z$ ) die bij de nieuwe situatie past. Het is als een GPS die direct de route herberekenen zonder dat de hele auto opnieuw gebouwd hoeft te worden.

Waarom Dit Er Toe Doet (De Resultaten)

Het artikel testte dit op gesimuleerde robots en een echte robotarm (een Franka Panda). Ze creëerden lastige scenario's waarin de robot obstakels moest vermijden of bekers vanuit verschillende hoeken moest oppakken.

De Test: Ze veranderden de regels (voegden obstakels toe) en gaven de robot slechts één nieuw voorbeeld van hoe hij dit moest oplossen.
Het Resultaat:
- Standaard robots (en standaard diffusie-policies) faalden jammerlijk. Ze konden niet begrijpen hoe ze zich aan het nieuwe obstakel moesten aanpassen.
- PDP slaagde. Het gebruikte zijn "draaiknop" om de nieuwe strategie onmiddellijk te vinden. Het kon zelfs een nieuwe manier van bewegen verzinnen die het nog nooit eerder had gezien, simpelweg door de draaiknop naar een punt tussen twee bekende strategieën te schuiven.

Het "Geheime Recept"

Het artikel benadrukt twee trucs die dit werkten maakten:

De Kaart is Georganiseerd: Ze gebruikten een speciaal wiskundig instrument (Soft-DTW) om ervoor te zorgen dat de afstand tussen twee punten op de "kaart" van de robot daadwerkelijk overeenkomt met hoe verschillend de fysieke bewegingen zijn. Dit maakt de kaart vloeiend en gemakkelijk te navigeren.
De Diepe Connectie: Ze voerden de instelling van de draaiknop niet alleen als een simpel getal in het "brein" van de robot in, maar ze weefden het diep in de beslissingslagen van de robot. Dit zorgt ervoor dat de robot ook echt luistert naar de draaiknop en zijn gedrag aanpast, in plaats van de draaiknop te negeren.

Samenvatting

Beschouw PDP als het geven van een afstandsbediening voor de persoonlijkheid van een robot. In plaats van te hopen dat de robot willekeurig de juiste beweging vindt wanneer de wereld verandert, kun je simpelweg de draaiknop naar de exacte instelling draaien die nodig is om het nieuwe obstakel te passeren. Het verandert "willekeurig gokken" in "precies sturen."

Technische Samenvatting: Parameterized Diffusion Policies (PDP)

Probleemstelling

Werkelijke robotische taken zijn vaak ondergespecificeerd, waarbij een enkel doel bereikt kan worden door meerdere verschillende actie-sequenties (multimodale gedragingen). Hoewel standaard Diffusion Policies (DP) een krachtig paradigma zijn geworden voor het modelleren van deze multimodale distributies, lijden ze aan een gebrek aan controleerbaarheid. Specifiek richten standaard evaluaties zich vaak op distributieverschuivingen aan de observatiezijde (bijv. veranderingen in het uiterlijk van een camera), maar falen tijdens de inzetgeving (deployment) komen vaak voort uit constraint-induced behavior shifts (gedragsverschuivingen door beperkingen). In deze scenario's maken omgevingsveranderingen (bijv. nieuwe obstakels of contactbeperkingen) eerder gedemonstreerde strategieën ongeldig, waardoor de robot gedwongen wordt een andere bestaande modus te selecteren of een nieuw gedrag te ontdekken.

Huidige diffusiebeleid vertrouwen op stochastische ruis voor diversiteit. Het sturen van deze beleid tijdens de testfase door de hoogdimensionale ruisruimte te optimaliseren is vaak slecht geconditioneerd: kleine perturbaties in ruis kunnen leiden tot grote, onvoorspelbare of onhaalbare trajectveranderingen. Bovendien vereisen bestaande methoden voor gedragssturing ofwel het hertrainen van de beleidsgewichten (traag, data-intensief) of vertrouwen ze op discrete skill-tokens die de controle beperken tot een eindige set gedragingen, wat vloeiende interpolatie verhindert.

Methodologie: Parameterized Diffusion Policy (PDP)

De auteurs stellen Parameterized Diffusion Policy (PDP) voor, een framework dat diffusie transformeert van een mechanisme voor stochastische diversiteit naar een precisie-instrument voor gedragssturing dat optimaal kan worden aangestuurd. PDP conditioneert de diffusie-denoiser op een laagdimensionale, continue gedragslatente variabele $z$ , die geleerd is uit demonstraties.

1. Geometrie-gealigneerde Gedragsmanifold

De kerninnovatie is de constructie van een gedragsmanifold waarbij Euclidische afstanden tussen latente codes de semantische gelijkenis van fysieke trajecten weerspiegelen.

Traject Encoder: Een traject-encoder $E_\phi$ brengt demonstratietrajecten $\tau$ in kaart naar een latente code $z$ .
Geometrie Alignement: In tegenstelling tot standaard Variational Autoencoders (VAEs), aligneert PDP de geometrie van de latente ruimte expliciet met de fysieke trajectgelijkenis met behulp van Soft-DTW (Soft Dynamic Time Warping). De trainingsdoelstelling bevat een geometrie-loss $L_{geo}$ die een lineaire correspondentie afdwingt tussen de latente afstand $\|z_i - z_j\|$ en de fysieke trajectafstand berekend via Soft-DTW. Dit zorgt ervoor dat kleine veranderingen in $z$ leiden tot vloeiende, voorspelbare veranderingen in het uitgevoerde traject.
Gezamenlijke Doelstelling: De encoder-decoder wordt getraind om de reconstructie-loss, KL-divergentie (voor regularisatie) en de geometrie-alignement-loss te minimaliseren.

2. Parameterized Diffusion Denoiser

De diffusie-policy $\pi_\theta$ genereert actie-chunks geconditioneerd op zowel de omgevingscontext $c_t$ als de gedragslatente $z$ .

Globale Modulatie: In plaats van eenvoudige concatenatie integreert PDP de latente variabele $z$ in de denoiser via een globale modulatie-mechanisme (geïnspireerd door FiLM). De latente variabele wordt getransformeerd naar laagspecifieke affine parameters ( $\gamma, \beta$ ) die de tussenliggende feature maps schalen en verschuiven. Deze diepe integratie stelt de laagdimensionale latente variabele in staat om het hoogdimensionale proces van actiegeneratie effectief te sturen.
Ontkoppelde Training: De encoder wordt getraind met een stop-gradient operator tijdens de optimalisatiefase van de denoiser om te voorkomen dat de diffusie-loss de zorgvuldig gestructureerde geometrie van de latente manifold verstoort.

3. Test-Time Controle en Adaptatie

PDP maakt snelle, data-lichte adaptatie mogelijk zonder de beleidsgewichten bij te werken.

Latent Fitting: Wanneer men wordt geconfronteerd met nieuwe beperkingen of een doelgedrag $\tilde{\tau}$ , optimaliseert het systeem de latente code $z$ om een diffusie-consistente fitting-loss te minimaliseren. Dit identificeert de specifieke gedragsmodus die het beste voldoet aan de nieuwe beperkingen.
Semantische Warm-Start: De optimalisatie wordt geïnitialiseerd met de voorspelling van de encoder op de nieuwe demonstratie ( $z_0 = E_\phi(\tilde{\tau})$ ), wat de zoektocht in een goed geconditioneerd gebied van de manifold plaatst.
Long-Horizon Adaptatie: Voor complexe taken ondersteunt PDP stuksgewijs constante latente sequenties, waardoor verschillende fasen van een taak onafhankelijk kunnen worden aangepast.

Belangrijkste Bijdragen

Parameterized Diffusion Framework: Introduceert PDP, dat de sturing via stochastische ruis vervangt door een continue, geometrie-gealigneerde latente parameter $z$ voor expliciete gedragscontrole.
Geometrie-gealigneerde Manifold: Toont aan dat het aligneren van latente afstanden met fysieke trajectgelijkenis (via Soft-DTW) vloeiende interpolatie en voorspelbare sturing mogelijk maakt, wat de slecht geconditioneerde aard van ruisruimte-optimalisatie oplost.
Diepe Latente Integratie: Stelt een globale modulatie-architectuur voor die succesvol laagdimensionale gedragssignalen integreert in hoogdimensionale diffusie-denoisers, waarbij het superieur presteert aan naïeve concatenatie.
Efficiënte Test-Time Adaptatie: Toont aan dat het aanpassen van enkel de latente $z$ (via gradiëntafdaling) snelle adaptatie aan nieuwe beperkingen mogelijk maakt met een enkele demonstratie, zonder het beleid te hoeven hertrainen.

Experimentele Resultaten

De auteurs evalueerden PDP op een reeks van negen multimodale manipulatie-domeinen in zowel simulatie (RLBench, Robomica, Franka Kitchen, D3IL) als op een echte Franka Emika Panda robot.

Oorspronkelijke Multimodale Prestaties: PDP behaalde consistent hoge succespercentages over alle taken, waarbij het de standaarden (inclusief standaard DP, BC-GMM en VQ-BeT) evenaarde of overtrof. Het demonstreerde een superieure stabiliteit bij het reconstrueren van multimodale distributies vergeleken met standaard DP, dat vaak ruizige, inconsistente rollouts produceerde door modus-ambiguïteit.
Constraint-Induced Shifts: In scenario's waar omgevingsbeperkingen de meeste trainingsmodi ongeldig maakten:
- Bestaande Modus Fitting: PDP behaalde bijna perfect succes (bijv. 100% op CloseDrawer), wat aanzienlijk beter is dan de baselines die faalden om te convergeren naar de enige haalbare modus.
- Ontdekking van Nieuw Gedrag: In "zero-mode-feasible" settings (waar geen enkele trainingsmodus werkt en een nieuw gedrag moet worden gesynthetiseerd), was PDP de enige methode die consistent succesvol was. Baselines, inclusief die de gewichten fijnstuurden (BC) of evolutionaire zoekmethoden gebruikten (Diff-ES), slaagden er niet in om haalbare strategieën te synthetiseren die afwezig waren in de trainingsdata.
Real-Robot Robuustheid: Bij de echte robot OpenDrawer taak behield PDP een succespercentage van 100% onder constraint-shifts, terwijl het succes van standaard DP daalde naar 20%. Dit benadrukt de robuustheid van PDP tegen real-world ruis en het vermogen om een stabiele controlehendel te bieden.
Ablatie-studies:
- Het verwijderen van geometrie-alignement of het gebruik van discrete latente variabelen veroorzaakte ernstige prestatievermindering, wat de noodzaak van een continue, metriek-gealigneerde manifold bevestigt.
- Globale modulatie presteerde aanzienlijk beter dan concatenatie, wat leidde tot een lagere trainingsverlies en een betere adaptatiesucces.
- Semantische warm-starts waren cruciaal; willekeurige initialisatie slaagde er niet in om haalbare strategieën te vinden, zelfs na uitgebreide optimalisatiestappen.

Betekenis en Claims

Het artikel claimt dat PDP het paradigma van diffusie-gebaseerde controle fundamenteel verschuift van "ruis-gestuurde diversiteit" naar "geparameteriseerde gedragssturing". Door de latente ruimte te structureren zodat deze de fysieke trajectgelijkenis weerspiegelt, transformeert PDP diffusie in een instrument dat niet alleen expressief is, maar ook controleerbaar en optimaliseerbaar.

De auteurs benadrukken dat deze aanpak een kritiek gat in robotleren aanpakt: het vermogen om snel en betrouwbaar aan te passen aan veranderende beperkingen zonder te hertrainen. Zij stellen dat hoewel diffusiemodellen uitstekend zijn in het representeren van multimodale data, hun nut in de praktijk beperkt is zonder een gestructureerde interface voor gedragsselectie. PDP biedt deze interface, waardoor robots in staat zijn om:

Vloeiend te interpoleren tussen bekende strategieën om nieuwe, haalbare gedragingen te synthetiseren.
Snel aan te passen aan nieuwe beperkingen door een compact pakket aan parameters (de latente $z$ ) te optimaliseren, in plaats van miljoenen netwerkgewichten.
Robuust te opereren in real-world settings waar uitvoeringsruis en verschuivingen in beperkingen gebruikelijk zijn.

Het werk suggereert dat expliciete, geometrie-gealigneerde gedragsmanifolds essentieel zijn voor de volgende generatie aanpasbare robotbeleid, met name in scenario's die de synthese van gedragingen vereisen die niet expliciet aanwezig zijn in de trainingsdataset.