💻 computer science

A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer

Dit artikel stelt een framework voor dat een enkele diffusiebeleid vanaf nul traint met behulp van reinforcement learning, verbeterd door reverse curriculum generatie en object-gecentreerde representaties, om succesvol multi-task blokken-duwproblemen in simulaties met schaarse beloningen op te lossen en zero-shot transfer naar real-world omgevingen met variërende condities te bereiken.

Oorspronkelijke auteurs: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

Gepubliceerd 2026-07-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm leert om een blok over een tafel te duwen naar een specifieke plek. Stel je nu voor dat dat blok niet zomaar een vierkant is, maar soms een "T", een "C", een "L", of zelfs een vreemde "I"-vorm die je nog nooit eerder hebt gezien. De tafel kan plakkerig zijn, glad, of ergens tussenin. Het doel kan ook op een totaal nieuwe plek liggen.

Dit artikel gaat over het leren aan een robot om al deze rommelige, veranderende scenario's te beheersen zonder dat een mens telkens de hand moet vasthouden om hem precies te laten zien wat hij moet doen.

Het Grote Idee: Eén Brein, Veel Vormen

Normaal gesproken, wanneer robots taken leren, gebruiken ze een methode die "Behavior Cloning" wordt genoemd. Denk hierbij aan een leerling die het huiswerk van een leraar kopieert. De robot kijkt naar duizenden video's van experts die blokken duwen en probeert hen na te bootsen. Maar hier is het probleem: als je wilt dat de robot elke mogelijke vorm en elk mogelijk doel aankan, heb je een bibliotheek met video's nodig voor elke denkbare combinatie. Dat is onmogelijk te verzamelen.

De auteurs stellen dat deze "kopieer"-methode te kwetsbaar is. Als je de robot later een nieuwe taak wilt leren, vergeet hij vaak hoe hij de oude taken moest doen (een probleem dat "catastrophic forgetting" wordt genoemd).

In plaats daarvan suggereert dit artikel een andere aanpak: Reinforcement Learning (RL). Stel je voor dat de robot een peuter is die leert lopen. Hij kijkt niet naar een video; hij probeert het gewoon, valt, krijgt een klein "goed gedaan" (beloning) als hij dichter bij het doel komt, en probeert het opnieuw. Het artikel laat zien dat de robot door middel van een speciaal soort "brein" genaamd een Diffusion Policy, vanaf nul kan leren om veel verschillende blok-duw-puzzels tegelijkertijd op te lossen door middel van vallen en opstaan.

Het Geheime Ingrediënt: Het "Herwogen" Brein

De kern van hun ontdekking is een nieuwe manier om deze Diffusion Policy te trainen. In de wereld van AI is een "Diffusion Policy" als een meesterkunstenaar die begint met een canvas vol statische ruis en deze langzaam opschoont totdat er een perfect plaatje verschijnt. Normaal gesproken worden deze kunstenaars getraind door naar een galerie van perfecte schilderijen te kijken (expert data).

De auteurs vonden een manier om deze kunstenaar te trainen zonder die galerie. Ze creëerden een eenvoudige regel: "Als een beweging eruitziet alsof het een hoge score zal opleveren, maak het dan waarschijnlijker dat het gebeurt." Dit deden ze door een speciale "gewicht" aan het trainingsproces toe te voegen op basis van hoe goed een beweging eruitziet. Het is also kind dat de robot een magisch kompas geeft dat naar succes wijst, zelfs wanneer hij in het donker ronddwaalt.

Ze testten dit tegen de ouderwetse "Gaussian" policies (die als robots zijn die alleen het gemiddelde, veilige antwoord raden). De resultaten?

De Oude Manier (Gaussian): In de simulatie faalden de standaard algoritmen (zoals SAC, PPO en TD3) grotendeels. Ze kwamen vast te zitten of gaven het op. Een van hen, SAC, slaagde er wel voor om de taak ongeveer 66,3% van de tijd op te lossen, maar het duurde lang en was inconsistent.
De Nieuwe Manier (ESM): De nieuwe methode van de auteurs, die ze ESM noemen, loste de taak 100% van de tijd op in de simulatie. Nog beter: het voltooide de klus in gemiddeld slechts 21,1 stappen, terwijl de op één na beste methode bijna 119 stappen nodig had.

De "Zero-Shot" Magie

Dit is het meest opwindende deel. De robot werd volledig getraind binnen een computersimulatie. Hij heeft nooit een echt blok, een echte tafel of een echte robotarm gezien. Daarna namen de auteurs dit digitale brein en plugden ze het direct in een echte robot in een laboratorium.

Ze hebben de robot niet opnieuw getraind. Ze hebben hem niet aangepast. Ze zetten hem gewoon aan. Dit wordt Zero-Shot Sim-to-Real Transfer genoemd.

Ze testten de robot met:

Verschillende Wrijving: Ze legden het blok op een plakkerige vloermat en een glad stuk perkamentpapier.
Verschillende Gewichten: Ze gebruikten een blok dat slechts 1 cm dik was (een kwart van de oorspronkelijke dikte van 4 cm).
Verschillende Vormen: Ze testten het op de vormen die de robot in de simulator heeft geleerd, plus een gloednieuwe "I-vormige" blok die hij nog nooit had gezien.

De Resultaten:

Op de echte tafel slaagde de nieuwe methode (ESksM) in 3 van de 3 proeven voor de T-vorm, C-vorm en L-vorm.
De oude methode (SAC) faalde volledig op de T-vorm (0 van de 3) en had moeite met de andere vormen.
Zelfs op de gloednieuwe "I-vormige" blok (die de robot tijdens de training nooit had gezien), slaagde de nieuwe methode 61% van de tijd in de simulatie, wat aantoont dat het kan generaliseren naar vormen die het niet kende.

Wat Niet Werkte (en Wat Ze Uitsloten)

Het artikel is zeer duidelijk over wat niet goed werkt voor deze specifieke taak.

Alleen experts kopiëren (Behavior Cloning): De auteurs stellen dat het vertrouwen op enorme datasets van expert-demonstraties een knelpunt is. Het is moeilijk om genoeg data te verzamelen voor elke mogelijke vorm en elk mogelijk doel.
Standaard RL met simpele gissingen: Ze toonden aan dat standaard algoritmen met "Gaussian" policies (die ervan uitgaan dat het antwoord meestal gewoon een simpel gemiddelde is) de complexiteit van het duwen van blokken met verschillende vormen niet aankonden. Ze slaagden er niet in de taak te leren in de simulatie, laat staan om deze naar de echte wereld te vertalen.
Leren zonder een plan: Wanneer ze hun speciale "curriculum" (een trainingsschema dat begint met makkelijke doelen en langzaam moeilijker wordt) of hun speciale manier om de positie van het blok te beschrijven verwijderden, daalde de prestatie van de robot aanzienlijk. Dit bewijst dat de robot deze specifieke trainingstrucs nodig heeft om te slagen.

Hoe Zeker Zijn Ze?

De auteurs zijn zeer zelfverzekerd over hun resultaten in de simulatie, waar ze 4 miljoen interacties hebben uitgevoerd om de robot te trainen. Ze hebben succespercentages en het aantal stappen met hoge precisie gemeten.

Wat betreft de echte wereld, hebben ze de robot getest op 36 specifieke taken onder verschillende omstandigheden. Ze zeiden niet alleen "het werkte"; ze maten de afstand die het blok aflegde en het aantal stappen dat werd genomen. Ze ontdekten dat hoewel de echte wereld rommelig is, de prestaties van de robot robuust bleven. Ze geven echter toe dat deze "zero-shot" magie misschien niet voor elke type robottaak werkt, vooral niet voor taken die veel complexer zijn dan het duwen van een blok op een platte tafel. Voor die moeilijkere taken suggereren ze dat er meer werk nodig is om de kloof tussen de computer en de realiteit te overbruggen.

De Kernboodschap

Dit artikel laat zien dat je geen bibliotheek met expert-video's nodig hebt om een robot complexe, multi-task vaardigheden te leren. Door een slimme, flexibele "Diffusion Policy" te gebruiken die getraind is met een nieuw, eenvoudig beloningssysteem, kan een robot blokken van alle vormen en maten duwen, op gladde of plakkerige oppervlakken, en zelfs omgaan met doelen die hij nog nooit heeft gezien — en dat alles zonder de computer-simulatie ooit te verlaten totdat hij klaar is om in de echte wereld te werken. Het is een grote stap richting robots die zich echt kunnen aanpassen aan onze rommelige, veranderende wereld.

Technische Samenvatting: Een enkele Diffusion-Policy Controller voor Multi-Task Blokken Duwen met Zero-Shot Sim-to-Real Transfer

Probleemstelling

Het artikel adresseert de uitdaging van het trainen van een enkele, universele policy voor complexe, contactrijke robotische manipulatietaken, specifiek het duwen van blokken met verschillende vormen en doelen. Hoewel Denoising Diffusion Probabilistic Models (DDPMs) een superieure expressiviteit hebben getoond in het representeren van complexe datadistributies en succesvol zijn toegepast op robotische trajectgeneratie via Behavior Cloning (BC), kampen huidige benaderingen met aanzienlijke beperkingen:

Dataschaarste: BC-gebaseerde methoden vereisen overvloedige expertdemonstraties over diverse taken heen, wat vaak onpraktisch is in multi-task settings.
Fragiliteit van Fine-tuning: Het fine-tunen van vooraf getrainde BC-policies met Reinforcement Learning (RL) leidt vaak tot catastrofale vergetelheid (catastrophic forgetting).
Exploratie in Sparse Rewards: Het online toepassen van RL op diffusion policies vanaf nul is uitdagend vanwege de moeilijkheid van exploratie in omgevingen met ijle beloningen (sparse rewards) zonder demonstraties.
Sim-to-Real Gap: Er is een gebrek aan onderzoek naar de zero-shot sim-to-real transfer mogelijkheden van diffusion policies getraind via online RL, met name in contactrijke scenario's waar wrijving en fysieke dynamica variëren.

De auteurs beogen te bepalen of een enkele diffusion policy vanaf nul kan worden getraind met behulp van online RL om multi-task blokken-duwen problemen op te lossen en succesvol naar de echte wereld kan te transfereren zonder aanvullende fine-tuning.

Methodologie

Het voorgestelde framework integreert online RL met diffusion policies via drie kerncomponenten:

1. Vereenvoudigde Diffusion Policy Optimalisatie (ESM)

De auteurs leiden een vereenvoudigde policy optimalisatiemethode af op basis van Policy Mirror Descent. In plaats van de standaard Evidence Lower Bound (ELBO) die wordt gebruikt bij BC, stellen zij een Energy-Guided Score Matching (ESM) loss voor.

Mechanisme: De loss-functie herweegt de standaard score matching objective door een geëxponentieerde actie-waarde functie ( $Q^{\pi_{old}}(s, a)$ ).
Formule: De objective minimaliseert $\mathbb{E}[\exp(Q^{\pi_{old}}(s, a)/\lambda) \|\epsilon_\theta(a_t; s, t) - \epsilon\|^2]$ .
Voordeel: Deze formulering vermijdt de noodzaak om een aparte baseline-functie te leren voor weging (in tegen tegenstelling tot IDQL of QIPO) en gaat beter om met negatieve Q-waarden dan getrunceerde Q-functie methoden (zoals QVPO). Het stelt het diffusion model in staat om direct de optimale policy te benaderen die afgeleid is van de KL-geregulariseerde RL-objective.

2. Object-Centrische State en Action Representaties

Om een enkele policy in staat te stellen meerdere taken aan te kunnen (verschillende blokvormen en doelposities), ontwerpen de auteurs een taak-agnostische observatieruimte:

Lokale Coördinaten: In plaats van te conditioneren op absolute doelposities, wordt de state getransformeerd naar het lokale coördinatenstelsel van het blok ("block frame"). De state-vector bevat de positie van de agent relatief aan het blok, en de positie en oriëntatie van het doel relatief aan het blok.
Vorm-encoding: Een specifieke vector codeert de vorm van het blok (bijv. T, C, L, I), waardoor de policy zijn gedrag kan conditioneren op de geometrie van het object.
Action Space: Acties worden gedefinieerd als snelheidscommando's in het doel-frame, die vervolgens worden getransformeerd naar het wereld-frame.

3. Reverse Curriculum Generation

Om de exploratie-uitdagingen aan te pakken die inherent zijn aan sparse-reward RL (waar de agent pas een beloning ontvangt bij succesvolle voltooiing), passen de auteurs een curriculum leerstrategie toe:

Progressie: De training begint met het blok zeer dicht bij het doel geplaatst. Naarmate de agent een specifiek aantal keren succesvol is, wordt de initiële afstand tussen het blok en het doel vergroot.
Doel: Dit verhoogt geleidelijk de taakcomplexiteit, waardoor de agent wordt begeleid bij het leren van de noodzakelijke contactrijke manoeuvres (contact maken en verbreken) zonder vast te lopen in lokale optima.

4. Real-World Implementatie

Voor de sim-to-real transfer vertroult het systeem op state-gebaseerde inputs in plaats van ruwe beelden.

Perceptie: Blokposities worden geschat met behulp van ArUco markers of een aangepast point cloud registratie-algoritme (gebruikmakend van de vlakke oppervlakken en scherpe randen van de blokken).
Robuustheid: Een Kalman filter wordt toegepast op de pose-schattingen, en een parallel simulator fungeert als back-up tijdens occlusies.

Belangrijkste Resultaten

Simulatieprestaties

Succespercentage: Het voorgestelde ESM-algoritme behaalde een succespercentage van 100% op multi-shape blokken-duwen taken in simulatie, waarmee het standaard RL-baselines (SAC, PPO, TD3) en andere diffusion-gebaseerde RL-methoden (QVPO, DACER, QSM) aanzienlijk versloeg, die grotendeels faalden (0% succes).
Efficiëntie: ESM vereiste aanzienlijk minder stappen (gemiddelde episode lengte van ~~21) vergeleken met SAC (~~119).
Generalisatie: Bij testen op een niet-geziene "I-vormige" blok zonder extra training, behaalde ESM een succespercentage van 61%, terwijl SAC volledig faalde (0%).
Ablatie Studies: Het verwijderen van curriculum learning of de object-centrische state representatie degradeerde de prestaties, maar veroorzaakte geen totaal falen, terwijl SAC faalde onder deze ablaties. Dit benadrukt de robuustheid van de diffusion policy in combinatie met de voorgestelde ontwerpkeuzes.

Real-World Zero-Shot Transfer

De getrainde policy werd ingezet op een UR5e manipulator zonder enige real-world fine-tuning.

Geteste Variaties: De policy werd geëvalueerd op 36 taken bestaande uit:
- Verschillende oppervlakte-wrijvingen (hoge wrijvingsmatten versus lage wrijving van perkament papier).
- Verschillende blokgewichten (standaard versus 1/4 dikte).
- Verschillende doelposities (gerandomiseerd).
Prestaties: De ESM-policy loste alle taken succesvol op over deze variaties heen.
Vergelijking: In contrast hiermee faalde de SAC-baseline op de T-blok taken in de echte wereld en vereiste het aanzienlijk meer stappen en afstand om te slagen op andere vormen waar het wel slaagde.

Betekenis en Claims

Het artikel claimt dat dit werk de levensvatbaarheid aantoont van het trainen van een enkele diffusion policy vanaf nul met behulp van online RL voor complexe, contactrijke manipulatietaken zonder afhankelijk te zijn van expertdemonstraties.

Schaalbaarheid: Door af te stappen van Behavior Cloning, overwint de aanpak de bottleneck van het vereisen van diverse expertdata voor multi-task learning.
Expressiviteit: De resultaten suggereren dat de multi-modale aard van diffusion policies hen in staat stelt de complexe, multi-modale oplossingen te vangen die vereist zijn voor contactrijke taken (bijv. duwen versus roteren strategieën) beter dan unimodale Gaussian policies (zoals SAC).
Sim-to-Real Robuustheid: Het framework bereikt een zero-shot sim-to-real transfer over significante omgevingsvariaties (wrijving, gewicht, geometrie). De auteurs argumenteren dat met een voldoende expressieve policy en zorgvuldige state representatie, de sim-to-real gap in 2D blokken duwen effectief genegeerd kan worden, mits de systeemstabiliteit behouden blijft.
Methodologische Bijdrage: De introductie van de Energy-Guided Score Matching loss biedt een praktische, vereenvoudigde manier om diffusion models te integreren in standaard RL pipelines, waarbij de computationele en bias problemen van eerdere gewogen score matching technieken worden vermeden.

De auteurs concluderen dat hoewel de zero-shot transfer gevoelig is voor de omvang van de sim-to-real gap (en mogelijk domein randomisatie of residual learning kan vereisen voor complexere 3D taken), deze pipeline een sterke baseline vestigt voor algemene robotische manipulatie met gebruik van diffusion policies getraind via online RL.