DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

Robots die objecten met een menselijke behendigheid kunnen manipuleren, zijn al lang een doel van kunstmatige intelligentie, maar het aanleren hiervan is een delicaat evenwichtsbalk. Jarenlang was de meest effectieve methode "behavior cloning" (gedragsklonen), waarbij een robot leert door video's te bekijken van mensen die taken uitvoeren en vervolgens die bewegingen na te bootsen. Deze aanpak heeft geleid tot een krachtige nieuwe klasse van robotcontrollers gebaseerd op een technologie genaamd diffusie. Net zoals een beeldhouwer kan beginnen met een ruw blok steen en geleidelijk materiaal kan weghakken om een beeld te onthullen, beginnen deze diffusiemodellen met willekeurige ruis en verfijnen ze deze langzaam tot een precieze reeks acties. Hoewel deze methode uitstekend is in het vastleggen van de variëteit en nuance van menselijke demonstraties, heeft het een fundamentele beperking: de robot is strikt gebonden aan de kwaliteit en variëteit van de data die hem getoond is. Als de trainingsvideo's nooit lieten zien hoe een robot een probleem op een nieuwe manier oplost, zal de robot waarschijnlijk falen wanneer hij met dat probleem in de echte wereld wordt geconfronteerd. Om dit te overwinnen, zijn onderzoekers begonnen deze diffusiemodellen te combineren met reinforcement learning (versterkend leren), een techniek waarbij een agent leert door middel van trial-and-error, waarbij beloningen worden ontvangen voor goede resultaten en straffen voor fouten. De uitdaging is echter dat diffusiemodellen niet in één keer een beslissing nemen; ze genereren een actie via een lang, stapsgewijs proces van verfijning. Bepalen welke stap in die lange keten precies verantwoordelijk was voor succes of falen, is een moeilijke puzzel gebleken voor bestaande methoden.

Een team van onderzoekers aan de Universiteit van Toronto en het Vector Institute heeft een nieuwe oplossing voorgesteld voor dit probleem, genaamd Denoising Intermediate Advantage, of DIA. Hun werk pakt een specifief gebrek aan in de manier waarop huidige systemen krediet geven aan het leerproces van een robot. In standaardbenaderingen, wanneer een robot een taak succesvol voltooit na een lange reeks verfijningsstappen, wijst het systeem evenveel krediet toe aan elke afzonderlijke stap in die reeks. Het is alsof een team van schilders samenwerkt om een muurschildering te voltooien, en de manager elke penseelstreek evenveel prijst, ongeacht of een bepaalde streek een klein detail was of de cruciale lijn die het hele beeld definieerde. De onderzoekers stellen dat dit inefficiënt is omdat de tussenliggende stappen in het generatieproces waardevolle informatie bevatten over waar de robot naartoe gaat. Door de gehele verfijningsketen als één enkel blok te behandelen, misten eerdere methoden de kans om te leren van de specifieke beslissingen die in elke fase van het proces werden genomen.

Om dit te herstellen, introduceert de DIA-methode een manier om de voortgang van de robot bij elke stap van het verfijningsproces te evalueren, niet alleen aan het einde. Het systeem leert de waarde van de actie te voorspellen terwijl deze vorm krijgt, stap voor stap. Dit stelt de robot in staat om te begrijpen dat sommige tussenliggende beslissingen kritischer zijn voor de uiteindelijke uitkomst dan andere. In plaats van te wachten tot het einde om te zien of de taak is voltooid, biedt het systeem gedurende het hele generatieproces feedback, waardoor de robot wordt gestuurd om eerder betere keuzes te maken. Dit creëert een meer genuanceerd leersignaal dat de robot helpt om onderscheid te maken tussen een gelukkig succes en een goed uitgevoerde strategie. De onderzoekers testten deze aanpak op vier verschillende sets robottaken, variërend van eenvoudige objectmanipulatie tot complexe, meerstaps assemblage-taken die van een robot vereisen dat hij zijn armen over een langere periode in coördinatie beweegt.

De resultaten van deze tests waren consistent en significant. Op een standaard set benchmarks bekend als Robomimic, die taken bevat zoals het tillen van objecten, het bewegen van blikjes en het tekenen van vierkanten, presteerde de DIA-methode consequent beter dan bestaande technieken. In de moeilijkste taak, een bimanuele transportuitdaging waarbij een robot een object met twee armen moet verplaatsen, bereikte de nieuwe methode een 23 procent hogere beloningsscore dan de vorige beste aanpak, terwijl de hoge mate van succes behouden bleef. Deze verbetering ging niet alleen over het vaker voltooien van de taak; het ging erom het beter te doen. De robots die met DIA werden getraind, bereikten de succesvolle staat sneller en namen minder stappen om de taak te voltooien. In één specifieke test werd de tijd die nodig was voor de robot om te slagen met 21 procent verminderd. Dit suggereert dat de robot niet louter op een oplossing stuitte, maar een efficiënter pad naar het doel leerde te vinden.

De kracht van deze methode werd nog duidelijker toen de onderzoekers het testten op taken waarbij de trainingsdata incompleet was of de volledige oplossing miste. In een keukensimulatie waarin een robot een sequentie van subtaken moest uitvoeren, zoals het aanzetten van een fornuis of het openen van een kastje, toonden de standaard trainingsdata vaak slechts delen van de volledige sequentie. Eerdere methoden hadden hier moeite mee en kwamen vaak vast te zitten in lussen of herhaalden irrelevante acties omdat ze te afhankelijk waren van de exacte patronen uit de trainingsvideo's. De DIA-methode was echter in staat om de gedeeltelijke demonstraties die het had gezien te combineren om geheel nieuwe, succesvolle actiesequenties te creëren. In de meest uitdagende versie van deze test, waarbij geen enkele demonstratie de volledige taak liet zien, faalden de baseline-methoden volledig en behaalden ze een succespercentage van nul procent. De DIA-methode slaagde er daarentegen er 69 procent van de tijd in. Het slaagde erin de noodzakelijke stappen te combineren om de taak te voltooien, en leerde effectief een strategie die niet expliciet aanwezig was in een van de oorspronkelijke trainingsvoorbeelden.

Deze bevindingen suggereren dat door aandacht te besteden aan de tussenliggende stappen van besluitvorming, robots kunnen ontsnappen aan de beperkingen van hun trainingsdata. De methode stelt hen in staat om nieuwe strategieën te verkennen en efficiëntere manieren te ontdekken om problemen op te lossen, in plaats van simpelweg te kopiëren wat ze hebben gezien. Hoewel de experimenten in een simulatie werden uitgevoerd, wijzen de resultaten op een toekomst waarin robots zich flexibeler kunnen aanpassen aan complexe, reële omgevingen. De onderzoekers merken op dat de volgende stap het testen van deze ideeën op fysieke robots zal zijn, een overgang die het overwinnen van de praktische uitdagingen van het verzamelen van data in de echte wereld zal vereisen. Voor nu demonstreert het werk dat het geven van krediet aan de juiste momenten in het denkproces van een robot kan leiden tot aanzienlijk slimmere en meer capabele machines.