From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning

Dit paper introduceert DICE-RL, een efficiënt finetuningframework dat vooraf getrainde generatieve robotpolicies omzet in hoogpresterende experts door online feedback te gebruiken voor selectieve gedragsregularisatie en waardegeleide actiekeuze.

De kern

Stel je voor dat je een pas geschoolde kok hebt die net uit de kookschool komt. Deze kok (de "Prior" of het vooraf getrainde model) heeft een heel goed boek met recepten gelezen en kan al aardig koken. Hij maakt geen enorme fouten, maar hij is nog niet perfect. Soms is het eten net iets te zout, of hij vergeet een stapje in een ingewikkeld gerecht.

Nu wil je deze kok trainen tot een sterke chef-kok (de "Pro"). Je zou hem kunnen laten koken en elke keer als het misgaat, hem een duw geven. Maar in de robotwereld is dat lastig: robots zijn duur, ze kunnen dingen kapotmaken, en het duurt lang om te zien of een gerecht lukt. Je kunt niet duizenden keren proberen en falen.

Hier komt DICE-RL om de hoek kijken. Het is een slimme methode om deze kok van "goed" naar "uitstekend" te brengen, zonder dat hij alles moet vergeten of in de war raakt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Basis: Een Veilig Net

Stel je voor dat de kok een veiligheidsnet heeft onder zich. Dit net is zijn oorspronkelijke kennis (het vooraf getrainde model). Hij weet al hoe hij een pan moet vasthouden en hoe hij moet snijden.

• Het probleem: Als je hem gewoon laat oefenen met Reinforcement Learning (RL), kan hij soms paniekerig gaan proberen en uit het net springen, waardoor hij de pan kapotgooit.
• De oplossing van DICE-RL: Ze laten de kok nooit het net verlaten. In plaats daarvan zeggen ze: "Blijf in het net, maar maak kleine, slimme aanpassingen."

2. De "Residuele" Aanpassing (De Kleine Correcties)

In plaats van de kok te dwingen om een compleet nieuw recept te bedenken, laten we hem een kleine notitie bij zijn recept schrijven.

• Stel, het recept zegt: "Voeg 1 theelepel zout toe."
• De kok (het nieuwe deel van de AI) denkt: "Eigenlijk is dit gerecht beter met 1,2 theelepels."
• Hij voegt alleen die 0,2 theelepel toe. Hij verandert het hele recept niet, hij corrigeert alleen de foutjes.
• Dit heet een residuele correctie. Het houdt de basis veilig en stabiel, terwijl het de kleine details perfectioneert.

3. Het "Selectieve" Oefenen (Niet alles leren)

Soms is de kok al heel goed in een bepaalde stap (bijvoorbeeld: aardappels schillen). Dan is het zonde om daar nog eens te oefenen. Soms faalt hij juist bij het snijden van de ui.

• DICE-RL is slim genoeg om te weten: "Oké, bij het schillen hoef je niet te corrigeren, daar ben je al goed in. Maar bij het snijden van de ui, daar moet je opletten."
• Het systeem selecteert alleen de momenten waar verbetering nodig is en laat de rest zoals hij is. Dit bespaart enorm veel tijd en energie.

4. De "Beste Keuze" (Kiezen uit meerdere opties)

Stel je voor dat de kok voor elke stap in het recept 5 verschillende versies van zijn actie bedenkt (bijvoorbeeld: 5 manieren om de ui te snijden).

• Vervolgens kijkt hij naar zijn "waarde-schaal" (een soort voorspelling: welke snijmethode leidt tot het lekkerste gerecht?).
• Hij kiest alleen de beste van de 5 en voert die uit.
• Dit noemen ze Best-of-N. Het is alsof je niet één keer een gokje waagt, maar eerst even snel 5 opties doorloopt en de slimste kiest. Dit maakt de robot veel slimmer en veiliger.

5. Het Resultaat: Van "Nogal Goed" naar "Pro"

Door deze techniek gebeurt er iets magisch:

• De robot leert niet van nul af.
• Hij "knijpt" zijn gedrag samen rondom de succesvolle momenten.
• Het is alsof je een wolk van mogelijke bewegingen hebt, en DICE-RL duwt die wolk samen tot een strakke, precieze pijl die altijd het doel raakt.

Kortom:
DICE-RL is als een slimme coach die een beginnende robot niet laat vallen in een diepe put, maar hem laat oefenen op een veilig platform. De coach zegt: "Je bent al goed in dit, maar daar kun je een klein beetje beter zijn. Laten we daarop focussen, en laten we altijd de beste van je ideeën kiezen."

Hierdoor kan de robot complexe taken leren (zoals een riem om een machine wikkelen of een lampje in een fitting draaien) met heel weinig oefeningen, en dat zelfs op een echte robot in de echte wereld, zonder dat hij duizenden keren iets kapotmaakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning" in het Nederlands.

Probleemstelling

Het paper adresseert een fundamentele uitdaging in robotica: hoe men effectief Reinforcement Learning (RL) kan toepassen voor het verfijnen van vooraf getrainde robotbeleid (policies) in omgevingen met spare beloningen (sparse rewards) en lange tijdshorizonten (long-horizon), waarbij online interactie kostbaar is.

Traditionele RL-methoden vereisen vaak uitgebreide exploratie, wat in de fysieke wereld onhaalbaar is vanwege het risico op schade en de hoge kosten van tijd. Aan de andere kant lijden vooraf getrainde Behavior Cloning (BC) modellen, vaak gebaseerd op generatieve modellen zoals Diffusion of Flow-matching, aan cumulatieve fouten en kunnen ze falen in situaties die niet exact in de trainingsdata voorkomen. De kernvraag is: hoe kan RL worden gebruikt om een bestaand, fysiek plausibel BC-beleid te verbeteren zonder de stabiliteit te verliezen of te veel data te verzamelen?

De auteurs stellen dat RL in deze context niet als een explorerende agent moet fungeren, maar als een "distributie-contraherende operator". Het doel is niet om een nieuw beleid te leren van nul, maar om de actie-distributie van een vooraf getraind generatief model te "scherpen" (contracten) rondom succesvolle actiemodi, terwijl falende modi worden onderdrukt.

Methodologie: DICE-RL

De auteurs introduceren DICE-RL (Distribution Contractive Reinforcement Learning), een framework dat een vooraf getraind generatief BC-beleid (de "prior") omzet in een hoogpresterend "pro"-beleid. De methode bestaat uit de volgende kerncomponenten:

1. Residuale Parametrisatie:
   In plaats van het vooraf getrainde generatieve model (bijv. een Flow-matching of Diffusion policy) zelf te finetunen (wat rekenkundig duur en instabiel is door differentiatie door de ODE-oplosser), wordt het BC-beleid ($\pi_{pre}$) bevroren. Het RL-beleid wordt geparametriseerd als een lichtgewicht residumodel ($s_\theta$) dat een correctie toevoegt aan de output van het BC-beleid:
   $$a_{t:t+h-1} = \pi_{pre}(s_t, z) + s_\theta(s_t, z)$$
   Hierbij is $z$ een latent noise sample. Dit zorgt ervoor dat het RL-beleid alleen lokale correcties leert rondom de voorstellen van het BC-beleid, wat de zoekruimte beperkt en stabiliteit garandeert.

2. Selectieve Gedragsregularisatie (Selective Behavior Regularization):
   Om te voorkomen dat het beleid te ver afdwaalt van de veilige zone van het BC-beleid, wordt een BC-achtige straffunctie (penalty) toegepast die het residu naar nul trekt. Echter, deze straffunctie wordt selectief uitgeschakeld wanneer het RL-beleid een actie genereert die duidelijk een hogere waarde heeft dan het basisvoorstel. Dit wordt geregeld door een BC-loss filter dat controleert of de verbetering betrouwbaar is (gebaseerd op een criticus en een Monte-Carlo schatting), zodat het beleid niet profiteert van overdreven Q-schattingen.

3. Multi-sample Expectation Training:
   Omdat het BC-beleid stochastisch is (via de latent variable $z$), worden tijdens het trainen meerdere actie-candidaten ($K$ samples) gegenereerd per staat. De criticus en de actor worden geoptimaliseerd op basis van het gemiddelde van deze $K$ kandidaten. Dit zorgt voor een lage variantie in het leersignaal en zorgt ervoor dat het residumodel de gehele actie-distributie verbetert in plaats van te overfitten op één specifieke sample.

4. Value-Guided Action Selection (Best-of-N):
   Tijdens online interactie worden $K$ actie-candidaten gegenereerd. In plaats van willekeurig één te kiezen, wordt de kandidaat met de hoogste geschatte waarde (volgens de criticus) geselecteerd en uitgevoerd. Dit maximaliseert de kans op succes zonder de trainingsprocedure te veranderen.

5. Adaptieve Data-mixing (RLPD):
   Het framework gebruikt een mix van offline demonstratiedata en online verzamelde ervaring. Het aandeel offline data neemt lineair af tijdens het trainingsproces, wat zorgt voor stabiliteit in het begin en een verschuiving naar online optimalisatie naarmate het residumodel verbetert.

Belangrijkste Bijdragen

1. Een praktisch RL-finetraining framework: DICE-RL biedt een stabiele en data-efficiënte aanpak voor het finetunen van generatieve BC-policies (specifiek Diffusion en Flow-matching) voor complexe manipulatietaakken.
2. Empirische prestaties: De methode behaalt state-of-the-art resultaten in zowel simulatie (Robomimic benchmark) als op een echte robot, zelfs bij taken met lange tijdshorizonten en hoge precisie-eisen.
3. Theoretisch inzicht: Het paper analyseert hoe RL post-training de actie-distributie "scherpt" (distribution sharpening) en de gesloten-lus dynamiek "contracteert" (contraction). Dit betekent dat het beleid minder gevoelig wordt voor kleine verstoringen in de beginstaat, wat leidt tot robuustheid.

Resultaten

• Simulatie (Robomimic): DICE-RL overtreft bestaande methoden zoals IBRL, DPPO, EXPO, DSRL en ResFit. Het bereikt een succespercentage van >90% op de uitdagende "Tool Hang" taak (zowel met state- als pixel-observaties), terwijl het startpunt (BC-policy) slechts 45% succes had. Het doet dit binnen ongeveer 2000 online episodes.
• Real Robot: De methode werd succesvol getest op drie complexe taken: GearInsertion, LightBulbInsertion en BeltAssembly. Het systeem kon systematische fouten van het BC-beleid (zoals het missen van een pulley of onnauwkeurige insertie) corrigeren en bereikte hoge succespercentages.
• Robuustheid: Experimenten tonen aan dat het gefinetuned beleid beter bestand is tegen actie-ruis dan het originele BC-beleid. De trajecten van het RL-beleid "contracteren" sneller naar elkaar toe, wat betekent dat het systeem minder gevoelig is voor initiële variaties.
• Ablatie Studies: De studie bevestigt dat de BC-loss filter, multi-sample training en Best-of-N selectie allemaal essentieel zijn voor snelle convergentie en hoge piekprestaties. Ook wordt aangetoond dat de methode werkt met zowel Flow-matching als Diffusion backbones.

Significantie

DICE-RL biedt een nieuwe paradigma voor robotleren: in plaats van te proberen RL te laten "leren van nul" of het generatieve model volledig te herschrijven, gebruikt het RL als een correctiemechanisme dat de sterke kanten van het vooraf getrainde model behoudt en de zwakke punten systematisch wegneemt.

De belangrijkste implicaties zijn:

• Efficiëntie: Het maakt RL-finetraining haalbaar in de echte wereld door de hoeveelheid benodigde online interactie drastisch te verminderen.
• Stabiliteit: Door het beleid te beperken tot de "support" van het vooraf getrainde model, wordt het risico op catastrofale fouten tijdens het leren geminimaliseerd.
• Schalbaarheid: De aanpak is toepasbaar op complexe, langdurige taken die eerder als te moeilijk voor RL werden beschouwd vanwege de hoge dimensie en de lange tijdshorizont.

Kortom, DICE-RL transformeert een "amateur" (prior) generatief beleid in een "pro" beleid door de actie-distributie te contracteren rondom succesvolle gedragingen, wat een cruciale stap is naar betrouwbare autonome robots in complexe omgevingen.