RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning

Het paper introduceert RL-100, een robuust real-world reinforcement learning-framework dat diffusiebeleid combineert met PPO en consistentiedistillatie om robotmanipulatietaken met 100% succes en menselijke snelheid uit te voeren, zelfs onder dynamische veranderingen en zonder hertraining.

De kern

Stel je voor dat je een robot wilt leren om complexe taken uit te voeren, zoals een handdoek opvouwen, een sinaasappel uitpersen of een T-vormig blokje in een spleet duwen. In het verleden waren robots hier vaak slecht in: ze waren traag, maakten veel fouten of konden alleen dingen doen waar ze specifiek voor waren getraind.

Deze paper introduceert RL-100, een nieuw systeem dat robots niet alleen leert kijken, maar ook leren door te doen, net zoals een baby dat doet. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Startpunt: De "Ouder" (Imitatie)

Stel je voor dat je een kind wilt leren lopen. Je kunt het kind niet zomaar de wereld in sturen; het valt dan direct. Eerst moet het kind kijken hoe jij loopt.

• Wat het systeem doet: RL-100 begint met imitatie. Mensen besturen de robot via een joystick of VR-bril (teleoperatie) en laten hem zien hoe de taak gedaan moet worden.
• De analogie: Dit is als het kind dat de hand van zijn ouder vasthoudt. De robot leert de basisbewegingen en krijgt een "veilig gevoel" voor wat er mogelijk is. Maar, net als een kind dat alleen maar nadoet wat de ouder doet, blijft de robot hier hangen in de snelheid en efficiëntie van de mens. Als de mens traag is, is de robot ook traag.

2. De Grote Sprong: "Oefenen in de Zandbak" (Offline RL)

Nu het kind de basisbewegingen kent, moet het zelf oefenen. Maar je kunt niet elke keer dat het kind valt, de hele wereld laten stoppen. Je wilt dat het zelf leert zonder constant hulp.

• Wat het systeem doet: De robot gaat nu zelfstandig oefenen met de data die hij al heeft. Hij probeert variaties, maakt fouten in een virtuele "zandbak" (offline), en leert welke bewegingen beter werken.
• De analogie: Stel je voor dat de robot een video-game speelt. Hij speelt duizenden keren tegen zichzelf. Hij probeert een beweging, ziet dat hij de bal mist, en past zijn strategie aan. Hij leert niet alleen nabootsen, maar optimaliseren. Hij ontdekt manieren om de taak sneller en slimmer te doen dan de menselijke trainer ooit deed.
• Het geheim: Ze gebruiken een slimme methode om te voorkomen dat de robot "te wild" wordt. Het is alsof je een coach hebt die zegt: "Probeer iets nieuws, maar blijf binnen de lijntjes van wat veilig is."

3. De Laatste Slag: "De Proef op de Som" (Online RL)

Soms zijn er lastige situaties die in de video-game niet voorkomen, zoals als iemand de robot plotseling duwt of als de vloer glad is.

• Wat het systeem doet: De robot gaat nu echt in de echte wereld oefenen, maar heel kort en gericht. Hij zoekt alleen de laatste, kleine foutjes op die hij nog maakt.
• De analogie: Dit is als een atleet die net voor de Olympische Spelen nog even extra traint op de specifieke conditie van het stadion. Hij hoeft niet meer van nul te leren, hij polijst alleen nog de details om 100% zekerheid te krijgen.

4. De Snelheid: Van "Trage Denker" naar "Snelle Reflex"

Een groot probleem bij robots die met "diffusie" werken (een slimme manier om bewegingen te genereren) is dat ze traag zijn. Het is alsof ze eerst een heel gedetailleerd plan maken voordat ze bewegen.

• De oplossing: De auteurs hebben een trucje bedacht genaamd distillatie. Ze nemen de slimme, trage robot en trainen een "tweeling" die alles in één keer kan doen.
• De analogie: Stel je voor dat de trage robot een professor is die eerst alle boeken in de bibliotheek doorloopt om een antwoord te vinden. De nieuwe, snelle robot is een sporter die het antwoord direct uit zijn hoofd weet. Ze weten allebei alles, maar de sporter is veel sneller. Hierdoor kan de robot nu 10 tot 20 keer per seconde beslissingen nemen, wat nodig is voor echte, dynamische taken.

Wat hebben ze bereikt? (De Resultaten)

Dit systeem is getest op 8 verschillende, moeilijke taken, van het uitpersen van sinaasappels tot het vouwen van een doosje.

• 100% Succes: De robot slaagde in 1000 op 1000 pogingen. Geen enkele fout.
• Sneller dan mensen: Op veel taken was de robot sneller dan de menselijke trainer die de basisbewegingen had geleerd.
• Robuust: Als je de robot duwt of als de omgeving verandert (bijvoorbeeld een andere soort doek of een gladde tafel), blijft hij werken.
• De "Sinaasappel-test": Ze hebben de robot zelfs een weekje in een winkelcentrum gezet. Hij pakte willekeurige klanten, persde sinaasappels uit en deed dit 7 uur lang zonder één keer te falen, zonder dat iemand hem opnieuw had getraind.

Conclusie

RL-100 is als een super-leraar voor robots.

1. Hij leert van de beste menselijke trainers (Imitatie).
2. Hij oefent zelfstandig tot hij beter is dan de trainer (Offline RL).
3. Hij polijst de laatste details in de echte wereld (Online RL).
4. Hij versnelt zijn denken zodat hij net zo snel kan reageren als een mens (Distillatie).

Het resultaat is een robot die niet alleen "nabootst", maar meesterschap bereikt. Het is een grote stap in de richting van robots die echt veilig en betrouwbaar in onze huizen en fabrieken kunnen werken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning" in het Nederlands.

Probleemstelling

De huidige staat van de kunst voor robotmanipulatie in de echte wereld (thuis en in fabrieken) wordt beperkt door twee hoofdproblemen:

1. Het imitatieplafond: Bestaande methoden die vertrouwen op "Imitation Learning" (IL) met menselijke demonstraties (vaak via teleoperatie) zijn beperkt tot de vaardigheid van de menselijke operator. Menselijke demonstraties bevatten vaak inefficiënties, biases en fouten. Bovendien is het verzamelen van grote hoeveelheden hoogwaardige real-world data duur, tijdrovend en beperkt in variatie (state-action coverage).
2. De risico's van Reinforcement Learning (RL): Reinforcement Learning biedt de mogelijkheid om strategieën te ontdekken die beter zijn dan menselijke demonstraties, maar het direct trainen van RL op echte robots is riskant, inefficiënt qua samples en kan leiden tot instabiliteit of crashes, vooral bij complexe, contactrijke taken.

De kernvraag is: hoe kunnen we een systeem bouwen dat de sterke menselijke priors (voorafgaande kennis) benut, maar zichzelf autonoom kan verbeteren om menselijke prestaties te overtreffen in betrouwbaarheid, efficiëntie en robuustheid?

Methodologie: RL-100 Framework

RL-100 is een real-world RL-framework dat is gebouwd op diffusie visuo-motorische beleidsmodellen (diffusion visuomotor policies). Het combineert imitatielearning met reinforcement learning in een uniek, drie-staps proces dat unificatie en stabiliteit garandeert.

1. Drie-staps Trainingspijplijn:

• Stap 1: Imitatie Learning (IL) Pre-training: Het beleid wordt geïnitieerd met menselijke tele-operatie demonstraties. Dit creëert een competente, laag-variatie basisbeleid dat gedrag verankert in veilige, menselijke acties.
• Stap 2: Iteratief Offline RL: In plaats van direct online te trainen, wordt het beleid geoptimaliseerd op een groeiende buffer van rollouts (gesimuleerde of opgeslagen data). Dit levert het grootste deel van de verbeteringen op in succes en efficiëntie.
• Stap 3: Korte Online RL: Een beperkte hoeveelheid on-policy training op de echte hardware wordt gebruikt om zeldzame faalmodi te elimineren en de betrouwbaarheid naar bijna 100% te tillen ("last-mile reliability").

2. Kerninnovaties:

• Unificatie onder één Doelfunctie: RL-100 gebruikt een unified clipped PPO surrogate objective (gebaseerd op Proximal Policy Optimization) die consistent wordt toegepast tijdens zowel het offline als het online stadium. Dit voorkomt prestatie-dips bij de overgang tussen fases.
• Diffusie als Hiërarchische MDP: De multi-stap denoising-proces van het diffusiemodel wordt gemodelleerd als een hiërarchische Markov Decision Process (MDP). De beloning (reward) van de omgeving wordt gedeeld over alle denoising-stappen, wat zorgt voor een dicht leer-signaal (dense learning signal) en stabiele updates.
• Consistency Distillation voor Lage Latentie: Om de hoge frequentie van robotbesturing te halen, wordt het multi-stap diffusiebeleid gecomprimeerd tot een één-staps Consistency Model (CM). Dit reduceert de inferentie-latentie aanzienlijk (van 10 stappen naar 1 stap) zonder prestatieverlies, waardoor snelle, reactieve besturing mogelijk wordt.
• Representatie-agnostisch: Het framework werkt met zowel 2D RGB-beelden als 3D-puntenwolken (point clouds) door eenvoudig de encoder te wisselen. Het ondersteunt ook zowel single-step acties als action-chunking (reeksen acties) voor verschillende taken.

Kernbijdragen

1. Unificatie van IL en RL: Een framework dat menselijke priors behoudt en deze verbetert via RL, waardoor robots taken kunnen uitvoeren die menselijke demonstraties overtreffen.
2. Eén Doel, Snelle Implementatie: Het gebruik van één PPO-achtige doelstelling voor zowel offline als online training, gecombineerd met distillatie naar een één-staps beleid voor real-time gebruik.
3. Algemene Toepasbaarheid: Het systeem is onafhankelijk van de specifieke taak, het robotlichaam (embodiment) en de visuele representatie. Het is het eerste systeem dat vision-based RL post-training demonstreert op echte robots voor diverse taken.
4. Robuustheid en Schaalbaarheid: Het framework is getest op acht zeer diverse taken, variërend van dynamische duw-taken tot het vouwen van doeken en het persen van sinaasappels.

Resultaten

RL-100 werd geëvalueerd op acht real-world taken, waaronder:

• Dynamisch Push-T, Agile Bowling, Schenken (Pouring), Dynamisch Ontdraaien (Unscrewing), Zacht Handdoek Vouwen, Sinaasappelpersen (Plaatsen en Verwijderen), en Doos Vouwen (Box Folding).

Belangrijkste bevindingen:

• 100% Succes: Het systeem bereikte 100% succes in alle geëvalueerde trials (totaal 1000/1000 episodes). Dit omvatte tot wel 250 opeenvolgende succesvolle trials op de moeilijke "Soft-towel Folding" taak.
• Efficiëntie: RL-100 komt in de buurt van of overtreft menselijke tele-operatie in tijd tot voltooiing (time-to-completion). Op sommige taken is het robotbeleid sneller dan menselijke experts.
• Robuustheid:
  • Zero-shot: Zonder hertraining bereikte het systeem ongeveer 90% succes bij significante veranderingen in omgeving en dynamiek (bijv. andere oppervlakken, nieuwe objectvormen).
  • Few-shot: Met slechts 1-3 uur extra training adapteerde het systeem zich met 86.7% succes aan nieuwe taakvarianten.
  • Storingen: Het systeem bleef robuust onder agressieve menselijke verstoringen (bijv. duwen of trekken tijdens de uitvoering) met een succespercentage van ongeveer 96%.
• Real-world Deploy: Een sinaasappelpersende robot werd 7 uur lang zonder onderbreking of fouten ingezet in een winkelcentrum om willekeurige klanten van vers sap te voorzien (zero-shot deployment).

Betekenis en Impact

RL-100 markeert een doorbraak in de praktische toepasbaarheid van robotleren. Het bewijst dat het mogelijk is om te starten met menselijke kennis en via een gestructureerde RL-fase autonoom te groeien naar een niveau dat menselijke vaardigheden overtreft in betrouwbaarheid en efficiëntie.

De belangrijkste implicaties zijn:

• Van Laboratorium naar Wereld: Het biedt een haalbare route voor het deployen van robots in ongestructureerde omgevingen (thuis, fabriek, winkel) zonder de noodzaak van enorme hoeveelheden menselijke data of complexe simulatie-tot-real (sim-to-real) overdracht.
• Overcoming the Imitation Ceiling: Het toont aan dat robots niet hoeven te stoppen bij wat mensen kunnen, maar door zelf te leren en te experimenteren betere strategieën kunnen vinden.
• Efficiëntie: Door de combinatie van offline learning en korte online fine-tuning, wordt de kostbare tijd op de echte robot geminimaliseerd, wat de schaalbaarheid van robotleren aanzienlijk verbetert.

Kortom, RL-100 levert een bewezen, robuust en efficiënt raamwerk voor het creëren van autonome robots die klaar zijn voor de echte wereld.