💻 computer science

Zero-shot Transfer of Reinforcement Learning Control Policies for the Swing-Up and Stabilization of a Cart-Pole System

Dit artikel demonstreert succesvolle zero-shot transfer van reinforcement learning-policies voor cart-pole swing-up en stabilisatie van simulatie naar hardware door het combineren van bandwidth-bewuste filtering, sensitiviteitsgestuurde domein-randomisatie en een lineair curriculum-leerprogramma om robuuste energie-injectie en verstoring-afwijzing te waarborgen.

Oorspronkelijke auteurs: Nikki Xu, Hien Tran

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikki Xu, Hien Tran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om een bezemsteel op zijn hand te balanceren. Dit is het "Cart-Pole"-probleem: een karretje beweegt heen en weer over een spoor, en aan het karretje zit een stok vast met een scharnier. De robot heeft twee taken:

Opzwaaien (Swing-Up): De stok van hangend recht naar beneden naar rechtop staand krijgen.
Stabiliseren (Stabilization): Hem rechtop houden zonder om te vallen.

De onderzoekers aan de NC State University wilden een robot dit leren met behulp van Reinforcement Learning (RL). Denk bij RL aan het trainen van een hond: je laat de hond dingen proberen, en als hij iets goeds doet, geef je hem een beloning (een traktatie). Als hij een fout maakt, krijgt hij geen traktatie. Uiteindelijk leert de hond de beste trucjes.

Echter, er is een groot probleem: De "Sim-to-Real" Kloof.
Je kunt een robot perfect trainen in een computersimulatie (een wereld in een videogame), maar wanneer je diezelfde "hersenen" in een echte robot plaatst, faalt het vaak. Waarom? Omdat de echte wereld wrijving heeft, wiebelende sensoren en imperfecte motoren waar de computersimulatie geen rekening mee heeft gehouden. Het is alsof je een zwemmer traint in een kalm, perfect zwembad en hem dan in een onstuimige oceaan dumpt; hij kan verdrinken omdat de omstandigheden anders zijn.

Het Probleem: De Robot Brak Zichzelf

In het begin probeerden de onderzoekers een robot te trainen om de stok op te zwaaien met behulp van een standaard computersimulatie.

Het Resultaat: De computer dacht dat de robot het geweldig deed. Maar toen ze het op de echte machine probeerden, ging de robot krankzinnig doen.
De Analogie: Stel je een bestuurder voor die heeft geleerd rijden in een videogame. In de game kan hij het gaspedaal direct van 0 naar 100 rammen. In het echte leven, als je dat doet, draaien je banden door, verlies je de controle en kun je misschien de auto beschadigen.
Wat er gebeurde: De "hersenen" die de computer leerde, vertelden de echte motor om in een fractie van een seconde van volle snelheid vooruit naar volle snelheid achteruit te schakelen. Deze gewelddadige schokken braken de plastic wieltjes van het karretje. De robot was te "jitterig" (schokkerig).

De Oplossing: Een Drie-Stappen Recept

Om dit op te lossen, ontwikkelden de onderzoekers een specifiek recept om de met de computer getrainde hersenen te laten werken op de echte machine zonder extra afstelling (dit wordt "Zero-Shot Transfer" genoemd, wat betekent dat het direct werkt, zoals een plug-and-play apparaat).

1. Het "Smoothie" Filter (Action Smoothing)

Het Probleem: De computerhersenen gaven bevelen die te schokkerig en snel waren, als een drumsolo gespeeld op 1.000 beats per minuut.
De Fix: Ze voegden een "low-pass filter" toe. Denk aan dit als een smoothie blender voor de commando's van de robot. Als de hersenen willen schreeuwen "GA LINKS!" en dan onmiddellijk "GA RECHTS!", dan maakt de blender dat vloeiend naar een zachte "Ga links, en draai dan langzaam naar rechts."
Waarom het belangrijk is: Dit beschermde de fysieke wieltjes tegen breuk en voorkom de robot zichzelf uit elkaar te schudden.

2. De "Steunwieltjes" (Curriculum Learning)

Het Probleem: Als je een student direct een moeilijk examen geeft, kan hij in paniek raken en falen.
De Fix: Ze gebruikten een "Curriculum". In plaats van de robot te trainen in een perfecte, gemakkelijke wereld, begonnen ze met een iets rommeliger wereld en maakten deze langzaam steeds rommeliger.
De Analogie: Het is als het leren fietsen. Je begint op vlak terrein met steunwieltjes. Zodra je goed wordt, haal je de wieltjes eraf. Daarna oefen je op een lichte helling. Ten slotte oefen je op een hobbelige weg. Tegen de tijd dat de robot is "geslaagd", heeft hij zoveel verschillende soorten "hobbelige wegen" gezien in de simulatie, dat de echte wereld aanvoelt als een eitje.

3. De "Gerichte" Randomisatie (Sensitivity-Guided Domain Randomization)

Het Probleem: Als je alles probeert te randomiseren (het gewicht van het karretje, de wind, de wrijving, de kleur van de lucht), raakt de robot in de war en leert hij niets.
De Fix: De onderzoekers deden een "gevoeligheidsanalyse". Dit is als een arts die controleert welke delen van het lichaam het meest gevoelig zijn voor een ziekte. Ze ontdekten dat slechts drie specifieke onderdelen van de motor van de robot (hoe zwaar het draaiende deel is, en twee elektrische constanten) echt belangrijk waren.
De Strategie: Ze randomiseerden alleen die drie specifieke onderdelen tijdens de training. Ze bemoeiden zich niet met de rest. Dit hield de training gefocust maar robuust genoeg om de echte wereld aan te kunnen.

De Laatste Akte: De Overdracht

De robot heeft twee verschillende "hersenen" (policies): één voor het opzwaaien van de stok, en één voor het in evenwicht houden.

De Uitdaging: Je kunt niet zomaar direct overschakelen van de "Opzwaai-hersenen" naar de "Balans-hersenen". Als je op het verkeerde moment overschakelt, valt de stok.
De Oplossing: Ze creëerden een "Schakel-logica" (Switching Logic). Stel je een verkeerslicht voor. De "Opzwaai-hersenen" besturen de auto totdat de stok bijna verticaal staat en het karretje op de juiste plek is. Dan springt het verkeerslicht op groen en neemt de "Balans-hersenen" het over. Ze zorgden ervoor dat deze overgang vloeiend was (geen "schokken"), zodat de robot niet geschrokken zou worden.

Het Resultaat

Wat werkte: De combinatie van het Smoothie Filter (om breuk te voorkomen), Gerichte Randomisatie (om de juiste dingen te leren) en Curriculum Learning (om stapsgewijs te leren) stelde de robot in staat om vanuit een hangende positie naar een staande positie te gaan en daar te blijven.
Wat niet werkte: Als ze te veel dingen randomiseerden, of het filter niet gebruikten, faalde de robot in het echte lab, zelfs als het er perfect uitzag in de computer.
Belangrijkste les: Je kunt een robot niet alleen in een perfecte videogame trainen en verwachten dat het werkt in de rommelige echte wereld. Je moet hem leren om te gaan met "ruis" en "schokkerigheid" terwijl hij leert, met behulp van een zachte, stapsgewijze aanpak.

Kortom, ze bouwden een robot die leerde een stok te balanceren door hem te trainen in een rommelige gesimuleerde klas, de commando's te verzachten zodat hij zijn eigen poten niet brak, en hem pas in de "balansmodus" te laten gaan wanneer hij er klaar voor was. En het werkte onmiddellijk toen ze hem in het lab aanzetten.

Technische Samenvatting: Zero-shot Transfer van Reinforcement Learning Control Policies voor het Swing-Up en Stabilisatie van een Cart-Pole Systeem

Probleemstelling
Het artikel behandelt de uitdaging van het implementeren van Reinforcement Learning (RL) control policies van simulatie naar fysieke hardware zonder fijnafstemming (zero-shot transfer). Het richt zich specifiek op het cart-pole systeem, een canonieke niet-lineaire controle benchmark die twee afzonderlijke fasen vereist: een "swing-up" fase om energie te injecteren en de pendel van een neerwaartse evenwichtstoestand naar een rechtopstaande regio te bewegen, en een "stabilisatie" fase om het evenwicht te behouden tegen verstoringen. Hoewel RL succesvol is gebleken in simulaties, faalt directe transfer naar hardware vaak door de "sim-to-real gap", veroorzaakt door modelmismatches, sensorruis en ongemodelleerde dynamica. Eerdere pogingen in dit werk met behulp van hoogwaardige modellen zonder specifieke transfertechnieken leidden tot schade aan de hardware door hoogfrequente, "bang-bang" controlesignalen.

Methodologie
De auteurs stellen een hybride controleframework voor bestaande uit twee onafhankelijk getrainde policies (swing-up en stabilisatie) die worden beheerd door een schakellogica in Simulink. De kernmethodologie richt zich op drie specifieke technieken om de sim-to-real gap te overbruggen zonder post-transfer fijnafstemming:

Actie-smoothing (Low-Pass Filtering): Om hardwarebeschadiging door hoogfrequente oscillerende actuatie te voorkomen—inherent aan discrete-time RL-optimalisatie—wordt een eerste-orde low-pass filter toegepast op het outputsignaal van het neurale netwerk. Dit fungeert als een bandbreedtebewust filter om de controle-inputs te verzachten.
Sensitivity-Guided Domain Randomization (DR): In plaats van alle modelparameters willekeurig te randomiseren, voeren de auteurs een sensitiviteitsanalyse uit met een complex-step methode om parameters te identificeren die de systeemdynamica significant beïnvloeden. Randomisatie wordt vervolgens alleen toegepast op een subset van parameters (specifiek de traagheidsmoment van de motor, de koppelconstante en de back-EMF constante) om overfitting op het nominale model te verminderen terwijl de systeemdynamica behouden blijft.
Curriculum Learning (CL): Een lineair curriculum-schema wordt geïmplementeerd waarbij de onzekerheidsmarges voor gerandomiseerde parameters geleidelijk toenemen van nul naar een maximale waarde over een vast aantal trainings-episodes. Dit heeft als doel de initiële training te stabiliseren en de uiteindelijke prestaties te verbeteren.
Policy Switching: Er is een schakellogica ontworpen om tussen de swing-up en de stabilisatie policies te schakelen. De auteurs implementeren hysteresis-achtig gedrag en versoepelde staat-grenzen om soepele overdrachten te garanderen en chattering te voorkomen, waardoor de swing-up policy opnieuw kan worden geactiveerd als de pendel valt.

Belangrijkste Resultaten
De studie vergelijkt verschillende trainingsconfiguraties via simulaties en fysieke hardware-experimenten:

Initiële Mislukking: Een controller getraind zonder transfertechnieken (geen DR, geen CL, geen filtering) slaagde in simulatie, maar faalde catastrofaal op hardware binnen enkele seconden, waarbij de plastic wielen van de kar braken door gewelddadige spanningsschakelingen.
Geval 0 (Indiscriminante Randomisatie): Het randomiseren van alle fysieke parameters met een marge van 10%, zelfs met curriculum learning, resulteerde in vervaagde prestatievoordelen en presteerde niet consistent beter dan de niet-gerandomiseerde baselines in simulatie.
Geval 1 (Doelgerichte Randomisatie): De meest succesvolle configuratie betrof het randomiseren van slechts drie laag- tot matig sensitieve parameters ( $J_m$ , $K_t$ , $K_m$ ) met een marge van 5% over 100 episodes, gecombineerd met curriculum learning en actie-filtering. Deze policy bereikte een succespercentage van 100% in simulaties onder zware verstoringen.
Hardware Implementatie: Alleen de policy uit Geval 1 werd succesvol getransfereerd naar het fysieke cart-pole systeem. Het injecteerde betrouwbaar voldoende energie om de overdracht naar de stabilizer te voltooien, behield het evenwicht tegen handmatige tikken en herstelde van grotere perturbaties.
Contraintuitieve Bevinding: Policies die hogere cumulatieve beloningen behaalden in simulatie (vaak die met bredere randomisatie of zonder curriculum) faalden regelmatig bij de transfer naar de hardware. Dit suggereert dat gesimuleerde beloningsmetrieken alleen onvoldoende indicatoren zijn voor hardware-levensvatbaarheid.

Betekenis en Claims
Het artikel beweert een praktisch pad te bieden voor het implementeren van RL-gebaseerde controllers op fysieke hardware zonder de noodzaak van fijnafstemming. De primaire bijdragen zijn:

Empirisch Bewijs voor Zero-Shot Transfer: Het aantonen dat een combinatie van actie-filtering, sensitiviteit-gestuurde domain randomization en curriculum learning een robuuste controller kan opleveren die direct op hardware werkt.
Veiligheidskritische Filtering: Het benadrukken dat actie-smoothing niet louter een prestatieverbeteraar is, maar een veiligheidskritisch onderdeel dat noodzakelijk is om fysieke schade te voorkomen door RL-geïnduceerde hoogfrequente inputs.
Parameter Selectiestrategie: Het aantonen dat doelgerichte randomisatie op basis van sensitiviteitsanalyse effectiever is dan brede, indiscriminante randomisatie voor dit specifieke systeem, dat in een relatief stabiele omgeving opereert.
Evaluatieprotocol: Het voorstellen van een uitgebreide evaluatiemetriek die swing-up tijd, succespercentages en de standaarddeviatie van beloningen omvat, waarbij wordt geargumenteerd dat de gemiddelde episodische beloning een slechte voorspeller is van real-world prestaties.

De auteurs hanteren een bescheiden toon en erkennen dat hun bevindingen grotendeels empirisch van aard zijn en dat de theoretische implicaties van deze technieken voor RL-controllers verdere rigoureuze investigatie vereisen. Zij concluderen dat hoewel hun specifieke combinatie van technieken werkte voor het cart-pole systeem, de resultaten moeten worden beschouwd als empirisch bewijs van een beperkte campagne en niet als een definitieve universele regel.