Improved Robustness of Deep Reinforcement Learning for Control of Time-Varying Systems by Bounded Extremum Seeking

Dit artikel presenteert een hybride besturingsmethode die Deep Reinforcement Learning combineert met bounded extremum seeking om de robuustheid en prestaties van controllers voor niet-lineaire, tijdvariërende systemen te verbeteren, zoals gedemonstreerd bij de automatische afstelling van een deeltjesversneller.

De kern

Stel je voor dat je een zeer complexe auto bestuurt, maar de weg waar je op rijdt verandert voortdurend. Soms wordt het glad, soms stijgt de helling plotseling, en soms verandert zelfs de richting van de wind.

Dit is precies het probleem waar wetenschappers mee worstelen bij het besturen van complexe systemen, zoals deeltjesversnellers of robotarmen. In dit artikel presenteren ze een slimme oplossing: een hybride bestuurder die de beste eigenschappen van twee verschillende soorten "bestuurders" combineert.

Hier is de uitleg in simpele taal:

1. De twee bestuurders

Om het probleem op te lossen, kijken ze naar twee verschillende manieren om een systeem te sturen:

• De "Snelle Leerling" (Deep Reinforcement Learning - DRL):
  Stel je voor dat je een auto bestuurt die miljoenen kilometers heeft gereden op een specifieke weg. Hij kent elke bocht en elke helling uit zijn hoofd. Hij kan razendsnel reageren en de auto perfect sturen, zolang de weg eruit blijft zien als de weg waar hij voor heeft geoefend.

  • Het probleem: Zodra de weg plotseling verandert (bijvoorbeeld door een nieuwe storm of een onverwachte helling), raakt deze leerling in paniek. Hij probeert zijn oude kennis toe te passen, maar dat werkt niet meer. Hij kan zelfs de auto in de gracht rijden.

• De "Voorzichtige Oude Meester" (Bounded Extremum Seeking - ES):
  Dit is een bestuurder die niet veel weet van de weg, maar wel heel slim is in het voelen van de weg. Hij rijdt langzaam, probeert een beetje naar links, voelt of het beter gaat, probeert dan een beetje naar rechts, en zoekt zo stap voor stap de beste route. Hij is extreem robuust: als de weg verandert, past hij zich direct aan. Hij raakt nooit in paniek.

  • Het probleem: Hij is traag. Het duurt lang voordat hij de perfecte route heeft gevonden, en als er veel parameters zijn (veel knoppen om aan te draaien), kan hij vastlopen in een lokale valkuil (een kleine heuvel waar hij denkt dat de top is, terwijl er ergens anders een hogere berg is).

2. De oplossing: Een team van twee

De auteurs van dit paper hebben een manier bedacht om deze twee bestuurders samen te laten werken in één auto. Ze noemen dit een hybride controller.

Hoe werkt dit in de praktijk?

1. De Start: De "Snelle Leerling" (DRL) neemt het stuur over. Omdat hij de weg kent, rijdt hij razendsnel en soepel naar de bestemming.
2. De Veiligheidswacht: Er zit een slimme supervisor in de auto. Deze kijkt continu of de weg nog veilig is.
3. De Overname: Zodra de weg plotseling verandert (bijvoorbeeld door een storm of een defect) en de "Snelle Leerling" begint te aarzelen of de auto uit de weg te raken, grijpt de supervisor in.
4. De Reddingsactie: De "Voorzichtige Oude Meester" (ES) neemt het stuur over. Omdat hij gewend is aan veranderingen, stabiliseert hij de auto direct en voorkomt hij dat er iets kapot gaat.
5. De Warm Start: Dit is het slimme trucje: De "Oude Meester" begint niet bij nul. Hij start precies daar waar de "Snelle Leerling" stopte. Hierdoor hoeft hij niet van voren af aan te zoeken; hij kan direct verder met de aanpassing.

3. Waarvoor hebben ze dit getest?

Ze hebben hun nieuwe systeem getest op drie heel verschillende "voertuigen":

• Een deeltjesversneller (LANSCE): Dit is een gigantische machine die atomen versnelt. De magneten in zo'n machine veranderen van kracht door temperatuur en gebruik.
  • Het resultaat: De "Snelle Leerling" kon de straal van de deeltjes perfect houden zolang de machine stabiel was. Maar toen de magneten begonnen te "drijven" (veranderen), nam de "Oude Meester" het over en hield de straal veilig, zonder dat de machine beschadigde.
• Een robot die een blok duwt: Een robotarm moet een blokje duwen naar een doel dat voortdurend beweegt (zoals een dansende doelwit).
  • Het resultaat: De robot leerde snel hoe hij het blok moest aanpakken. Maar toen het doel begon te dansen, raakte de robot in de war. De hybride controller gebruikte de snelle aanpak van de leerling om contact te maken, en schakelde dan over op de "Oude Meester" om het blokje precies te blijven duwen terwijl het doel bewoog.
• Een wiskundig model: Ze testten het ook op een simpele, abstracte vergelijking om te bewijzen dat het werkt in theorie.

Samenvatting

Kortom: Dit artikel laat zien dat je snelheid (van AI/Deep Learning) en veiligheid/robustheid (van klassieke controletheorie) kunt combineren.

In plaats van te kiezen tussen een snelle maar kwetsbare AI of een veilige maar trage klassieke controller, maken ze een team. De AI doet het zware werk en rijdt snel, maar zodra het onveilig wordt, springt de veilige, aanpasbare controller in en redt de situatie. Het is alsof je een Formule 1-coureur een auto laat rijden, maar met een ervaren rallyrijder als passagier die direct het stuur overneemt zodra het ijs op de weg verschijnt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Improved Robustness of Deep Reinforcement Learning for Control of Time-Varying Systems by Bounded Extremum Seeking", geschreven in het Nederlands.

Probleemstelling

Deep Reinforcement Learning (DRL) heeft grote potentie voor het leren van controllers voor complexe systemen met veel parameters, maar lijdt aan een fundamenteel tekort: gebrek aan robuustheid bij tijdvariërende systemen. Wanneer de dynamiek van het systeem of de beloningsfunctie snel verandert (bijvoorbeeld door temperatuurschommelingen, slijtage of onvoorspelbare omgevingsfactoren), degradeert de prestatie van een DRL-controller catastrofisch omdat deze is getraind op een specifieke verdeling van data.

Aan de andere kant zijn klassieke, modelonafhankelijke adaptieve methoden, zoals Extremum Seeking (ES), zeer robuust tegen tijdvariërende systemen en zelfs onbekende besturingsrichtingen. Echter, ES heeft twee grote nadelen:

1. Het convergeert traag, vooral in hoogdimensionale parameter ruimtes.
2. Het is een lokaal zoekalgoritme dat vast kan lopen in lokale minima en geen gebruik maakt van historische trajectdata.

Het paper adresseert de uitdaging om de snelheid en het vermogen tot generalisatie van DRL te combineren met de robuustheid en stabiliteit van ES voor systemen met onbekende en snel veranderende dynamiek.

Methodologie: Hybride ES-DRL Framework

De auteurs stellen een hybride controleframework voor dat DRL en Bounded Extremum Seeking (ES) integreert via een supervisory laag.

1. DRL Component (Snelheid & Leren):

   • Er wordt gebruik gemaakt van een Deep Deterministic Policy Gradient (DDPG) agent.
   • De DRL-controller wordt getraind op grote datasets om snel een oplossing te vinden wanneer de systeemdynamiek dicht bij de trainingsverdeling ligt.
   • De DRL-policy leert hoe het systeem snel naar een gewenste setpoint gestuurd kan worden.

2. Bounded ES Component (Robuustheid):

   • Bounded ES is een modelvrije methode die de besturingsinspanning en parameter-update-snelheid garandeert binnen bepaalde grenzen, zelfs bij ruis en onbekende dynamiek.
   • Het kan systemen stabiliseren waarbij de besturingsrichting (teken van de versterking) onbekend is en zelfs van teken wisselt.
   • Het werkt als een lokale gradiëntascentie op de kostenfunctie.

3. Hybride Architectuur & Supervisor:

   • De uiteindelijke besturing $u$ is een combinatie van de DRL-actie ($u_{RL}$) en de ES-actie ($u_{ES}$), geregeld door een binaire schakelaar $\beta$:
     $$u = \beta(o(t)) \cdot u_{RL} + (1 - \beta(o(t))) \cdot u_{ES}$$
   • Supervisor: Een veiligheidsmodule monitort de systeemtoestand (bijv. enveloppen van de deeltjesbundel of contactstatus bij robots).
     • Als het systeem veilig is en binnen de trainingsverdeling valt, schakelt het naar RL-modus ($\beta=1$) voor snelle, gecoördineerde actie.
     • Als het systeem dreigt te falen (bijv. straalverlies bij versnellers of verlies van contact bij robots) of als de dynamiek te snel verandert, schakelt het over naar ES-modus ($\beta=0$) om robuustheid te garanderen.
   • Warm-starting: De ES-controller wordt "warm-started" met de aanbevelingen van de DRL-policy. Dit reduceert de transiënten en versnelt de adaptatie wanneer de ES-modus wordt ingeschakeld, in plaats van dat ES vanaf nul moet beginnen.

Belangrijkste Bijdragen

• Hybride Controlestrategie: Een nieuw framework dat de sterke punten van DRL (snelle convergentie, gebruik van historische data) combineert met die van Bounded ES (garantie van stabiliteit bij onbekende tijdvariërende dynamiek).
• Veiligheidswaakzaamheid: Implementatie van een supervisor die dynamisch schakelt tussen leren en robuuste adaptatie op basis van fysieke veiligheidsbeperkingen.
• Warm-start Mechanisme: Een techniek om de ES-controller te initialiseren met DRL-uitvoer, waardoor de overgang naar adaptieve modus soepeler verloopt.
• Validatie op Diverse Systemen: Toepassing en validatie op drie zeer verschillende dynamische systemen, wat de generaliteit van de aanpak bewijst.

Resultaten

De methode werd getest op drie scenario's:

1. Algemeen Tijdvariërend Systeem:

   • In een 1D-test met een onbekende, oscillerende besturingsrichting faalde de DRL-controller zodra de frequentie van de variatie toenam (out-of-distribution).
   • De hybride controller hield de prestaties stabiel door over te schakelen naar ES wanneer de DRL-policy niet meer kon volgen.

2. Deeltjesversneller (LANSCE Linear Accelerator):

   • Context: Het afstemmen van de Low Energy Beam Transport (LEBT) sectie met 22 quadrupoolmagneten. De magneten ondergaan drift door temperatuur en stroomvoorziening.
   • Test: Er werden sinusvormige verstoringen en geometrische drifts (verandering in afstand tussen magneten) geïntroduceerd.
   • Resultaat: De standalone DRL-policy faalde bij grote verstoringen (beloning daalde). De standalone ES was robuust maar traag. De hybride ES-DRL controller behaalde de hoogste en meest stabiele beloning, waarbij het snel reageerde via DRL en veilig bleef via ES tijdens extreme drifts.

3. Robotica (Intermittent Contact Block Pushing):

   • Context: Een 7-DoF Fetch-robotarm duwt een blok naar een doel dat zich in een cirkelvormige baan verplaatst (tijdvariërend doel).
   • Resultaat: De DRL-policy kon het doel aanvankelijk benaderen, maar verloor contact met het blok toen het doel te snel bewoog. De ES-modus kon contact herstellen en de duwrichting aanpassen, maar was traag in de aanpak. De hybride controller gebruikte DRL voor de snelle aanpak en schakelde na contactoverdracht over naar ES om de duw aan te passen aan de bewegende doellocatie, wat resulteerde in een korter traject en snellere succesvolle uitvoering.

Betekenis en Conclusie

Dit paper biedt een principieel pad naar het inzetten van leer-gebaseerde controllers in veiligheidskritische, hoogdimensionale toepassingen (zoals deeltjesversnellers en geavanceerde robotica).

De kernwaarde ligt in het oplossen van het compromis tussen snelheid (DRL) en veiligheid/robuustheid (ES). Door ES te gebruiken als een "veiligheidsnet" dat inspringt wanneer DRL faalt door onvoorspelbare veranderingen, en door ES te initialiseren met DRL-kennis, creëren de auteurs een controller die zowel adaptief als betrouwbaar is. Dit maakt het mogelijk om machine learning toe te passen in omgevingen waar de dynamiek nooit volledig statisch is en waar fouten tot schade of gevaar kunnen leiden.