Goal-oriented safe active learning for predictive control using Bayesian recurrent neural networks

Dit artikel presenteert een doelgerichte, veilige actieve leermethode voor voorspellende regeling met behulp van Bayesiaanse recurrente neurale netwerken, die online modelaanpassing combineert met veiligheidsgaranties en theoretisch onderbouwde prestaties.

De kern

Stel je voor dat je een automatische thermostaat hebt die een heel groot stadsverwarmingssysteem moet aansturen. Deze thermostaat moet twee dingen doen:

1. Warmte leveren aan de huizen (zodat het niet te koud wordt).
2. Geld besparen door de verwarming slim te regelen op momenten dat elektriciteit goedkoop is.

Het probleem? De thermostaat kent het systeem niet perfect. Het is als een nieuwe chauffeur die een auto rijdt, maar de wegenkaart nog niet helemaal uit zijn hoofd kent. Als hij te voorzichtig is, rijdt hij traag en kost het te veel geld. Als hij te snel gaat, kan hij een ongeluk veroorzaken (te koud worden of de ketel laten ontploffen).

Dit artikel beschrijft een slimme manier om deze "chauffeur" (de computer) te leren terwijl hij rijdt, zonder dat er ongelukken gebeuren.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Leerling" en de "Meester"

Stel je voor dat de computer een leerling is die een recept (een wiskundig model) probeert te onthouden om te weten hoe de verwarming reageert op temperatuurveranderingen.

• Het probleem: De leerling heeft het recept niet helemaal uit zijn hoofd. Hij maakt fouten.
• De oplossing: De computer gebruikt een trucje genaamd "Bayesian Last-Layer". In plaats van het hele recept opnieuw te leren (wat heel lang duurt), leert hij alleen het laatste stukje van het recept: hoe de input (brandstof) omgezet wordt in output (warmte). Dit is als een kok die alleen de exacte hoeveelheid zout moet leren, terwijl hij de rest van het recept al kent.

2. Twee Manieren van Rijden: Verkenning vs. Doel

De slimme thermostaat schakelt tussen twee manieren van rijden:

A. De Verkenning-fase (Het "Oefenen")

Soms weet de computer niet zeker hoe de verwarming reageert op extreme temperaturen. Om dit te leren, moet hij de verwarming even een beetje "uitdagen".

• De analogie: Stel je voor dat je in een donker bos loopt. Je weet niet precies waar de bomen staan. Je loopt daarom een beetje voorzichtig heen en weer om de bomen te voelen, zodat je de weg beter leert kennen.
• De veiligheidsnet: Maar je loopt niet zomaar. Je hebt een onzichtbaar touw (veiligheidsnet) om je heen. Je mag wel een beetje dwalen om te leren, maar je mag nooit het touw overstijgen (dat zou betekenen dat het huis te koud wordt of de ketel oververhit raakt).
• Het doel: Tijdens deze fase verzamelt de computer "informatieve data". Hij leert: "Ah, als ik de temperatuur met 5 graden verhoog, gebeurt er dit."

B. De Doel-fase (Het "Rijden")

Zodra de computer genoeg heeft geleerd en het "onzichtbare touw" (de onzekerheid) strakker wordt, stopt hij met dwalen.

• De analogie: Je kent de weg nu uit je hoofd. Je stopt met het voelen van de bomen en rijdt gewoon de snelste, goedkoopste route naar je bestemming.
• Het resultaat: De computer focust nu 100% op het besparen van geld en het warm houden van de huizen, zonder nog tijd te verspillen aan het leren van de weg.

3. Hoe weet hij wanneer te stoppen met oefenen?

Dit is het meest slimme deel. De computer houdt twee gedachten tegelijkertijd vast:

1. De Pessimist: "Wat als het ergens misgaat? Dan moet ik heel voorzichtig zijn." (Dit is de veilige kant).
2. De Optimist: "Wat als alles perfect gaat? Dan kan ik het beste plan maken." (Dit is de snelle kant).

Zolang de uitkomst van de Pessimist en de Optimist heel verschillend is, betekent dit: "Ik weet het nog niet genoeg, ik moet nog oefenen!"
Zodra de twee meningen bijna hetzelfde zijn, betekent dit: "Ik weet het nu genoeg! Ik kan nu gewoon gaan rijden." De computer stopt dan automatisch met het oefenen en gaat full-speed voor het doel.

4. Wat is het resultaat?

In de proefopstelling (een digitaal model van een stadsverwarmingssysteem) heeft deze methode het volgende bewezen:

• Veiligheid: Het systeem heeft nooit de veiligheidsgrenzen overschreden. Het "onzichtbare touw" heeft altijd gewerkt.
• Leren: De computer is steeds slimmer geworden. De fouten in zijn voorspellingen werden steeds kleiner.
• Geld: Uiteindelijk bespaarde deze slimme thermostaat bijna evenveel geld als een thermostaat die het systeem perfect kent (een "god-achtige" thermostaat). Dat is heel indrukwekkend, want hij heeft dat geleerd terwijl hij het systeem bediende!

Samenvattend

Dit artikel beschrijft een slimme chauffeur die:

1. Leert terwijl hij rijdt.
2. Altijd binnen de veilige grenzen blijft (geen ongelukken).
3. Stopt met oefenen zodra hij de weg genoeg kent, zodat hij de snelste route kan nemen.

Het is een manier om kunstmatige intelligentie veilig en efficiënt te laten werken in de echte wereld, zonder dat we eerst jarenlang hoeven te experimenteren voordat we het systeem durven aan te sturen.

Technische samenvatting

Probleemstelling

Model Predictive Control (MPC) is een krachtige regelingstrategie voor complexe systemen met beperkingen, maar de prestaties zijn sterk afhankelijk van de nauwkeurigheid van het onderliggende voorspellingsmodel. In de praktijk worden vaak datagedreven modellen (zoals Recurrent Neural Networks of RNN's) gebruikt, maar deze modellen vertonen vaak een prestatieverlies wanneer ze worden ingezet onder operationele omstandigheden die niet volledig werden gedekt door de offline trainingsdata.

De kernuitdaging ligt in het vinden van een balans tussen drie factoren:

1. Online aanpassing: Het continu leren van het model met nieuwe data om de voorspellingsnauwkeurigheid te verbeteren.
2. Veiligheid: Het garanderen dat het systeem binnen veilige operationele grenzen blijft, zelfs als het model onzeker is.
3. Prestaties: Het vermijden van een te lange exploratiefase die de hoofddoelstelling (bijv. kostenminimalisatie of referentietracking) in gevaar brengt.

Bestaande methoden voor actieve learning (het actief prikkelen van het systeem om informatieve data te verzamelen) bieden vaak geen theoretische garanties voor veiligheid, of ze garanderen niet dat de exploratie in eindige tijd stopt, wat kan leiden tot inefficiëntie.

Methodologie

Het paper stelt een raamwerk voor dat MPC combineert met Bayesian Last-Layer (BLL) learning op een RNN, ondersteund door een doelgerichte veilige actieve learning-strategie.

1. Bayesian Last-Layer (BLL) voor RNN's:
In plaats van het volledige RNN-model online te leren (wat rekenkundig zwaar is), worden alleen de parameters van de laatste (output) laag als onzeker beschouwd. De verborgen lagen worden als vast beschouwd (vooraf getraind).

• De parameters van de outputlaag worden bijgewerkt via Bayesiaanse lineaire regressie.
• Dit resulteert in een posterior-verdeling voor de output, waardoor een onzekerheidsband ($w_k$) kan worden berekend.
• De berekeningscomplexiteit schaalt met het aantal parameters in de outputlaag, niet met de hoeveelheid trainingsdata (zoals bij Gaussian Processes), wat het geschikt maakt voor online gebruik.

2. Veilige Actieve Learning (Objective-Aware Safe Active Learning):
De MPC-regelaar lost op elk tijdstip een optimalisatieprobleem op dat twee doelen combineert:

• Exploratie: Het verzamelen van data in gebieden met hoge onzekerheid (waar $w_k > \epsilon$). Dit wordt gestimuleerd door een "soft constraint" en een slack-variabele in de kostenfunctie.
• Veiligheid: Het toepassen van pessimistische constraints. De MPC gebruikt de onder- en bovengrenzen van de voorspelling (gebaseerd op de onzekerheidsband) om te garanderen dat de werkelijke output met een hoge waarschijnlijkheid ($1-\delta$) binnen de operationele limieten blijft.

3. Doelgerichte Schakeling (Goal-Oriented Switching):
Het algoritme wisselt tussen twee fasen:

• Exploratiefase: De regelaar prikkelt het systeem om onzekerheid te reduceren, zolang de kosten van een "pessimistische" regeling (veilig, maar mogelijk suboptimaal) significant hoger zijn dan die van een "optimistische" regeling (gebaseerd op de beste schatting).
• Doelbereikfase (Goal-Reaching): Zodra het verschil tussen de pessimistische en optimistische kosten onder een drempelwaarde ($\xi$) zakt, wordt aangenomen dat het model voldoende is geleerd. De regelaar schakelt over naar een fase die zich uitsluitend richt op het optimaliseren van de hoofddoelstelling (bijv. kostenminimalisatie), zonder verdere exploratie.

Belangrijkste Bijdragen

1. Recursieve Online Update met Veiligheidsgaranties: Het paper introduceert een methode om RNN-parameters online bij te werken met behulp van BLL, waarbij operationele veiligheidsbeperkingen met hoge waarschijnlijkheid worden gegarandeerd door conservatieve, op onzekerheid gebaseerde constraints.
2. Doelgerichte Veilige Actieve Learning met Eindige Exploratie: Er wordt een algoritme gepresenteerd dat wisselt tussen exploratie en doelbereiking. Het biedt theoretische bewijzen voor:
   • Recursieve haalbaarheid van de MPC-problemen.
   • Altijd geldende veiligheid voor het onbekende systeem.
   • Eindige tijd van exploratie: De exploratie stopt gegarandeerd in een eindig aantal stappen.
   • Bijna-optimale prestaties: Na de exploratie bereikt de regelaar prestaties die dicht bij die van een MPC met volledige systeemkennis liggen.
3. Rekenkundige Efficiëntie: Door onzekerheid te beperken tot de outputlaag, worden de zware berekeningen voor het schatten van bereikbare toestanden (zoals bij Gaussian Processes) vermeden.

Resultaten

Het algoritme is gevalideerd op een benchmark warmtenetwerk (District Heating System - DHS), specifiek het AROMA-systeem.

• Systeem: Een RNN (GRU-architectuur) werd gebruikt om de dynamiek van de aanvoertemperatuur en het vermogen te voorspellen.
• Vergelijking: De resultaten werden vergeleken met een "alwetende" MPC (met exacte modelkennis) en een regelgebaseerde strategie (constante temperatuur).
• Prestaties:
  • Het leer-algoritme slaagde erin om de modelparameters geleidelijk te verfijnen en de voorspellingsfout te verminderen.
  • Veiligheid: Alle operationele beperkingen werden tijdens de simulatie met hoge waarschijnlijkheid nageleefd; de werkelijke output bleef binnen de berekende onzekerheidsbanden.
  • Eindige Exploratie: De exploratiefase stopte na ongeveer 4 uur simulatie (toen de kostenverschillen klein genoeg waren).
  • Economisch Voordeel: De dagelijkse productiekosten van het leer-algoritme bedroegen €7207,62, wat een verbetering is van 3,3% ten opzichte van de regelgebaseerde strategie (€7458,89) en slechts marginaal hoger was dan de alwetende MPC (€7199,90).
  • Rekentijd: De gemiddelde oplostijd was 1,6s, wat acceptabel is voor online toepassing.

Significantie

Dit werk is significant omdat het een brug slaat tussen veiligheid, efficiëntie en leren in modelpredictieve regeling. Het lost het probleem op dat actieve learning vaak leidt tot onbeperkte exploratie die de regelprestaties ondermijnt. Door een theoretisch onderbouwde schakelmechanisme te introduceren, garandeert het dat het systeem stopt met leren zodra het doel bereikt kan worden. Dit maakt het toepasbaar voor kritieke, complexe systemen (zoals energienetwerken) waar veiligheid paramount is, maar waar modellen continu moeten worden aangepast aan veranderende omstandigheden zonder dat er een perfect model voorhanden is. Het biedt een praktische en rekenkundig haalbare oplossing voor veilige online adaptatie van neurale netwerken.