Data-Driven Prediction and Control of Hammerstein-Wiener Systems with Implicit Gaussian Processes

Dit artikel presenteert een data-gedreven voorspellings- en regelingsmethode voor Hammerstein-Wiener-systemen die gebruikmaakt van fysisch geïnformeerde, impliciete Gaussian Process-modellen met gestructureerde kernels en virtuele afgeleide punten om de bekende modelstructuur te benutten, wat resulteert in superieure prestaties ten opzichte van zwarte-doosbenaderingen.

De kern

Stel je voor dat je een heel lastig, onbekend apparaat hebt. Het is geen simpele machine die je gewoon kunt uitlezen; het is een creatief monster dat input (zoals stroom of water) op een rare manier verandert, er een lineair proces doorheen laat gaan, en de output weer op een andere rare manier verandert voordat het uitkomt. In de techniek noemen we dit een Hammerstein-Wiener-systeem.

De uitdaging? Je wilt weten wat er gaat gebeuren als je een knop omdraait, zodat je het apparaat kunt besturen. Maar je hebt geen blauwdrukken. Je hebt alleen een hoop data van wat er in het verleden is gebeurd.

Dit paper beschrijft een slimme manier om dit apparaat te "leren kennen" en te besturen, zonder dat je de interne blauwdrukken nodig hebt. Hier is hoe ze dat doen, vertaald naar alledaags taal:

1. Het Probleem: De "Black Box" vs. De "Structuur"

Stel je voor dat je probeert te raden hoe een bakker een cake maakt.

• De oude manier (Black Box): Je kijkt alleen naar de ingrediënten die erin gaan en de cake die eruit komt. Je probeert een wiskundig model te maken dat alles "zomaar" voorspelt. Dit werkt vaak slecht als de cake heel complex is, omdat je te veel moet raden.
• De nieuwe manier (Deze paper): Je weet dat een bakker eerst de ingrediënten mengt (niet-lineair), dan deeg kneedt (lineair proces), en dan deeg in de oven doet (weer niet-lineair). Je gebruikt deze kennis over de structuur van het proces om je voorspelling te verbeteren.

De auteurs gebruiken Gaussian Processes (GP). Klinkt ingewikkeld, maar denk hieraan als een "slimme, flexibele lijn" die door je data-punten trekt. Normaal gesproken laten ze deze lijn vrij rondzwerven (zwart doosje). Maar hier zeggen ze: "Nee, deze lijn moet zich gedragen alsof hij door die specifieke bakkerij-stappen gaat."

2. De Oplossing: Een "Verborgen" Voorspeller

In plaats van te proberen direct te zeggen: "Als ik X doe, krijg ik Y", bouwen ze een impliciete voorspeller.

• De Analogie: Stel je voor dat je een raadsel oplost. In plaats van direct het antwoord te schrijven, schrijf je een vergelijking op: "Het antwoord + een beetje ruis + een geheim getal = 0".
• In hun model weten ze dat het lineaire deel (het deegkneedgedeelte) makkelijk te begrijpen is. Maar de niet-lineaire delen (het mengen en de oven) zijn onbekende "geesten". Ze gebruiken de GP om die geesten te leren kennen, maar ze koppelen ze vast aan de bekende lineaire structuur.
• Het resultaat: Ze hoeven niet te raden hoe de hele machine werkt. Ze raden alleen de "geheime" delen, en laten de rest van de wiskunde (die ze wel kennen) het zware werk doen.

3. Het "Monotonie"-Trucje: De Strakke Lijn

Een belangrijk detail: de output van hun machine moet logisch zijn. Als je meer input geeft, moet de output ook stijgen (of dalen), maar niet ineens wild omhoog en omlaag springen.

• Het probleem: Computers zijn soms te creatief en tekenen een lijn die gekke bochten maakt.
• De oplossing: Ze voegen "virtuele meetpunten" toe. Stel je voor dat je niet alleen kijkt naar de punten die je gemeten hebt, maar ook naar de helling van de lijn op plekken waar je niets hebt gemeten. Ze zeggen tegen het computermodel: "Zorg dat de lijn op deze virtuele plekken altijd omhoog gaat."
• Dit zorgt ervoor dat het model realistisch blijft en niet gekke dingen gaat voorspellen.

4. Besturen zonder Blauwdrukken (MPC)

Nu ze een goed model hebben, willen ze het apparaat besturen (bijvoorbeeld een chemische reactor of een robotarm).

• Ze gebruiken een strategie genaamd Model Predictive Control (MPC). Dit is als een GPS die niet alleen kijkt naar waar je nu bent, maar 10 seconden vooruitkijkt om de beste route te kiezen.
• Omdat hun model slim is, kunnen ze de "onzekerheid" meenemen. Ze zeggen: "We zijn 90% zeker dat deze route werkt, maar we houden een veiligheidsmarge aan voor de 10% kans dat het misgaat."
• Dit werkt veel beter dan de oude methoden, omdat die vaak te conservatief zijn (te bang voor fouten) of juist te optimistisch.

5. Wat zeggen de resultaten?

Ze hebben dit getest op computersimulaties.

• Vergelijking: Hun methode (met de structuur en de "virtuele punten") deed het veel beter dan een standaard "zwart doosje" model dat niets over de structuur wist.
• De prijs: Het is wel rekenkundig zwaar. Het duurt langer om het model te trainen en te gebruiken dan de simpele methoden. Maar voor complexe, kritieke systemen (zoals in de chemie of energie) is die nauwkeurigheid het waard.

Samenvattend

De auteurs hebben een manier bedacht om een onbekend, complex systeem te leren kennen door niet alles opnieuw te verzinnen, maar door slim gebruik te maken van wat je al weet over de structuur van het systeem. Ze gebruiken een slim wiskundig hulpmiddel (Gaussian Process) dat zich aanpast aan de regels van de machine, en ze voegen een "controle" toe (virtuele punten) om te voorkomen dat het model gekke gedragingen vertoont.

Het is alsof je een onbekende stad probeert te navigeren: in plaats van blindelings rond te rijden (zwart doosje), gebruik je de kennis dat er een rivier doorheen loopt en dat bruggen er zijn (de structuur), zodat je veel sneller en veiliger je bestemming bereikt.

Technische samenvatting

Probleemstelling

Het artikel richt zich op het probleem van data-gedreven voorspelling en regeling van Hammerstein-Wiener (H-W) systemen. Dit zijn niet-lineaire blokken-georiënteerde modellen die bestaan uit een lineaire dynamische kern, omgeven door statische niet-lineariteiten aan de ingang (Hammerstein-deel) en de uitgang (Wiener-deel).

Bestaande methoden voor data-gedreven regeling, zoals die gebaseerd zijn op het Fundamentele Lemma van Willems (WFL) of zwarte-doos Gaussian Process (GP) modellen, hebben beperkingen bij dit type systemen:

1. WFL-benaderingen: Deze werken goed voor lineaire systemen of systemen met alleen ingangs-niet-lineariteiten (Hammerstein), maar zijn moeilijk toe te passen op systemen met uitgangs-niet-lineariteiten (Wiener) omdat de lift naar een verhoogde signaalruimte de persistentie van excitatie-voorwaarden onpraktisch maakt.
2. Zwarte-doos GP-modellen: Deze modelleren het systeem als een geheel zonder gebruik te maken van de bekende structuur (H-W). Dit leidt tot een grotere functieruimte die moet worden geleerd, wat resulteert in minder nauwkeurige voorspellingen en een gebrek aan fysische interpretatie.
3. Uncertainty Propagation: Traditionele GP-Model Predictive Control (GP-MPC) gebruikt vaak één-stap-vooruit voorspellingen die recursief worden toegepast. Dit vereist een complexe en vaak onnauwkeurige propagatie van onzekerheid over de voorspellingshorizon.

Het doel van dit werk is een data-gedreven voorspeller en regelaar te ontwikkelen die specifiek de H-W-structuur encodeert, zonder dat de exacte parameters van de niet-lineariteiten of de lineaire dynamiek bekend hoeven te zijn.

Methodologie

De auteurs stellen een impliciete Gaussian Process (GP) regressie methode voor die de structuur van het H-W-systeem integreert in het leerproces.

1. Impliciete Voorspellerstructuur:
In plaats van een expliciete niet-lineaire ARX-modellering ($y_f = f(u, y_p)$) te leren, wordt het probleem geformuleerd als het leren van een impliciete functie gebaseerd op de lineaire dynamiek. Uit het Fundamentele Lemma van Willems wordt afgeleid dat er een lineaire relatie bestaat tussen de geliftte ingangs- en uitgangstrajectories. De auteurs modelleren deze relatie als:
$$0 = [\Gamma_1 \quad \bar{\Gamma}_2] \text{col}(\Psi(u), \Phi(y_p), \Phi(y_f)) - \bar{\Gamma}_2 e$$
Hierbij zijn $\Psi(\cdot)$ en $\Phi(\cdot)$ de onbekende niet-lineariteiten, en $\Gamma_1, \Gamma_2$ de lineaire modelparameters.

2. Gestructureerde Kernel Design:
De niet-lineariteiten $\Psi$ en $\Phi$ worden gemodelleerd als GPs met a priori verdelingen. De lineaire parameters $\Gamma_1$ en $\Gamma_2$ worden behandeld als hyperparameters. Door de lineaire structuur te combineren met de GP-priors voor de niet-lineariteiten, wordt een gestructureerde kernel afgeleid. Deze kernel encodeert de H-W-structuur direct in het covariance-matrix, wat resulteert in een "physics-informed" model dat een kleinere en meer relevante functieruimte verkent dan een zwarte-doos model.

3. Monotoniteit en Expectation Propagation (EP):
Een cruciale aanname is dat de uitgangsniet-lineariteit monotoon stijgend is (bijv. sensoren). Omdat GPs van nature niet-monotoon zijn, introduceren de auteurs virtuele afgeleide punten. Deze punten worden toegevoegd aan de trainingsdata om monotoniteit te bevorderen. Omdat de posterior-verdeling door deze constraints niet langer Gaussiaans is, wordt het Expectation Propagation (EP) algoritme gebruikt om de posterior te benaderen.

4. Hyperparameter Tuning (JMAP-ML):
De lineaire parameters ($\Gamma_1, \Gamma_2$) worden geschat als hyperparameters. Om overfitting te voorkomen, wordt een stabiele spline hyperprior (Stable Spline Kernel) toegepast op deze parameters. Dit leidt tot een gezamenlijk Maximum-A-Posteriori/Maximum-Likelihood (JMAP-ML) probleem dat wordt opgelost om de hyperparameters te optimaliseren.

5. Data-Gedreven Predictive Control (DDPC):
De impliciete GP-voorspeller wordt toegepast in een terugkoppelende regeling (Receding Horizon Control).

• De regelaar minimaliseert een verwachte kostenfunctie (input en uitgangsfout).
• Chance Constraints: Uitgangsbeperkingen worden gehandhaafd als kansbeperkingen (chance constraints). Door de onzekerheid van de GP te kwantificeren, wordt de constraint "aangescherpt" (constraint tightening) om een bepaalde waarschijnlijkheid van naleving te garanderen.
• Multi-stap Voorspelling: In tegenstelling tot standaard GP-MPC, levert dit model direct multi-stap-vooruit voorspellingen op, waardoor het probleem van onzekerheidspropagatie wordt omzeild.

Belangrijkste Bijdragen

1. Impliciete GP voor H-W Systemen: De eerste toepassing van een impliciete GP-structuur die specifiek is ontworpen voor Hammerstein-Wiener systemen, waarbij zowel de ingangs- als uitgangsniet-lineariteiten worden meegenomen.
2. Physics-Informed Kernel: Een nieuwe kernel-ontwerp dat de lineaire dynamiek en de niet-lineariteiten combineert, wat leidt tot een efficiënter leren dan zwarte-doos modellen.
3. Integratie van Monotoniteit: Een methode om monotoniteit van uitgangsniet-lineariteiten te garanderen via virtuele afgeleide punten en Expectation Propagation.
4. Hyperprior voor Lineaire Parameters: Het gebruik van stabiele spline hyperpriors om de lineaire modelparameters te schatten, wat overfitting voorkomt in een hoge-dimensionale parameter ruimte.
5. DDPC met Chance Constraints: Een regelingsschema dat gebruikmaakt van de impliciete multi-stap voorspeller om kosten te minimaliseren en probabilistische veiligheidsbeperkingen te waarborgen zonder recursieve onzekerheidspropagatie.

Resultaten

De methode is getest op numerieke voorbeelden en vergeleken met zwarte-doos GP-modellen en lineaire voorspellers.

• Voorspelling: De voorgestelde algoritme (Algorithm 2) toonde aanzienlijk betere voorspellingnauwkeurigheid dan zwarte-doos GP-modellen en lineaire methoden.
  • Bij multi-stap voorspelling ($L'=4$) werd een reductie in de mediane voorspellingfout van ongeveer 59-70% bereikt ten opzichte van de concurrenten.
  • De methode slaagde erin de vorm van de niet-lineariteiten nauwkeurig te reconstrueren, terwijl zwarte-doos modellen faalden om de niet-lineariteiten goed te vangen.
  • Het gebruik van virtuele afgeleide punten was essentieel om de monotoniteit van de geschatte uitgangsniet-lineariteit te garanderen.
• Regeling: In een simulatie van een pH-proces (een klassiek H-W voorbeeld) presteerde de DDPC-regelaar bijna even goed als een ideale MPC met het ware model.
  • Zowel zwarte-doos GP als lineaire voorspellers faalden bij het volgen van de referentie bij pieken, wat wijst op een onvoldoende modellering van de uitgangsniet-lineariteit.
  • De voorgestelde methode hield de uitgang binnen de gestelde kansbeperkingen.
• Computatiekosten: De methode is computatie-intensief (trainings- en voorspellingstijden zijn aanzienlijk hoger dan bij zwarte-doos modellen) vanwege de complexe hyperparameterschattingsproblematiek en het EP-algoritme.

Betekenis en Conclusie

Dit werk biedt een belangrijke stap voorwaarts in data-gedreven regeling voor complexe niet-lineaire systemen. Het demonstreert dat het integreren van a-priori kennis over de systeemstructuur (in dit geval de H-W-blokstructuur) in een machine learning framework (GP) superieure prestaties oplevert ten opzichte van puur datagedreven zwarte-doos benaderingen.

Hoewel de rekenkracht een uitdaging blijft, biedt de methode een robuust kader voor het regelen van systemen met sensor- en actuator-niet-lineariteiten, met garanties voor veiligheid (via chance constraints) en nauwkeurigheid. Het opent de deur voor verdere onderzoek naar het oplossen van de optimalisatieproblemen en het garanderen van gesloten-lus stabiliteit.