Learning interpretable and stable dynamical models via mixed-integer Lyapunov-constrained optimization

Dit artikel introduceert een interpretabel en stabiel data-gedreven modelleerproces voor dynamische systemen met één evenwichtspunt, waarbij Lyapunov-voorwaarden als constraints worden opgelegd in een gemengd-geheel kwadratisch geconstrueerd optimalisatieprobleem dat leidt tot nauwkeurigere voorspellingen, zelfs bij ruis.

De kern

Stel je voor dat je probeert het gedrag van een complex systeem te begrijpen, zoals een schommelende slinger of twee gekoppelde veermechanismen die op en neer bewegen. In de wetenschap noemen we dit een "dynamisch systeem". Vaak hebben we data (meetpunten) van hoe deze systemen zich gedragen, maar we weten niet precies welke wiskundige regels ze volgen.

Het doel van dit onderzoek is om die onbekende regels (de wiskundige formules) te ontdekken uit de data, maar met een heel belangrijk extra eisen: het systeem moet stabiel blijven. Dat betekent dat als je het een duwtje geeft, het uiteindelijk weer tot rust komt en niet uit elkaar valt of onbeheersbaar gaat oscilleren.

Hier is hoe de auteurs dit aanpakken, vertaald naar alledaagse taal:

1. De "Bouwpakket"-aanpak (In plaats van een Black Box)

Normaal gesproken gebruiken moderne AI-systemen (zoals neurale netwerken) om dit soort patronen te leren. Die zijn als een zwarte doos: je stopt data erin en krijgt een voorspelling, maar je weet niet hoe het binnenin werkt. Het is ondoorzichtig.

De auteurs kiezen voor een andere route. Ze zeggen: "Laten we het systeem niet zien als een mysterie, maar als een Lego-bouwpakket."

• Ze hebben een grote doos met standaard bouwstenen (wiskundige basisfuncties zoals $x$, $x^2$, $\sin(x)$, enz.).
• Hun algoritme probeert te ontdekken welke van deze bouwstenen nodig zijn om het systeem te beschrijven.
• Het resultaat is geen ondoorzichtige zwarte doos, maar een duidelijk, leesbaar recept (een formule) dat je kunt begrijpen.

2. De "Veiligheidscontrole" (De Lyapunov-voorwaarde)

Dit is het meest creatieve deel van het papier. Stel je voor dat je een auto bouwt op basis van foto's van andere auto's. Je kunt een auto bouwen die er precies zo uitziet en snel rijdt, maar die misschien geen remmen heeft. Als je hem op een helling zet, rolt hij onbeheersbaar naar beneden.

In de natuurkunde hebben we een concept genaamd een Lyapunov-functie. Je kunt dit zien als een energie-batterij of een veiligheidscontrole.

• Voor een stabiel systeem moet deze "batterij" altijd leeglopen (of gelijk blijven) naarmate het systeem beweegt. Als de batterij leeg is, is het systeem tot rust gekomen.
• De meeste AI-modellen kijken alleen of de auto er goed uitziet (voorspelling). Deze auteurs zeggen: "Nee, we bouwen de auto met de remmen er direct in."

Ze dwingen het algoritme om tijdens het leren te bewijzen: "Elke formule die we bedenken, moet garanderen dat de energie-batterij nooit oploopt." Als een formule dit niet doet, wordt hij direct afgekeurd, zelfs als hij de data perfect voorspelt.

3. De "Puzzel" (Wiskundige Optimalisatie)

Het vinden van het juiste recept én het bewijzen dat het veilig is, is een enorme puzzel.

• Het algoritme moet beslissen: "Gebruik ik de bouwsteen $x^2$ of niet?" (Ja/Nee).
• Het moet ook beslissen: "Wat is de juiste coëfficiënt (hoe groot is de steen)?"
• En tegelijkertijd moet het controleren of de veiligheidsregels (de batterij loopt leeg) kloppen.

Dit is een mix van een logische puzzel en een wiskundige optimisatie. Het is moeilijk, maar de auteurs gebruiken geavanceerde software (zoals een super-rekenmachine) die deze puzzel tot op de kleinste detail kan oplossen. Ze noemen dit een "mixed-integer" probleem, wat in het Nederlands simpelweg betekent: "een probleem waarbij we zowel ja/nee-keuzes maken als getallen optimaliseren."

4. Wat gebeurt er als het vuil is? (Ruis)

In de echte wereld is data nooit perfect; er zit altijd "ruis" (fouten) in, alsof je door een wazige bril kijkt.

• Andere methoden: Als je alleen kijkt naar de data zonder de veiligheidsregels, kan het model door de ruis een verkeerde conclusie trekken. Het bouwt een auto die er goed uitziet, maar die op de helling uit elkaar valt.
• Deze methode: Omdat ze de "veiligheidsregels" (Lyapunov) hard hebben ingebouwd, is het model robuust. Zelfs als de data wat wazig is, blijft het model stabiel en voorspelt het beter hoe het systeem zich echt gedraagt.

Samenvatting in één zin

De auteurs hebben een slimme manier bedacht om niet alleen de regels van een dynamisch systeem te ontdekken uit data, maar om die regels direct te bouwen met een ingebouwde "veiligheidscheck", zodat het resultaat zowel begrijpelijk (geen zwarte doos) als veilig (stabiel) is, zelfs als de meetdata niet perfect is.

Het is alsof je niet alleen een auto bouwt die rijdt, maar er direct een onmiskenbaar veiligheidsmechanisme in installeert dat garandeert dat hij nooit uit de hand loopt.

Technische samenvatting

Probleemstelling

In data-gedreven modellering van dynamische systemen (beschreven door differentiaalvergelijkingen) is het vaak moeilijk om modellen te vinden die niet alleen nauwkeurig voorspellingen doen op trainingsdata, maar ook de fundamentele dynamische eigenschappen van het systeem behouden, zoals stabiliteit.

• Bestaande beperkingen: Veel methoden (zoals neurale netwerken) zijn "black boxes" en bieden geen interpretbaarheid. Andere methoden (zoals symbolische regressie) zijn vaak duur in de zoekruimte of garanderen geen stabiliteit.
• Het stabiliteitsdilemma: Een model dat zeer nauwkeurig is op de trainingsset kan instabiel blijken over het hele domein (bijvoorbeeld, trajecten convergeren niet naar het evenwichtspunt). Standaard aanpakken gebruiken vaak een post-hoc analyse om stabiliteit te verifiëren, wat leidt tot een iteratief proces.
• Doel: Het ontwikkelen van een methode die direct een interpreteerbaar en stabiel dynamisch model leert uit data, waarbij stabiliteitsvoorwaarden (via Lyapunov-functies) worden opgelegd als harde constraints tijdens het leerproces.

Methodologie

De auteurs stellen een nieuwe aanpak voor die het leerprobleem formuleert als een gemengd-integer kwadratisch beperkt optimalisatieprobleem (MIQCP).

1. Parametrisatie via Basisfuncties:

   • Zowel de differentiaalvergelijkingen ($\dot{x} = f(x)$) als de Lyapunov-functie ($V(x)$) worden geparametriseerd als een lineaire combinatie van niet-lineaire basisfuncties (bijv. polynomen, sin/cos).
   • Dit zorgt voor een interpreteerbare vorm (symbolische expressies) in plaats van een black-box.

2. Selectie van Basisfuncties (Sparsiteit):

   • Er worden binaire variabelen ($z$) geïntroduceerd om te bepalen welke basisfuncties actief zijn in het model.
   • Dit stelt de onderzoekers in staat om de complexiteit van het model direct te controleren door een maximumaantal termen ($C_f$ en $C_V$) op te leggen.

3. Lyapunov-stabiliteitsconstraints:

   • De stabiliteit wordt afgedwongen door de voorwaarden van Lyapunov als constraints in het optimalisatieprobleem op te nemen:
     • $V(x) > 0$ voor $x \neq 0$ en $V(0) = 0$ (positief definiet).
     • $\dot{V}(x) = \nabla V(x)^T f(x) \leq 0$ (negatief semi-definiet afgeleide).
   • Deze voorwaarden worden geëvalueerd op de trainingsdata (trajecten).
   • De constraint voor $\dot{V}(x)$ introduceert bilineaire termen ($v_k \cdot c_{ik}$), wat het probleem niet-convex maakt.

4. Optimalisatieprobleem:

   • Het doel is om de voorspellingsfout te minimaliseren, gecombineerd met een strafterm voor de complexiteit (aantal geselecteerde basisfuncties).
   • Het probleem wordt opgelost tot globale optimaliteit met behulp van state-of-the-art globale optimalisatiesolvers (Gurobi).

Belangrijkste Bijdragen

• Interpreteerbaarheid en Stabiliteit in één stap: De methode leert direct een model en een bijbehorende Lyapunov-functie in een symbolische, interpreteerbare vorm, terwijl stabiliteit wordt gegarandeerd binnen het trainingsdomein.
• Formulering als MIQCP: Het transformeren van het leerprobleem naar een gemengd-integer kwadratisch beperkt probleem dat exact opgelost kan worden, in tegenstelling tot benaderende methoden.
• Robuustheid tegen Ruis: De aanpak toont aan dat het inbedden van Lyapunov-constraints het model robuuster maakt tegen meetruis in vergelijking met methoden die alleen op voorspellingsfouten focussen.

Resultaten

De methode is getest op twee casestudies:

1. Gedempte Slinger (Damped Pendulum):

   • Met een enkele traject (zonder ruis) slaagde de methode erin om de exacte differentiaalvergelijkingen en de totale energie als Lyapunov-functie te herontdekken.
   • De fout in het vectorveld was extreem laag ($< 10^{-4}$).
   • Er werd aangetoond dat te weinig complexiteit (te weinig basisfuncties) leidt tot een onoplosbaar probleem (geen geldige Lyapunov-functie gevonden).

2. Gekruiste Koppeling Oscillator (Cross-coupled Oscillator) met Ruis:

   • De methode werd vergeleken met geavanceerde baselines: Stepwise Sparse Regression (SSR) en Mixed-Integer Optimization-based Sparse Regression (MIOSR).
   • Resultaten bij ruis: Bij toenemende ruis (Gaussisch ruis) behield de voorgestelde methode (LyapSR) een veel hogere voorspellende nauwkeurigheid dan de baselines.
   • De voorspellingsfout van de baselines nam exponentieel toe (orde $10^2$), terwijl de fout van de voorgestelde methode veel trager toenam (orde $10^0$ tot $10^1$).
   • De coëfficiënten van het geleerde model bleven dichter bij de waarheid, zelfs bij significante ruis, en de methode behield de juiste structuur van het model langer dan de concurrenten.

Betekenis en Conclusie

Deze paper biedt een krachtig raamwerk voor het leren van fysiek betekenisvolle modellen. De belangrijkste implicaties zijn:

• Betrouwbaarheid: Door stabiliteit als constraint op te nemen, worden modellen gegenereerd die fysiek plausibel zijn en niet instabiel worden buiten de trainingsdata.
• Interpretatie: In tegenstelling tot neurale netwerken, levert deze methode een wiskundige formule op die door ingenieurs en wetenschappers begrepen en geverifieerd kan worden.
• Toekomstige uitdagingen: De auteurs merken op dat de gevonden Lyapunov-functie niet gegarandeerd geldig is voor het hele continue domein (vanwege beperkte data en de niet-convexe aard van het probleem). Dit kan worden opgelost door meer data te verzamelen of door "integer cuts" toe te voegen om alternatieve functionele vormen te verkennen.

Samenvattend biedt deze aanpak een brug tussen data-gedreven modellering en klassieke niet-lineaire systeemtheorie, waardoor stabiele en interpreteerbare modellen mogelijk worden gemaakt zelfs in aanwezigheid van ruis.