Simultaneous model discovery and state estimation under high data corruption

Titel: Simultane modelontdekking en schatting van toestandsvariabelen onder hoge data-corruptie

1. Probleemstelling

Het paper adresseert de uitdaging om differentiaalvergelijkingen (ODE's) te ontdekken op basis van waarnemingsdata die zowel ruis (noise) als onvolledigheid (ontbrekende data) bevatten. Traditionele methoden voor systeemidentificatie kampen met de volgende beperkingen:

• Residumethoden (zoals SINDy): Deze zijn zeer gevoelig voor ruis omdat ze directe differentiatie van de data vereisen.
• Parameter-schatting: Methoden die alleen parameters schatten in een bekend model negeren vaak de onzekerheid in de data, wat leidt tot niet-convexe optimalisatieproblemen.
• Onvolledige data: Veel methoden falen wanneer metingen ontbreken in delen van het domein of voor bepaalde toestandsvariabelen.
• Niet-lineariteit: Bestaande bibliotheken-gestuurde methoden veronderstellen vaak dat de vergelijkingen lineair zijn in de parameters, wat restrictief is voor complexe systemen.

Het doel is een robuuste methode te ontwikkelen die gelijktijdig de parameters van de vergelijkingen ($\theta$) en de onderliggende ware toestandsvariabelen ($u$) schat, zelfs bij hoge ruisniveaus en grote hoeveelheden ontbrekende data.

2. Methodologie

De auteurs stellen een hybride sparse regressie-strategie voor die gebaseerd is op statistische principes (data-assimilatie en maximum likelihood schatting).

• Statistisch Kader (Likelihood-functie):
  In plaats van alleen het residu te minimaliseren, wordt een log-likelihood functie geoptimaliseerd die onzekerheid in zowel de data als het model meeneemt. De doelstelling is het minimaliseren van:
  $$L_\lambda(\theta, u) = \|N(u; \theta)\|^2 + \lambda \| \hat{u} - u|_D \|^2$$
  Waarbij:

  • $N(u; \theta) = 0$ de gediskretiseerde differentiaalvergelijking is.
  • $\hat{u}$ de waargenomen (ruisbehalde) data is.
  • $u$ de geschatte ware toestand is.
  • $\lambda$ de verhouding is tussen de variantie van de modelonzekerheid en de data-onzekerheid.
  • Deze formulatie zorgt ervoor dat de geschatte toestand $u$ een interpolatie is tussen de ruwe data en een gladde oplossing van de differentiaalvergelijking.

• Sparsiteit en Modelselectie:
  Om overfitting te voorkomen en een parsimonieus (eenvoudig) model te vinden, wordt sparsiteit afgedwongen via een Bayesian Information Criterion (BIC).

  • In plaats van harde drempelwaarden (zoals bij SINDy), gebruiken de auteurs een adaptieve pruning-algoritme.
  • Het algoritme start met een volledige bibliotheek van kandidaat-termen.
  • Het verwijdert iteratief termen (forward refinement) of voegt ze terug toe (backward recovery) op basis van welke stap het BIC-score verlaagt.
  • Dit voorkomt dat het algoritme vastloopt in lokale minima en zorgt voor een systematische verkenning van de modelruimte.

• Optimalisatie:
  Het probleem is hoogdimensionaal en niet-convex. De auteurs gebruiken een tweede-orde variant van de Levenberg-Marquardt (LM) methode.

  • Automatische Differentiatie (AD): De gradient en de Hessiaan worden berekend via AD.
  • Hessiaan-sparsiteit: Door de diskretisatie van de ODE's is de Hessiaan-matrix zeer schaars. De auteurs gebruiken grafkleuringstechnieken (graph coloring) om het aantal Hessiaan-vector-producten te minimaliseren, wat de berekening van de tweede-orde afgeleiden zeer efficiënt maakt.

• Generaliteit:
  De methode is niet beperkt tot lineaire combinaties van bibliotheektermen. Ze kunnen ook niet-lineaire afhankelijkheden van parameters (bijv. $e^{ax}$) schatten, zolang deze differentieerbaar zijn.

3. Belangrijkste Bijdragen

1. Hybride Schatting: Een geïntegreerde aanpak die gelijktijdig de modelparameters en de toestandsvariabelen schat, wat robuustheid biedt tegen ruis en ontbrekende data.
2. BIC-gedreven Sparsiteit: Een adaptief algoritme dat sparsiteit afdwingt via statistische informatiecriteria in plaats van subjectieve drempelwaarden.
3. Efficiënte Tweede-orde Optimalisatie: Het toepassen van een exacte Hessiaan met behulp van automatische differentiatie en grafkleuring, wat een significant snelheidsvoordeel biedt ten opzichte van eerste-orde methoden (zoals L-BFGS of ADAM) die vaak worden gebruikt in dit domein.
4. Generaliteit: De methode werkt voor vergelijkingen die niet-lineair zijn in de parameters, wat een beperking opheft van veel bestaande "library-based" methoden.

4. Resultaten

De methode is getest op diverse systemen (Van der Pol oscillator, Lorenz-systeem, Lorenz-96, Colpitts oscillator) en vergeleken met de state-of-the-art WSINDy algoritme.

• Ruis-resistentie: De voorgestelde methode presteert consistent beter dan WSINDy, vooral bij hoge ruisniveaus (tot 50% ruis). Waar WSINDy faalt bij het herkennen van de juiste structuur, behoudt de nieuwe methode een hoge "True Positive Rate" (TPR).
• Onvolledige Data: De methode slaagt erin om accurate toestandsvariabelen en parameters te schatten zelfs wanneer grote continuïteitsgaten in de data voorkomen of wanneer data willekeurig ontbreekt.
• Niet-lineaire Parameters: In het geval van de Colpitts oscillator werd de methode succesvol toegepast om een niet-lineaire parameter ($a$ in $e^{ax}$) te schatten, wat met lineaire regressiemethoden niet mogelijk is.
• Schaalbaarheid: De tweede-orde methode convergeert aanzienlijk sneller (tot 10x) dan andere geoptimaliseerde algoritmen in de tests.

5. Betekenis en Conclusie

Dit paper biedt een significante doorbraak in het veld van data-gedreven modelontdekking. De belangrijkste implicaties zijn:

• Robuustheid: Het maakt modelontdekking mogelijk in realistische scenario's waar data vaak ruis en lacunes bevat, zonder dat voorafgaande filtering of complexe pre-processing nodig is.
• Efficiëntie: Door gebruik te maken van de structuur van de Hessiaan en automatische differentiatie, wordt tweede-orde optimalisatie praktisch toepasbaar voor grote systemen, wat leidt tot snellere en nauwkeurigere convergentie.
• Toekomstperspectief: De auteurs suggereren dat het kader kan worden uitgebreid naar partiële differentiaalvergelijkingen (PDE's) en differentiaal-algebraïsche systemen, en dat hyperparameters in de toekomst mogelijk volledig geïntegreerd kunnen worden in het inferentieproces.

Kortom, de auteurs presenteren een geavanceerd, statistisch onderbouwd raamwerk dat de kloof overbrugt tussen klassieke parameter-schatting en moderne modelontdekking, met name geschikt voor complexe, chaotische systemen onder ongunstige meetomstandigheden.