Experimental Design for Missing Physics

Dit paper introduceert een sequentiële experimentontwerptechniek die symbolische regressie en universele differentiaalvergelijkingen combineert om ontbrekende fysica in procesystemen, zoals een bioreactor, effectief te leren door experimenten te optimaliseren voor het onderscheiden van plausibele modelstructuren.

De kern

Stel je voor dat je een heel complexe machine probeert te begrijpen, zoals een grote bioreactor (een soort supergrote pot waarin bacteriën groeien om medicijnen of brandstof te maken). Je kent de meeste regels van deze machine wel: je weet hoe de vloeistof stroomt, hoe de temperatuur werkt en hoe de bacteriën zich vermenigvuldigen.

Maar er is één groot geheim: je weet niet precies hoe de bacteriën groeien onder bepaalde omstandigheden. Dit noemen de auteurs "ontbrekende natuurkunde" (missing physics). Het is alsof je een auto hebt waarvan je het chassis, de wielen en het stuur kent, maar je niet weet hoe de motor precies werkt als je op het gaspedaal trapt.

Hier is hoe dit papier een slimme oplossing voorstelt om dat geheim op te lossen, vertaald naar begrijpelijke taal:

1. De Probleemstelling: Gokken met een Blinde Doos

Normaal gesproken proberen wetenschappers een model te maken en dan te kijken of het klopt. Maar als je de basisregels niet kent, kun je dat niet doen.

• De oude manier: Je doet een experiment, kijkt naar de data, en hoopt dat je het patroon ziet.
• Het probleem: Als je slechte data verzamelt (bijvoorbeeld als je de motor alleen laat draaien op stationair toerental), leer je niets over hoe hij presteert op de snelweg. Je blijft in het donker.

2. De Oplossing: Een Slimme Detective met een AI

De auteurs gebruiken een combinatie van drie slimme technieken, die we kunnen vergelijken met een detective-team:

• De "Neutrale" AI (Universal Differential Equation):
  Stel je voor dat je een zeer slimme, maar wat onduidelijke AI (een neurale net) in de machine zet. Deze AI is een "zwarte doos": hij kan elke mogelijke vorm aannemen om de groei van de bacteriën te voorspellen. Hij is goed in het nabootsen van wat er gebeurt, maar je kunt niet zien waarom hij dat doet. Hij is als een genie dat de oplossing kent, maar niet in woorden kan uitleggen.
• De "Vertaler" (Symbolic Regression):
  Omdat we de AI niet kunnen vertrouwen als een "zwarte doos", laten we een tweede team (symbolische regressie) de AI bestuderen. Dit team probeert de gedachten van de AI te vertalen naar een simpele, leesbare wiskundige formule. Ze zoeken naar de simpelste vergelijking die precies hetzelfde doet als de AI.
  • Voorbeeld: In plaats van "De AI denkt dat het zo is", krijgen we: "De groei is gelijk aan A keer B gedeeld door C plus B". Dit is de Monod-vergelijking, de echte wetenschap die we zoeken.

3. De Slimme Strategie: Het "Beste Experiment" Ontwerpen

Hier komt het meest creatieve deel. Als je gewoon willekeurig experimenten doet, duurt het eeuwen om het juiste antwoord te vinden. De auteurs bedachten een manier om sequentiële experimenten te plannen.

Stel je voor dat je twee verdachten hebt (twee verschillende theorieën over hoe de motor werkt).

• Verdachte A zegt: "De motor gaat sneller als je meer benzine geeft."
• Verdachte B zegt: "De motor gaat sneller als je minder benzine geeft."

Als je de motor op een lage snelheid laat draaien, gedragen beide verdachten zich hetzelfde. Je leert niets. Maar als je de motor op het randje van het afbreken laat draaien (de "optimale" controle), gedragen ze zich totaal verschillend. Dan zie je direct wie gelijk heeft.

De computer berekent precies welke instellingen (hoeveel voer, hoe snel, hoe lang) je moet kiezen om de verschillen tussen de mogelijke theorieën maximaal te maken. Het is alsof je een spelletje "20 vragen" speelt, maar je stelt altijd de vraag die het meeste informatie oplevert.

4. Het Resultaat: Van Chaos naar Kwaliteit

In het papier testen ze dit op een bioreactor.

1. Eerste ronde: Ze doen een standaard experiment. De AI leert een beetje, maar de vertalers vinden nog steeds twintig verschillende, gekke formules die allemaal een beetje lijken op de waarheid.
2. Tweede ronde: De computer zegt: "Oké, we moeten de reactor nu op een heel specifieke manier aansturen om die gekke formules uit te sluiten." Ze doen dit experiment.
3. Derde ronde: Nog een slim experiment.

Na deze drie slimme stappen is er maar één formule overgebleven die perfect klopt: de echte wetenschappelijke formule (de Monod-vergelijking).

Als ze in plaats daarvan willekeurige experimenten hadden gedaan (net alsof je blindelings op de knoppen van de machine drukt), hadden ze na drie pogingen nog steeds geen idee gehad wat de juiste formule was.

Samenvatting in één zin

Deze paper laat zien dat je niet zomaar data moet verzamelen, maar dat je slimme, strategische experimenten moet plannen die je AI helpen om de "zwarte doos" van de natuurkunde open te breken en de echte wetten van de natuur in simpele taal te vertalen.

De kernboodschap: Het is niet belangrijk hoeveel data je hebt, maar hoe slim die data is gekozen om de onbekende regels van de natuur te onthullen.

Technische samenvatting

Titel: Experimenteel Ontwerp voor Ontbrekende Fysica

Auteurs: Arno Strouwen, Sebastian Miclut, a-Cˆampeanu
Context: IFAC-publicatie (2025), gericht op procesregeling en systeemidentificatie.

---

1. Het Probleem

In de analyse, regeling en optimalisatie van proces- en biosystemen worden vaak modelgebaseerde benaderingen gebruikt die voortbouwen op fysische, chemische en biologische wetten (beschreven door niet-lineaire differentiaalvergelijkingen). Echter, de kennis over deze wetten is vaak onvolledig; dit wordt "ontbrekende fysica" (missing physics) genoemd.

Traditionele methoden voor experimenteel ontwerp (Model-Based Design of Experiments, MbDoE) richten zich op het maximaliseren van de precisie van parameters of het onderscheiden tussen een eindig aantal bekende modelstructuren. Deze methoden falen wanneer een deel van de modelstructuur volledig onbekend is. Er is een behoefte aan technieken die niet alleen parameters schatten, maar de onderliggende wiskundige vorm van de onbekende dynamiek kunnen leren en interpreteren uit experimentele data.

2. Methodologie

De auteurs stellen een sequentiële experimentele ontwerpprocedure voor die drie kerncomponenten combineert:

1. Universele Differentiaalvergelijkingen (UDE):

   • De onbekende functie in het systeem (de "ontbrekende fysica") wordt vervangen door een neuraal netwerk.
   • Dit maakt het mogelijk om de dynamiek te leren zonder de exacte wiskundige vorm vooraf te kennen.
   • Het systeem wordt beschreven als: $d\mathbf{x}/dt = f(t, \mathbf{x}, \text{NN}(g(\mathbf{x}), \boldsymbol{\theta}), \mathbf{u}(t))$, waarbij $\text{NN}$ het neuraal netwerk is dat de onbekende term approximeert.

2. Symbolische Regressie:

   • Omdat neuraal netwerken "zwarte dozen" zijn, wordt symbolische regressie gebruikt om het getrainde netwerk te vertalen naar een menselijk leesbaar, interpreteerbaar wiskundig model.
   • Het algoritme zoekt in de ruimte van wiskundige expressies (met behulp van genetische algoritmen en boomstructuren) naar de beste fit die een balans houdt tussen nauwkeurigheid en complexiteit.
   • Dit resulteert in een lijst van plausibele modelstructuren (kandidaat-vergelijkingen).

3. Sequentieel Experimenteel Ontwerp (Model Discriminatie):

   • Het doel is om experimenten te ontwerpen die de plausibele modelstructuren zo goed mogelijk van elkaar onderscheiden.
   • De auteurs ontwikkelen een variant van T-optimale ontwerpen. In plaats van te zoeken naar een "ware" grondwahrheid (die onbekend is), maximaliseren ze de gemiddelde kwadratische afstand tussen de voorspellingen van alle paar plausibele modellen.
   • Iteratief proces:
     1. Voer een experiment uit met een geoptimaliseerde invoer $\mathbf{u}(t)$ (bijv. voerdebiet).
     2. Train het UDE op de nieuwe data.
     3. Pas symbolische regressie toe om nieuwe plausibele modellen te genereren.
     4. Gebruik deze modellen om het volgende experiment te ontwerpen dat de onzekerheid tussen de modellen maximaliseert.

3. Case Study: Bioreactor

De methode wordt getest op een goed gemengde fed-batch bioreactor.

• Systeem: Drie toestanden: substraatconcentratie ($C_s$), biomassa ($C_x$) en volume ($V$).
• Onbekende fysica: De specifieke groeisnelheid $\mu(C_s)$, waarvan de ware vorm de Monod-vergelijking is.
• Doel: De vorm van $\mu$ leren en de parameters ($\mu_{max}, K_s$) schatten door het voerdebiet $Q_{in}(t)$ te optimaliseren.
• Data: 15 uurlijkse metingen met meetruis.

4. Belangrijkste Resultaten

• Effectiviteit van het ontwerp: Na drie sequentiële, geoptimaliseerde experimenten werd de ware Monod-kinetiek succesvol herontdekt. De symbolische regressie gaf de Monod-vergelijking de hoogste score (hoogste waarschijnlijkheid).
• Vergelijking met willekeurige experimenten: Bij 5 sets van willekeurige experimenten (waarbij de invoer willekeurig uit een uniforme verdeling werd gehaald) werd de Monod-vergelijking nooit herontdekt. Dit bewijst dat het gebruik van optimalisatie voor experimenteel ontwerp essentieel is voor het verzamelen van informatieve data.
• Dynamiek van de controle:
  • Het eerste experiment (met nul-invoer) leverde data op voor lage concentraties.
  • Het tweede experiment optimaliseerde het voerdebiet naar het maximum om de modellen te onderscheiden die voorspellen dat $\mu$ blijft stijgen versus die voorspellen dat het afvlakt.
  • Het derde experiment richtte zich specifiek op het "gat" in de data bij middelmatige concentraties, waar de modellen het meest van elkaar afweken. De geoptimaliseerde controle toonde een trapsgewijze stijging om de reactor in dit kritieke bereik te houden.
• Interpretatie: De methode slaagde erin om niet alleen de parameters te schatten, maar ook de fundamentele wiskundige structuur van de biologische reactie te identificeren, zelfs met beperkte en ruisonderbroken data.

5. Bijdragen en Significantie

• Nieuwe Benadering voor "Missing Physics": De paper biedt een oplossing voor het probleem van onbekende modelstructuren, een gebied waar traditionele MbDoE-methoden tekortschieten.
• Koppeling van ML en Interpretatie: Het combineert de kracht van diep leren (UDE) voor flexibiliteit met symbolische regressie voor wetenschappelijke interpreteerbaarheid.
• Sequentiële Strategie: In plaats van één groot experiment, wordt een adaptieve strategie voorgesteld waarbij elke meting de volgende stap in het leerproces optimaliseert.
• Praktische Toepasbaarheid: De resultaten tonen aan dat deze aanpak superieur is aan willekeurige datacollectie voor het ontdekken van fundamentele natuurwetten in complexe systemen.

6. Discussie en Toekomst

De auteurs merken op dat de huidige methode hyperparameters (zoals de complexiteit van het netwerk of het aantal iteraties voor symbolische regressie) vastzet. Een volgende stap in onderzoek zou zijn om deze hyperparameters automatisch te tunen tijdens het experiment ("true online experimental design"). Daarnaast kan de methode worden uitgebreid naar systemen met meerdere onbekende functies en invoervariabelen, en kan het worden gecombineerd met het optimaliseren van meettijdstippen en initiële condities.

Conclusie: Dit artikel presenteert een robuust raamwerk om onbekende fysica in dynamische systemen te ontdekken door het slim combineren van neuraal netwerken, symbolische regressie en optimalisatie van experimentele condities.