Experimental Design for Missing Physics

Die vorgestellte Arbeit entwickelt eine sequenzielle Versuchsplanungsmethode, die auf der optimalen Diskriminierung plausibler Modellstrukturen durch symbolische Regression und universelle Differentialgleichungen basiert, um fehlende Physik in Prozesssystemen wie Bioreaktoren effizient aus experimentellen Daten zu lernen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, das Geheimnis eines mysteriösen Motors zu lüften. Sie wissen, wie der Motor grundsätzlich funktioniert (er hat Kolben, Ventile und Kraftstoff), aber es fehlt Ihnen eine entscheidende Baugruppe: Das genaue Gesetz, das beschreibt, wie schnell der Motor bei bestimmten Temperaturen läuft.

Dies ist das Problem der „fehlenden Physik", das in diesem Papier behandelt wird. In der echten Welt kennen wir oft die Grundregeln von chemischen Reaktionen oder biologischen Prozessen (wie in einem Bioreaktor, einer Art „lebendem Reaktor" für Bakterien), aber wir wissen nicht genau, wie alle Teile zusammenarbeiten.

Hier ist die einfache Erklärung der Lösung, die die Autoren entwickelt haben, mit ein paar kreativen Vergleichen:

1. Der erste Versuch: Der „Black-Box"-Künstliche Intelligenz-Trick

Statt zu raten, nutzen die Forscher eine Neuronale Netz (eine Art KI), die wie ein extrem talentierter, aber etwas verwirrter Schüler ist.

• Die Aufgabe: Der Schüler sieht die Daten (Messwerte aus dem Reaktor) und versucht, die fehlende Formel zu erraten.
• Das Problem: Der Schüler ist ein „Black Box"-Genie. Er kann die Daten perfekt vorhersagen, aber wenn man ihn fragt: „Wie hast du das gerechnet?", antwortet er nur mit unverständlichen Zahlenmustern. Für Wissenschaftler ist das nicht gut genug; sie wollen eine klare, lesbare Formel (wie $E=mc^2$), keine undurchsichtige KI.

2. Der zweite Schritt: Der „Übersetzer" (Symbolische Regression)

Hier kommt der „Übersetzer" ins Spiel. Er nimmt die undurchsichtigen Ergebnisse des KI-Schülers und versucht, sie in eine einfache, menschliche Sprache (eine mathematische Formel) zu übersetzen.

• Der Übersetzer sucht nach der einfachsten Formel, die das Verhalten des Schülers erklärt.
• Das Ergebnis ist eine Liste von möglichen Formeln. Vielleicht sagt eine Formel: „Die Geschwindigkeit steigt linear", während eine andere sagt: „Sie steigt, bis sie sich einer Grenze nähert". Wir wissen noch nicht, welche davon die wahre ist.

3. Das Herzstück: Der „T-Optimale" Detektiv-Plan (Experimentelles Design)

Jetzt haben wir mehrere Verdächtige (die verschiedenen Formeln), aber wir wissen nicht, wer der Täter (die wahre Physik) ist. Wenn wir einfach weiter Daten sammeln, wie ein zufälliger Spaziergänger, könnten wir Jahre brauchen, um den Unterschied zu erkennen.

Die Autoren entwickeln einen intelligenten Plan, um die Verdächtigen schnell zu entlarven:

• Die Strategie: Statt Daten bei „langweiligen" Bedingungen zu sammeln, fragen wir: „Wo unterscheiden sich die Vorhersagen unserer Verdächtigen am meisten?"
• Die Analogie: Stellen Sie sich vor, Sie haben zwei Karten, die Ihnen sagen, wo Schätze vergraben sind. Karte A sagt: „Grabe hier", Karte B sagt: „Grabe dort". Wenn Sie an einem Ort graben, wo beide Karten übereinstimmen, bringt das nichts. Aber wenn Sie genau dort graben, wo die Karten sich krass widersprechen, und dann schauen, was Sie finden, wissen Sie sofort, welche Karte richtig ist.
• In der Praxis: Der Computer berechnet automatisch, wie man den Reaktor steuert (z. B. wie viel Nahrung man zuführt), damit die verschiedenen Formeln völlig unterschiedliche Ergebnisse vorhersagen. Dann führt man das Experiment durch. Das Ergebnis schließt sofort die falschen Formeln aus.

4. Der Kreislauf: Lernen, Auswählen, Wiederholen

Das ist ein sequenzieller Prozess (Schritt für Schritt):

1. Start: Man macht ein erstes, einfaches Experiment.
2. Lernen: Die KI lernt die Daten, der Übersetzer erstellt eine Liste von Verdächtigen (Formeln).
3. Planen: Der Detektiv-Plan berechnet das nächste perfekte Experiment, um die besten Verdächtigen zu trennen.
4. Wiederholen: Man führt das neue Experiment durch, aktualisiert die Liste und wiederholt den Vorgang.

Das Ergebnis im Bioreaktor

In dem Papier testen sie das an einem Bioreaktor.

• Zufallsexperimente: Wenn man einfach zufällig Nahrung zuführt (wie ein blindes Glücksspiel), findet man die wahre Formel (die sogenannte Monod-Gleichung) fast nie.
• Der intelligente Plan: Mit ihrer Methode finden sie die wahre Formel schon nach nur drei gezielten Experimenten. Es ist, als würde man einen Weg durch einen dichten Wald finden, indem man immer dort hingeht, wo sich die Pfade am deutlichsten trennen, anstatt ziellos umherzulaufen.

Zusammenfassung

Die Forscher haben eine Methode entwickelt, um Wissen aus Daten zu gewinnen, wenn wir die Regeln nicht kennen.

1. Eine KI lernt die Muster.
2. Ein Übersetzer macht die KI verständlich.
3. Ein intelligenter Plan sorgt dafür, dass wir genau die richtigen Experimente machen, um die falschen Theorien schnell auszusortieren.

Es ist wie ein Schachspiel gegen die Natur: Man denkt voraus, um den Gegner (die unbekannte Physik) in eine Position zu zwingen, in der er sich selbst verrät.

Technische Zusammenfassung

Titel: Experimentelles Design für fehlende Physik (Experimental Design for Missing Physics)

Autoren: Arno Strouwen, Sebastian Miclut, a-Cămpăanu
Kontext: IFAC-Publikation (angenommen), Anwendung auf Bioreaktoren.

---

1. Problemstellung

In der Analyse, Steuerung und Optimierung von (bio)prozesstechnischen Systemen basieren Modelle häufig auf physikalischen, chemischen und biologischen Gesetzen, die durch nichtlineare Differentialgleichungen beschrieben werden. Oft ist das Wissen über diese Gesetze jedoch unvollständig, was als "fehlende Physik" (Missing Physics) bezeichnet wird.

• Herausforderung: Herkömmliche Methoden des modellbasierten Versuchsdesigns (MbDoE) konzentrieren sich entweder auf die Präzision von Parametern oder auf die Diskriminierung zwischen einer endlichen Anzahl bekannter Modellstrukturen.
• Lücke: Wenn ein Teil der Modellstruktur völlig unbekannt ist, können diese klassischen Methoden nicht direkt angewendet werden. Es besteht ein Bedarf an Techniken, die sowohl die unbekannten Funktionen aus Daten lernen als auch die Versuche so planen, dass die gewonnenen Daten maximal informativ für die Identifikation dieser Strukturen sind.

2. Methodik

Die Autoren schlagen einen sequentiellen Ansatz vor, der drei Hauptkomponenten kombiniert:

A. Universal Differential Equations (UDE)

Um die fehlende Physik zu lernen, wird die unbekannte Funktion $\phi$ in den Differentialgleichungen durch ein Neuronales Netz (NN) ersetzt.

• Das System wird zu: $\frac{dx}{dt} = f(t, x, NN(g(x), \theta), u(t))$.
• Das NN lernt die unbekannten Terme aus den experimentellen Daten (hier: das spezifische Wachstumsrate $\mu$ im Bioreaktor).
• Da NNs oft schwer interpretierbar ("Black Box") sind, wird dieser Schritt mit symbolischer Regression kombiniert.

B. Symbolische Regression

Um das trainierte NN in eine für Menschen lesbare mathematische Formel zu überführen, wird symbolische Regression eingesetzt.

• Eingabe: Vorhergesagte Zustände $g(x(t_k))$ des UDE.
• Ausgabe: Vorhergesagte Werte des NN.
• Ziel: Suche im Raum mathematischer Ausdrücke (dargestellt als Bäume) nach Modellen, die Genauigkeit und Einfachheit (Komplexität) balancieren.
• Ergebnis: Eine Menge plausibler Kandidaten-Modelle (Top-M), die das NN approximieren.

C. Sequenzielles Experimentelles Design (Optimale Diskriminierung)

Da kein "Ground Truth"-Modell bekannt ist, wird eine Variante des T-optimalen Designs entwickelt, um zwischen den plausiblen Kandidatenmodellen zu diskriminieren.

• Optimierungsziel: Die Eingangssteuerung $u(t)$ (hier: Zulaufrate $Q_{in}$) wird so optimiert, dass die durchschnittliche quadrierte Differenz zwischen den Vorhersagen aller Paare der Top-M Kandidatenmodelle maximiert wird.
• Formel: $\arg \max_u \sum \sum \max_{t_k} (h(x_i(t_k)) - h(x_j(t_k)))^2$.
• Prozess:
  1. Durchführung eines Experiments mit optimierter Steuerung.
  2. Sammeln neuer Daten.
  3. Retraining des UDE mit neuen Daten.
  4. Erneute symbolische Regression zur Aktualisierung der Top-M Kandidaten.
  5. Wiederholung des Zyklus.

3. Anwendungsfall: Bioreaktor

Als Testfall dient ein durchmischter Fed-Batch-Bioreaktor.

• Zustände: Substratkonzentration ($C_s$), Biomassekonzentration ($C_x$), Volumen ($V$).
• Unbekannte Funktion: Spezifische Wachstumsrate $\mu(C_s)$.
• Wahrheit: Die Monod-Gleichung $\mu(C_s) = \frac{\mu_{max} C_s}{K_s + C_s}$.
• Steuerung: Die Zulaufrate $Q_{in}(t)$ wird als stückweise konstante Funktion optimiert, um die Information über $\mu$ zu maximieren.

4. Ergebnisse

Die Studie wurde mit drei sequentiellen optimalen Experimenten durchgeführt und mit fünf zufälligen Kontrollexperimenten verglichen.

• Initialisierung: Ein erstes Experiment mit Null-Steuerung lieferte Basisdaten. Das UDE konnte die Zustände gut vorhersagen, scheiterte jedoch bei der Extrapolation außerhalb des Messbereichs.
• Diskriminierung: Die symbolische Regression identifizierte verschiedene Kandidaten (z. B. konstante Funktion, Monod-ähnliche Strukturen).
• Optimale Steuerung:
  • Das zweite Experiment nutzte fast durchgehend die maximale Zulaufrate, um die Substratkonzentration schnell zu erhöhen und so zwischen Modellen zu unterscheiden, die bei hohen Konzentrationen unterschiedliches Verhalten vorhersagen.
  • Das dritte Experiment fokussierte sich auf den mittleren Konzentrationsbereich, wo die Unsicherheit zwischen den Kandidatenmodellen am größten war (durch eine "Treppen"-Steuerung).
• Ergebnis nach 3 Experimenten:
  • Die Monod-Kinetik erhielt den höchsten Score in der "Hall of Fame" der symbolischen Regression und wurde korrekt identifiziert (auch wenn sie in einer ungewöhnlichen mathematischen Form erschien, z. B. mit doppelten negativen Vorzeichen).
  • Vergleich: Bei 5 zufälligen Experimenten wurde die Monod-Gleichung in keinem Fall wiederhergestellt.
• Schlussfolgerung: Das optimale Versuchsdesign führt zu einem signifikanten Informationsgewinn im Vergleich zu zufälligen Designs.

5. Technische Details & Implementierung

• Sprache: Julia.
• Frameworks: ModelingToolkit.jl, DifferentialEquations.jl (Solver: Rodas5P), Optimization.jl, Lux.jl (NN), SymbolicRegression.jl.
• NN-Architektur: 2 versteckte Schichten mit je 5 Einheiten, Tanh-Aktivierung, Sigmoid-Ausgang.
• Optimierung: L-BFGS für NN-Training; BlackBoxOptim (de rand 1 bin) für die Steuerungsparameter.

6. Bedeutung und Beitrag

Dieses Paper leistet einen wesentlichen Beitrag zur Wissenschaft des maschinellen Lernens in der Prozesssystemtechnik:

1. Brückenschlag: Es verbindet UDEs (für das Lernen unbekannter Funktionen) mit symbolischer Regression (für Interpretierbarkeit) und optimalem Versuchsdesign (für effiziente Datenerhebung).
2. Lösung für "Missing Physics": Es bietet eine Lösung für das Problem, dass klassische MbDoE-Methoden versagen, wenn die Modellstruktur unbekannt ist.
3. Effizienz: Es zeigt, dass durch gezielte, diskriminierende Experimente die wahre physikalische Struktur (hier Monod) mit wenigen Schritten rekonstruiert werden kann, während zufällige Versuche scheitern.
4. Zukunftsausblick: Die Autoren sehen Potenzial in der automatischen Anpassung von Hyperparametern während des Experiments (Online-Design) und der Erweiterung auf Systeme mit mehreren Eingängen/Ausgängen sowie der Kombination mit Parameterschätzung.

Zusammenfassend demonstriert die Arbeit, wie man durch intelligente Versuchsplanung die "Black Box" des neuronalen Netzes durch eine interpretierbare physikalische Gleichung ersetzen kann, selbst wenn nur unvollständiges Vorwissen über das System vorhanden ist.