On the definition and importance of interpretability in scientific machine learning

Dieser Artikel kritisiert die in der wissenschaftlichen Machine-Learning-Forschung vorherrschende Gleichsetzung von Interpretierbarkeit mit mathematischer Sparsamkeit und schlägt stattdessen eine operative Definition vor, die das Verständnis zugrunde liegender Mechanismen über die bloße Formelvereinfachung stellt, um die Integration datengetriebener Modelle in das wissenschaftliche Wissen zu ermöglichen.

Das Wesentliche

🕵️‍♂️ Das Rätsel der „Blackbox": Warum Wissenschaftler nicht nur Ergebnisse, sondern auch die „Warum"-Frage wollen

Stell dir vor, du hast einen genialen Koch, der die besten Gerichte der Welt zaubert. Er kann jeden Auftrag erfüllen: Er kocht Suppe, Braten und Desserts perfekt. Aber wenn du ihn fragst: „Warum hast du genau diese Zutaten gewählt und in dieser Reihenfolge?", antwortet er nur: „Ich habe einfach probiert, bis es gut geschmeckt hat."

Das ist das Problem, mit dem sich Wissenschaftler heute im Bereich „Scientific Machine Learning" (SciML) konfrontiert sehen.

1. Der alte Weg vs. der neue Weg

Früher (wie bei den alten „Experten-Systemen") mussten Wissenschaftler alle Regeln selbst in den Computer schreiben. Das war wie ein Kochbuch, das man Schritt für Schritt befolgt.
Heute nutzen wir Neuronale Netze (eine Art KI). Diese lernen aus riesigen Datenmengen. Sie sind wie der Koch oben: Sie liefern perfekte Ergebnisse (Vorhersagen), aber sie sind eine „Blackbox". Man sieht nicht, wie sie zu dem Ergebnis kommen. Für Ingenieure und Physiker ist das beunruhigend. Sie wollen nicht nur wissen, was passiert (z. B. wie stark ein Brückenbalken durchbiegt), sondern auch warum es passiert. Sie suchen nach den fundamentalen Gesetzen der Natur, nicht nur nach einer Formel, die gut funktioniert.

2. Der große Irrtum: „Weniger ist mehr" (Sparsity)

Viele Forscher glauben bisher, dass das Problem gelöst ist, wenn sie eine kurze, einfache mathematische Formel finden. Im Fachjargon nennt man das „Sparsity" (Sparsamkeit).
Die Idee dahinter: Wenn die KI eine komplizierte Gleichung mit 1000 Teilen findet, ist das schlecht. Findet sie aber eine mit nur 3 Teilen, ist das „interpretierbar" und damit wissenschaftlich wertvoll.

Das Paper sagt dazu: „Stopp! Das ist ein Trugschluss."

Die Analogie des Kochrezepts:
Stell dir vor, die KI findet ein Rezept:

• Rezept A (Komplex): „Nimm 3 Eier, 200g Mehl, 50g Zucker, 1 Prise Salz, 200ml Milch..."
• Rezept B (Sparsam): „Nimm 100g X, 50g Y und 20g Z."

Rezept B ist kürzer (sparsamer). Aber wenn du nicht weißt, was X, Y und Z sind, bringt dir die Kürze nichts! Du kannst das Gericht nicht nachkochen, und du verstehst nicht, warum es schmeckt.
Das Paper zeigt: Eine kurze Formel ist nicht automatisch verständlich. Wenn die Formel neue, unbekannte Begriffe enthält, ist sie für einen Wissenschaftler immer noch eine Blackbox, egal wie kurz sie ist.

3. Was ist also „Interpretierbarkeit"?

Die Autoren schlagen eine neue Definition vor. Interpretierbarkeit bedeutet nicht, dass die Formel kurz ist. Es bedeutet, dass man die Formel mit dem Wissen verbinden kann, das wir schon haben.

Die Analogie des Detektivs:

• Sparsity (Kürze): Der Detektiv findet nur drei Hinweise. Das ist gut, aber wenn die Hinweise in einer fremden Sprache sind, bringt es nichts.
• Interpretierbarkeit (Verständnis): Der Detektiv findet Hinweise, die er sofort zuordnen kann: „Ah, das ist ein Fingerabdruck von Smith!" oder „Das ist ein bekanntes Werkzeug."

In der Wissenschaft heißt das: Eine Gleichung ist nur dann „interpretierbar", wenn ihre Teile (die Terme) eine physikalische Bedeutung haben, die wir kennen.

• Beispiel: Wenn eine Gleichung den Begriff „Advektion" (Transport von Materie durch Strömung) enthält, verstehen Physiker sofort, was das bedeutet.
• Gegenbeispiel: Wenn die KI einen Term findet, der mathematisch einfach aussieht, aber physikalisch keinen Sinn ergibt (wie ein mysteriöses „Geister-Element"), dann ist die Gleichung nicht interpretierbar, auch wenn sie kurz ist.

4. Das Beispiel Kepler und Newton

Die Autoren nutzen ein historisches Beispiel: Keplers Gesetze über die Planetenbewegung.

• Kepler fand sehr kurze, elegante Formeln. Aber er wusste nicht, warum sie funktionierten. Für ihn waren sie nur Beobachtungen.
• Erst Newton (70 Jahre später) konnte diese Formeln aus seinen eigenen Gesetzen (Schwerkraft, Mechanik) ableiten.
• Ergebnis: Erst durch Newtons Erklärung wurden Keplers Formeln wirklich „interpretierbar". Die Kürze allein reichte nicht; es brauchte den Zusammenhang zu den grundlegenden Prinzipien.

5. Das Fazit: Warum das wichtig ist

Die Autoren warnen davor, dass wir uns zu sehr auf das Finden kurzer Formeln (Sparsity) versteifen.

• Das Gute: Kurze Formeln sind trotzdem nützlich. Sie sind wie ein „offenes Fenster". Wenn eine Formel kurz ist, ist es wahrscheinlicher, dass wir später herausfinden, wie man sie aus den Grundgesetzen der Physik ableiten kann.
• Das Wichtige: Echte wissenschaftliche Entdeckung passiert nicht durch das bloße Finden kurzer Formeln. Sie passiert, wenn wir verstehen, welche physikalischen Mechanismen dahinterstecken.

Zusammengefasst in einem Satz:
Eine Formel ist für einen Wissenschaftler nicht dann verständlich, weil sie kurz ist, sondern weil sie uns erzählt, was in der Natur wirklich vor sich geht – und das können wir nur verstehen, wenn wir sie mit dem verbinden, was wir bereits über die Welt wissen.

---

Kurz gesagt: Wir wollen nicht nur einen Zaubertrick sehen, der funktioniert. Wir wollen den Zauberer verstehen, der den Trick ausführt. Und dafür reicht es nicht, wenn der Zauberer nur wenige Worte spricht; er muss uns die Magie erklären können.

Technische Zusammenfassung

1. Problemstellung

Das Papier adressiert ein zentrales Dilemma im Bereich des Scientific Machine Learning (SciML): Die Spannung zwischen der hohen Vorhersagegenauigkeit von „Black-Box"-Modellen (wie neuronalen Netzen) und dem wissenschaftlichen Bedürfnis nach Interpretierbarkeit.

• Kontext: Während neuronale Netze in Bereichen wie Computer Vision oder NLP erfolgreich sind, suchen Wissenschaftler in den Naturwissenschaften nicht nur nach Vorhersagen, sondern nach dem Verständnis fundamentaler physikalischer Prinzipien und Mechanismen.
• Das Missverständnis: In den Feldern der Gleichungsentdeckung (Equation Discovery) und der symbolischen Regression (z. B. SINDy) wird der Begriff „Interpretierbarkeit" häufig implizit mit mathematischer Sparsamkeit (Sparsity) gleichgesetzt. Die Annahme ist, dass ein Modell, das eine kompakte, analytische Gleichung mit wenigen Termen liefert, automatisch interpretierbar ist.
• Die Kritik: Die Autoren argumentieren, dass diese Gleichsetzung irreführend ist. Eine mathematisch sparsame Gleichung garantiert nicht, dass sie physikalisch verständlich ist oder in den bestehenden Körper wissenschaftlichen Wissens integriert werden kann. Ohne Vorwissen über die zugrunde liegenden Mechanismen bleibt eine sparsame Gleichung oft ebenso unverständlich wie ein komplexes neuronales Netz.

2. Methodik und Analyse

Die Autoren verfolgen einen konzeptionellen und philosophischen Ansatz, gestützt auf eine umfassende Literaturrecherche:

1. Literaturreview:
   • Analyse von Arbeiten zur Gleichungsentdeckung (z. B. SINDy, Symbolic Regression), um zu zeigen, wie der Begriff der Interpretierbarkeit dort verwendet wird (oft als Synonym für Sparsamkeit, Transparenz oder Mechanismus).
   • Überprüfung des etablierten Feldes des „Interpretable Machine Learning" (XAI), um zu prüfen, ob dort definierte Konzepte (wie Erklärbarkeit von Eingabe-Ausgabe-Beziehungen) auf die SciML-Problematik übertragbar sind.
2. Philosophische Analyse:
   • Einbeziehung der Wissenschaftsphilosophie (z. B. Kitcher, Quine, Hempel), um die Rolle von Interpretation im wissenschaftlichen Erkenntnisprozess zu definieren.
   • Unterscheidung zwischen „normaler Wissenschaft" (Integration in bestehende Prinzipien) und revolutionärer Entdeckung (neue Prinzipien).
3. Gedankenexperimente und Fallstudien:
   • Beispiel 1 (Elastischer Balken): Eine sparsame polynomiale Gleichung ($u = \lambda_1 F - \lambda_2 F^2$) wird analysiert. Obwohl sie sparsam ist, ist sie ohne Vorwissen über Elastizität und geometrische Nichtlinearität physikalisch nicht interpretierbar.
   • Beispiel 2 (Hyperelastizität vs. Advektion-Diffusion): Ein komplexer, nicht-sparsamer Ausdruck für die Dehnungsenergiedichte wird als interpretierbar bewertet, da er einen klaren physikalischen Mechanismus (Energiespeicherung) beschreibt. Im Gegensatz dazu wird eine sparsame, aber unbekannte Termkombination in einer Advektion-Diffusions-Gleichung als nicht interpretierbar eingestuft, da der physikalische Ursprung des Terms unbekannt ist.
   • Beispiel 3 (Keplers Gesetze): Die historischen Gesetze von Kepler waren mathematisch sparsam, aber vor Newton nicht interpretierbar, da der zugrundeliegende Mechanismus (Gravitation) noch nicht bekannt war. Dies unterstreicht, dass Sparsamkeit allein keine Interpretierbarkeit garantiert.

3. Schlüsselbeiträge

Das Papier liefert fünf wesentliche Beiträge:

1. Kritik der Sparsamkeit-Dogmatik: Die Autoren zeigen auf, dass die Gleichsetzung von Interpretierbarkeit mit mathematischer Sparsamkeit in der SciML-Literatur unzureichend ist. Sparsamkeit ist eine mathematische Eigenschaft, keine semantische.
2. Inadäquatheit bestehender ML-Definitionen: Konventionelle Definitionen aus dem Bereich XAI (z. B. „Verständlichkeit für Menschen" oder „Transparenz der Eingabe-Ausgabe-Beziehung") sind für die Wissenschaft unzureichend, da sie nicht die Verbindung zu fundamentalen physikalischen Prinzipien herstellen.
3. Neue operative Definition von Interpretierbarkeit:
   Die Autoren schlagen folgende Definition vor:

   „In SciML ist ein gelerntes Modell interpretierbar, wenn es entweder aus grundlegenden physikalischen Prinzipien abgeleitet werden kann oder eine empirische Komponente eines Modells darstellt, das aus grundlegenden physikalischen Prinzipien abgeleitet wurde."

   • Kernpunkt: Interpretierbarkeit hängt von der Verbindung zu bekannten physikalischen Mechanismen (z. B. Massenerhaltung, Impulserhaltung, Stoffgesetze) ab, nicht von der mathematischen Komplexität der Gleichung.
4. Unterscheidung von Entdeckungstypen:
   • Interpretierbare Entdeckungen: Beschränken sich auf „normale Wissenschaft" (Bestätigung oder Parametrisierung bekannter Prinzipien).
   • Revolutionäre Entdeckungen: Die Entdeckung völlig neuer Grundprinzipien ist per Definition nicht interpretierbar, da keine vorherige Theorie existiert, auf die sie zurückgeführt werden kann.
5. Rolle der Sparsamkeit neu bewertet: Sparsamkeit ist kein Selbstzweck, sondern ein Werkzeug. Sie erhöht die Wahrscheinlichkeit, dass eine gefundene Gleichung später aus fundamentalen Prinzipien abgeleitet werden kann (wie bei Keplers Gesetzen), ist aber ohne Vorwissen keine Garantie für Interpretierbarkeit.

4. Ergebnisse und Schlussfolgerungen

• Sparsamkeit ist notwendig, aber nicht hinreichend: Eine Gleichung kann sparsam sein, aber physikalisch sinnlos (wenn der Term unbekannt ist). Umgekehrt kann eine komplexe Gleichung hochgradig interpretierbar sein, wenn sie einen bekannten physikalischen Mechanismus (z. B. ein Stoffgesetz) kodiert.
• Die Bedeutung von Vorwissen: Interpretierbarkeit ist kontextabhängig. Ein Term ist nur dann interpretierbar, wenn der Wissenschaftler den physikalischen Mechanismus dahinter kennt oder ableiten kann. Ohne Vorwissen ist keine echte wissenschaftliche Entdeckung möglich, die gleichzeitig interpretierbar ist.
• Einheit durch Reduktion: Das Ziel der Interpretierbarkeit in der Wissenschaft ist die Einheit (Unification) verschiedener Phänomene unter wenigen Grundprinzipien. Ein Modell ist dann interpretierbar, wenn es als Ausdruck dieser Grundprinzipien (z. B. Erhaltungssätze) verstanden werden kann.
• Implikation für die Forschung: Die Forschung sollte sich nicht nur auf das Finden sparsamer Gleichungen konzentrieren, sondern darauf, wie diese Gleichungen mit dem bestehenden Körper physikalischen Wissens verknüpft werden können. Die Suche nach „neuen" physikalischen Gesetzen mittels ML bleibt eine Herausforderung, da diese per Definition zunächst nicht interpretierbar sind.

5. Signifikanz

Dieses Paper ist von großer Bedeutung für die Zukunft des Scientific Machine Learning, da es:

• Klarheit schafft: Es beendet die vage Verwendung des Begriffs „Interpretierbarkeit" in der SciML-Community und bietet eine philosophisch fundierte, operative Definition.
• Erwartungen realistisch setzt: Es warnt davor, dass ML-Modelle nicht automatisch neue physikalische Gesetze „entdecken" und sofort verständlich machen können. Es trennt zwischen der Entdeckung von Mustern (Regression) und der Entdeckung von Mechanismen.
• Forschungsrichtung lenkt: Es fordert Forscher auf, sich weniger auf die mathematische Form (Sparsamkeit) zu konzentrieren und mehr auf die Integration der Ergebnisse in theoretische Rahmenwerke (Mechanismen-Erkennung).
• Brücke schlägt: Es verbindet technische ML-Methoden mit der Wissenschaftsphilosophie, um zu verstehen, was wissenschaftliche Erkenntnis eigentlich bedeutet und wie ML dazu beitragen kann, ohne die Integrität des wissenschaftlichen Prozesses zu gefährden.

Zusammenfassend argumentieren die Autoren, dass Interpretierbarkeit in der Wissenschaft nicht bedeutet, dass eine Gleichung einfach zu lesen ist, sondern dass sie physikalisch bedeutungsvoll ist und auf bekannte Prinzipien zurückgeführt werden kann. Sparsamkeit ist lediglich ein Hilfsmittel, um diese Rückführung zu erleichtern, aber kein Ersatz für das physikalische Verständnis.