🤖 AI

A Neural Operator-Based Approach to Symbolic Discovery of PDEs

Dieses Paper stellt NOMTO vor, ein neuartiges Framework, das vortrainierte neuronale Operatoren in symbolische Architekturen integriert, um kompakte Ergleichungen für komplexe Systeme zu entdecken, die nichtlokale Operatoren, Kopplungen mit Hilfsfeldern und zeitliche Gedächtniseffekte beinhalten, wodurch die Einschränkungen traditioneller Methoden überwunden werden, die auf lokale Ableitungen beschränkt sind.

Ursprüngliche Autoren: Sergei Garmaev, Olga Fink

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sergei Garmaev, Olga Fink

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, das geheime Regelbuch zu entschlüsseln, das das Verhalten eines komplexen Systems bestimmt. In der Physik ist dieses „Regelbuch“ normalerweise eine mathematische Gleichung. Lange Zeit haben Wissenschaftler datengesteuerte Methoden verwendet, um diese Gleichungen zu finden, aber sie stießen an eine Wand: Ihre Werkzeuge konnten nur Regeln verstehen, die auf lokalen Informationen basieren.

„Lokal“ ist wie der Blick auf einen einzelnen Pixel auf einem Bildschirm. Man kann sehen, ob dieser Pixel rot oder blau ist, und man kann sehen, ob der Pixel daneben anders aussieht. Aber man kann nicht das gesamte Bild sehen oder verstehen, wie eine Änderung in einer Ecke des Bildschirms die andere Seite beeinflusst. Viele reale Systeme (wie die Art und Weise, wie Wärme in einem Material diffundiert oder wie sich eine Menschenmenge bewegt) hängen von nicht-lokalen Informationen ab – also davon, dass das, was an einem Punkt geschieht, vom gesamten System abhängt und nicht nur von den unmittelbaren Nachbarn.

Dieses Paper stellt ein neues Detektiv-Werkzeug namens NOMTO (Neural Operator-based symbolic Model approximaTion and discOvery) vor. So funktioniert es, erklärt anhand einfacher Analogien:

Das Problem: Das „lokale“ Wörterbuch

Traditionelle Methoden zur Entdeckung von Gleichungen sind wie ein Autor, der versucht, eine Geschichte mit einem Wörterbuch zu schreiben, das nur Wörter für „hier“ und „jetzt“ enthält. Er kann Sätze schreiben wie „der Ball bewegt sich nach rechts“ oder „das Wasser wird heißer“, aber er hat Schwierigkeiten, Sätze zu schreiben wie „der Ball bewegt sich, weil der Wind drei Meilen entfernt weht“ oder „die Temperatur des Wassers hängt davon ab, was vor einer Stunde geschah“.

Wenn die zugrunde liegende Physik nicht-lokale Effekte beinhaltet (wie langreichweitige Kräfte) oder ein Gedächtnis besitzt (wo die Vergangenheit die Gegenwart beeinflusst), scheitern diese alten Werkzeuge, weil sie nicht über die „Wörter“ verfügen, um dies zu beschreiben.

Die Lösung: NOMTOs „Intelligente Werkzeugkästen“

NOMTO löst dies, indem es dem Detektiv einen Satz von vortrainierten „Intelligenten Werkzeugkästen“ zur Verfügung stellt.

Die Vortrainierungsphase: Bevor der Detektiv mit dem spezifischen Fall beginnt, stellt er Experten (Neural Operators) ein, die spezifische, schwierige Aufgaben meistern.
- Ein Experte lernt, wie man „fraktale Diffusion“ berechnet (eine komplexe Art, wie Wärme diffundiert).
- Ein anderer lernt, wie man „Poisson-Gleichungen“ löst (wie elektrische oder Gravitationsfelder interagieren).
- Ein dritter lernt „hereditäres Gedächtnis“ (wie ein Material sich an seine vergangene Dehnung erinnert).
- Sobald diese Experten trainiert sind, werden sie eingefroren. Sie werden zu festen, zuverlässigen Werkzeugen, die der Detektiv nutzen kann, aber der Detektiv muss nicht neu lernen, wie sie funktionieren.
Die Entdeckungsphase: Nun baut der Detektiv (NOMTO) einen „symbolischen Graphen“. Stellen Sie sich das wie ein Flussdiagramm oder ein Rezept vor.
- Der Detektiv verfügt über eine Bibliothek grundlegender Zutaten (wie Addition, Multiplikation und das Bilden einer Ableitung).
- Entscheidend ist, dass der Detektiv auch die Intelligenten Werkzeugkästen als Zutaten verwenden kann.
- Der Detektiv probiert verschiedene Kombinationen aus: „Vielleicht ist die Antwort 2 mal der Input plus das Ergebnis des ‚Fraktalen Diffusions‘-Werkzeugkastens?“ oder „Vielleicht ist es der ‚Gedächtnis‘-Werkzeugkasten angewandt auf die Dehnung?“
- Das System nutzt Mathematik, um herauszufinden, welche Kombination am besten zu den Daten passt und welche „Zutaten“ tatsächlich benötigt werden. Es beschneidet die unnötigen Zutaten weg, sodass eine saubere, einfache Gleichung übrig bleibt.

Die Ergebnisse: Das Lösen von drei schwierigen Fällen

Die Autoren haben NOMTO an drei Arten von „unmöglichen“ Rätseln getestet, die alte Werkzeuge nicht lösen konnten:

Fraktale Diffusion: Stellen Sie sich vor, ein Tropfen Tinte breitet sich im Wasser aus, aber nicht auf eine normale Weise – sie breitet sich in einem „diffusen“, langreichweitigen Muster aus. Alte Werkzeuge konnten dies nicht beschreiben. NOMTO identifizierte erfolgreich, dass die Regel einen spezifischen „nicht-lokalen“ Operator beinhaltete, und fand die exakte Formel.
Das Euler-Poisson-System: Denken Sie an eine Menschenmenge, in der die Bewegung jedes Einzelnen von der Dichte der gesamten Menge abhängt, nicht nur von der Person neben ihm. Dies erfordert das Lösen einer verborgenen „Feldgleichung“. NOMTO fand heraus, dass die Bewegungsregel ein „Poisson-Gradienten“-Werkzeug enthielt, und sagte effektiv: „Die Geschwindigkeit hängt vom globalen Dichtefeld ab.“
Hereditäre Viskoelastizität: Stellen Sie sich ein Stück Kaugummi vor. Wie es zurückspringt, hängt nicht nur davon ab, wie stark man jetzt daran zieht, sondern auch davon, wie man in der Vergangenheit daran gezogen hat. Dies ist „zeitliches Gedächtnis“. NOMTO fand die Regel, die ein „Gedächtnis-Integral“-Werkzeug enthielt, und identifizierte korrekt, dass die Spannung des Materials von seiner gesamten Geschichte abhängt.

Warum das wichtig ist

Das Paper behauptet, dass NOMTO die Lücke zwischen Black-Box-KI (die gut in der Vorhersage, aber schlecht in der Erklärung ist) und symbolischer Entdeckung (die gut in der Erklärung, aber begrenzt im Umfang ist) schließt.

Indem es komplexe, gelernte KI-Modelle als feste, wiederverwendbare Bausteine (wie vorgefertigte Lego-Steine) behandelt, anstatt zu versuchen, die gesamte Gleichung von Grund auf neu aufzubauen, kann NOMTO die zugrunde liegenden Gesetze für Systeme entdecken, die zuvor unerreichbar waren. Es sagt nicht nur voraus, was passieren wird; es schreibt die tatsächliche mathematische Regel auf, selbst wenn diese Regel das Betrachten des gesamten Systems oder das Erinnern an die Vergangenheit beinhaltet.

Kurz gesagt: NOMTO ist ein System, das in der Lage ist, die „Gesetze der Physik“ für komplexe, langreichweitige und gedächtnisabhängige Systeme zu schreiben, indem es vortrainierte KI-Experten als seinen Wortschatz nutzt.

Technisches Resümee: Ein auf Neural Operators basierender Ansatz zur symbolischen Entdeckung von PDEs

Problemstellung
Bestehende Methoden zur symbolischen Modellentdeckung, wie der Equation Learner (EQL) und sparsame Regressionsansätze (z. B. PDE-FIND), sind fundamental durch ihre Abhängigkeit von Bibliotheken lokaler analytischer Funktionen begrenzt. Diese Methoden konstruieren Kandidatengleichungen aus punktweisen Größen, einschließlich Feldwerten, lokalen Ableitungen und algebraischen Kombinationen. Während sie für klassische partielle Differentialgleichungen (PDEs) effektiv sind, scheitern sie an der Entdeckung von Gesetzmäßigkeiten, die nichtlokale Interaktionen, Integraloperatoren, Hilfsfeldberechnungen oder zeitliche Gedächtniseffekte beinhalten. Viele physikalische Systeme – wie etwa solche, die durch fraktionale Diffusion, gekoppelte Feldsysteme oder hereditäre Viskoelastizität bestimmt werden – hängen von Operatoren ab, die auf ganze Funktionsräume statt auf lokale Punkte wirken, was sie für aktuelle Frameworks zur symbolischen Entdeckung unzugänglich macht.

Methodik: NOMTO
Die Autoren schlagen NOMTO (Neural Operator-based symbolic Model approximaTion and discOvery) vor, ein Framework, das die EQL-Architektur erweitert, indem es vortrainierte neuronale Operatoren als symbolische Primitiven integriert.

Architektur: NOMTO repräsentiert Kandidatengleichungen als spärliche, differenzierbare Rechengraphen. Im Gegensatz zum Standard-EQL, bei dem Knoten nur vordefinierte algebraische oder lokale differential-operationale Funktionen anwenden, erlaubt NOMTO, ausgewählte Knoten als vortrainierte neuronale Operator-Surrogate zu implementieren. Diese Surrogate agieren auf diskretisierten Funktionen und geben diskretisierte Operator-Ausgaben auf demselben Gitter zurück.
Trennung von Lernen und Entdeckung: Ein Kernentwurfsprinzip ist die Entkopplung des Operator-Lernens von der Gleichungsentdeckung.
1. Vortraining: Neuronale Operatoren (speziell Fourier Neural Operators [FNO], Convolutional Neural Operators [CNO] und Fully Connected Neural Networks [FNN]) werden unabhängig trainiert, um spezifische physikalische Operatoren (z. B. fraktionalen Laplace-Operator, Poisson-Gradienten-Abbildung, hereditäre Gedächtnisintegrale) zu approximieren. Diese Surrogate werden anschließend eingefroren.
2. Symbolische Optimierung: Während der Entdeckungsphase bleiben die Surrogate-Knoten fixiert. Der Optimierungsprozess passt lediglich die trainierbaren skalaren Gewichte an, die die Knoten im Rechengraphen verbinden.
Optimierungsstrategie: Das Framework verwendet ein Coarse-to-Sparse-Paradigma, das aus drei Phasen besteht:
1. Dichtes Training: Der vollständige Graph wird trainiert, um die Zieldynamik ohne Sparheitsbeschränkungen anzupassen.
2. Sparsifizierung: Ein $\ell_1$ -Penalty wird der Verlustfunktion hinzugefügt, und Gewichte unterhalb einer bestimmten Größenordnung werden entfernt (Pruning), um die spärliche Struktur zu identifizieren.
3. Refitting: Der bereinigte Graph wird ohne den Sparheits-Penalty erneut trainiert, um die Koeffizienten der aktiven Pfade zu verfeinern.
Extraktion des Ausdrucks: Nach dem Training werden vernachlässigbare Gewichte entfernt, und der verbleibende aktive Graph wird in eine explizite symbolische Gleichung übersetzt. Der resultierende Ausdruck kombiniert Standard-Algebra-Terme mit der Notation der vortrainierten neuronalen Operator-Surrogate (z. B. $\hat{G}^a_m$ ).

Wichtigste Ergebnisse
NOMTO wurde auf drei distinkten physikalischen Systemen evaluiert, die nichtlokale oder geschichtungsabhängige Operatoren erfordern:

Fraktionale Diffusion: Das System beinhaltet einen fraktionalen Laplace-Operator, einen nichtlokalen räumlichen Operator. NOMTO konnte die zugrunde liegende Gleichung $u_t \approx -\hat{\kappa} \hat{G}^a_{L_s}[u]$ erfolgreich rekonstruieren. Das FNO-basierte Surrogate erreichte die höchste Genauigkeit (Relativer MSE $9,47 \times 10^{-6}$ ) und identifizierte korrekt den Koeffizienten $\hat{\kappa} = 1,00$ .
Euler-Poisson-System: Dieses System koppelt lokale Transportgleichungen mit einem nichtlokalen Kraftterm, der aus einer Hilfs-Poisson-Gleichung abgeleitet wird. NOMTO rekonstruierte sowohl die lokalen Konvektionsterme als auch die nichtlokale Poisson-Gradienten-Kopplung. Das CNO-Surrogate erreichte den niedrigsten Fehler in der Impulsgleichung (Relativer MSE $3,245 \times 10^{-4}$ ), während alle Architekturen die symbolische Struktur und die Koeffizienten korrekt identifizierten.
Hereditäre Viskoelastizität: Dieser Fall beinhaltet ein konstitutives Gesetz mit einem zeitlichen Gedächtnisintegral. NOMTO entdeckte erfolgreich die Struktur $\sigma(t) = E\varepsilon(t) + A\hat{G}^a_H[\varepsilon](t)$ und rekonstruierte den instantanen Elastizitätsmodul sowie die Gedächtnisamplitude mit hoher Genauigkeit über alle Surrogate-Typen hinweg.

In allen Fällen übertraf oder entsprach NOMTO den Standard-neuronalen Netzwerk-Surrogaten (FNN) hinsichtlich der strukturellen Korrektheit und der Koeffizientenrekonstruktion, was zeigt, dass vortrainierte Operatoren als getreue symbolische Proxies für komplexe physikalische Mechanismen dienen können.

Bedeutung und Ansprüche
Das Paper behauptet, dass NOMTO einen Wechsel von der „symbolischen Entdeckung von Funktionen“ hin zur „symbolischen Entdeckung von operatorwertigen physikalischen Gesetzen“ darstellt. Durch die Einbettung gelernter Operatoren als fixierte, differenzierbare Knoten innerhalb eines spärlichen symbolischen Graphen ermöglicht das Framework:

Erweiterung der entdeckbaren Klasse: Es erweitert die symbolische Entdeckung über lokale differential-bibliotheken hinaus auf Gesetzmäßigkeiten mit nichtlokalen räumlichen Operatoren, Hilfsfeld-Abbildungen und zeitlichen Gedächtniseffekten.
Bewahrung der Interpretierbarkeit: Trotz der Verwendung neuronaler Netze bleibt der endgültige Output eine interpretierbare symbolische Gleichung, in der die Rolle nichtlokaler Mechanismen explizit ist.
Ermöglichung von Modularität: Die Trennung von Operator-Lernen und Gleichungsentdeckung erlaubt es, Operator-Bibliotheken für verschiedene Entdeckungsaufgaben wiederzuverwenden und die Integration von physikalischem Vorwissen durch die Auswahl von Kandidatenoperatoren zu erleichtern.

Die Autoren räumen Einschränkungen ein und merken an, dass die Treue des rekonstruierten Modells von der Genauigkeit der Surrogate-Operatoren abhängt und dass die Konstruktion der Operator-Bibliothek weiterhin ein gewisses Maß an Vorwissen über plausible physikalische Mechanismen erfordert. Dennoch etabliert die Arbeit einen Weg zur Integration von Fortschritten im Operator-Lernen mit interpretierbarem wissenschaftlichem maschinellem Lernen.

Das Problem: Das „lokale“ Wörterbuch

Die Lösung: NOMTOs „Intelligente Werkzeugkästen“

Die Ergebnisse: Das Lösen von drei schwierigen Fällen

Warum das wichtig ist

Technisches Resümee: Ein auf Neural Operators basierender Ansatz zur symbolischen Entdeckung von PDEs

Mehr davon