🤖 machine learning

Neural Discovery of Memory and Nonlocal Kernels in Integro-Differential Equations with Constrained Kolmogorov--Arnold Networks

Dieses Paper schlägt ein differenzierbares Solver-Framework unter Verwendung von beschränkten Kolmogorov–Arnold-Netzwerken (speziell des hart-beschränkten MC-KAN und des Soft-Penalty-Cheb-KAN) vor, um robuste, interpretierbare Gedächtnis- und Nichtlokalitätskerne in Integro-Differentialgleichungen aus spärlichen und verrauschten Beobachtungen zu entdecken, wobei demonstriert wird, dass das Durchsetzen physikalischer Formbeschränkungen durch Konstruktion eine überlegene Genauigkeit gegenüber Soft-Penalties liefert, insbesondere für mehrdimensionale Probleme.

Ursprüngliche Autoren: Aruzhan Tleubek, Salah A Faroughi

Veröffentlicht 2026-07-14

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aruzhan Tleubek, Salah A Faroughi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, die „Geisterregeln“ zu entschlüsseln, die eine mysteriöse Maschine steuern. Sie können die internen Zahnräder der Maschine nicht sehen, aber Sie können beobachten, wie sie sich bewegt, wenn Sie sie bewegen. In der Welt der Physik reagieren viele Systeme (wie Gummibänder, die langsam zurückfedern, oder Wärme, die sich durch ein Material mit einem Gedächtnis ausbreitet) nicht nur auf das, was gerade jetzt passiert. Sie erinnern sich an die Vergangenheit. Sie haben ein „verblassendes Gedächtnis“.

Mathematiker beschreiben dieses Gedächtnis mit einer speziellen Zutat, einem sogenannten Kernel. Denken Sie an den Kernel als ein Rezeptblatt, das genau vorgibt, wie viel Gewicht das System jedem Moment seiner Vergangenheit beimisst. Wenn Sie das Rezept kennen, können Sie die Zukunft perfekt vorhersagen. Aber normalerweise fehlt das Rezeptblatt! Die Wissenschaftler haben die Bewegungen des Systems (die Daten), aber sie kennen das Rezept nicht. Dies ist ein kniffliges Rätsel, da viele verschiedene Rezepte dieselbe Bewegung erzeugen könnten, besonders wenn Ihre Beobachtungen unscharf oder unvollständig sind.

Der alte Weg vs. der neue Weg

Lange Zeit versuchten Wissenschaftler, dies durch komplexe mathematische Ableitungen zu lösen, die spezifisch für jedes Problem waren, oder indem sie ein Rezept erraten und hofften, dass es passte. Die Autoren dieser Arbeit sagen: „Lassen Sie uns etwas anderes versuchen.“ Sie bauten ein neuronales Netzwerk (eine Art KI-Gehirn), das als Detektiv fungiert. Anstatt zu raten, lernt dieses KI-Gehirn das Rezept direkt aus den unordentlichen, verrauschten Daten der Bewegungen des Systems.

Aber hier liegt der Haken: Wenn man einfach ein Standard-KI-Gehirn raten lässt, könnte es ein Rezept erstellen, das physikalisch keinen Sinn ergibt. Zum Beispiel könnte es vorschlagen, dass das Gedächtnis stärker wird, je älter das Ereignis ist, oder dass der Einfluss der Vergangenheit plötzlich negativ wird. In der realen Welt verblasst das Gedächtnis meist glatt und ohne Vorzeichenwechsel.

Die zwei Detektiv-Strategien

Um die KI daran zu hindern, unsinnige Vermutungen anzustellen, versuchten die Forscher zwei Wege, um die KI dazu zu zwingen, den Regeln der Physik zu folgen.

Strategie 1: Die „weiche“ Strafe (Der Cheb-KAN)
Stellen Sie sich vor, Sie trainieren einen Hund. Sie sagen ihm: „Spring nicht auf das Sofa“, und wenn er es doch tut, geben Sie ihm ein sanftes „Nein“ (eine weiche Strafe). Der Hund mag zwar hören, aber er könnte auch trotzdem springen, wenn er es wirklich will. Genau das macht der Cheb-KAN. Er versucht, das Rezept zu lernen, aber wenn das Rezept gegen die Regeln verstößt (z. B. negativ wird oder in die falsche Richtung krümmt), zieht der Computer einen kleinen „Strafpunkt“ in die Hausaufgaben der KI ab. Die KI versucht, die Strafe zu minimieren, aber es ist ihr nicht strikt verboten, gegen die Regeln zu verstoßen.

Strategie 2: Die „harte“ Einschränkung (Der MC-KAN)
Stellen Sie sich nun vor, Sie bauen einen Käfig um den Hund. Der Hund kann physisch nicht auf das Sofa springen, weil der Käfig dort ist. Dies ist der MC-KAN (Monotone–Convex Kolmogorov–Arnold Network). Die Forscher haben die KI nicht nur gebeten, brav zu sein; sie haben das Gehirn der KI aus speziellen mathematischen Blöcken (Bernstein-Polynomen) gebaut, die es unmöglich machen, dass die KI ein Rezept erstellt, das gegen die Regeln verstößt. Die KI wird durch ihre sehr eigene Architektur gezwungen, nur Rezepte zu produzieren, die positiv sind, stetig verblassen und die richtige Krümmung aufweisen. Es ist keine Empfehlung; es ist ein Gesetz der Maschine.

Der große Test: Kann die KI das Rezept finden?

Das Team unterzog beide Strategien drei verschiedenen Szenarien, die von einfach bis sehr komplex reichen.

1. Das einfache Gedächtnis (1D-Volterra-Gleichung)
Sie begannen mit einem einfachen System, bei dem das Gedächtnis wie eine standardmäßige Exponentialkurve verblasst (wie eine Tasse Kaffee, die abkühlt). Sie gaben der KI Daten mit unterschiedlichen Ebenen an „Rauschen“ (Statik oder Unschärfe).

Das Ergebnis: Beide Strategien fanden das korrekte Rezept. Selbst als die Daten sehr verrauscht waren, trafen beide das Richtige. Der harte Einschränkung (MC-KAN) war jedoch etwas präziser und fand das Rezept mit etwa 13 % bis 54 % weniger Fehler als die Version mit der weichen Strafe, abhängig davon, wie stark das Rauschen in den Daten war. Es war, als ob der eingekäfigte Hund nie einen einzigen Fehler machte, während der Hund mit dem sanften „Nein“ gelegentlich kleine Ausrutscher hatte.

2. Das dehnbare Gedächtnis (1D-Viskoelastische Welle)
Als Nächstes betrachteten sie einen gummiartigen Stab, der vibriert. Das Gedächtnis hier war keine einfache Kurve, sondern eine „gestreckte Exponentialfunktion“, eine komplexere Form, die oft in glasartigen Polymeren vorkommt. Sie machten die Daten sehr spärlich, was bedeutet, dass sie der KI nur wenige Schnappschüsse der Bewegung des Stabes gaben (so wenig wie 11 Schnappschüsse von möglichen 1001).

Das Ergebnis: Erstaunlicherweise konnten beide Methoden das Rezept selbst mit so wenig Daten finden. Aber auch hier war die harte Einschränkung (MC-KAN) konsistenter. Sie fand das Rezept mit etwa 40 % weniger Fehlern als die Soft-Penalty-Version. Die Soft-Penalty-Version geriet manchmal ins Wanken, während die Hard-Constraint-Version stabil blieb.

3. Das 2D-Chaos (Nichtlokale Reaktions-Diffusions-Gleichung)
Schließlich nahmen sie sich die schwierigste Herausforderung vor: ein 2D-System, bei dem das Gedächtnis räumlich in zwei Richtungen abhängt (wie ein Muster, das sich auf einer Oberfläche bildet). Die Daten waren spärlich (nur 7 Zeit-Schnappschüsse auf einem 32x32-Gitter) und verrauscht (bis zu 0,15 Standardabweichung des Rauschens).

Das Ergebnis: Hier wurde der Unterschied enorm. Die Soft-Penalty-Strategie begann zu halluzinieren. Sie erzeugte Rezepte, die seltsame Wellen aufwiesen und nicht korrekt verblassten. Die harte Einschränkung (MC-KAN) blieb absolut solide.
- Beim höchsten Rauschpegel (σ = 0,15) wies die Soft-Penalty-Methode einen Kernel-Fehler von 21,95 % auf, während die Hard-Constraint-Methode einen Fehler von nur 12,36 % hatte. Die Hard-Constraint-Methode war fast doppelt so genau.
- Die Soft-Penalty-Methode erzeugte bei hohem Rauschen sogar „nicht zulässige“ Formen (Rezepte, die wie Potenzgesetze statt der korrekten Exponentialformen aussah). Die Hard-Constraint-Methode brach die Regeln nie.

Das abschließende Urteil

Das Paper kommt zu dem Schluss, dass beide Methoden gut funktionieren, wenn die Daten sauber und einfach sind, aber das Einbetten der Regeln in die Struktur der KI (Harte Einschränkungen) viel robuster ist, wenn die Daten unordentlich, spärlich oder hochdimensional sind.

Die Autoren fanden heraus, dass die Hard-Constraint-Methode den Fehler beim schwierigsten 2D-Problem mit Rauschen um etwa 44 % im Vergleich zur Soft-Penalty-Methode reduzierte. Sie nutzten auch erfolgreich ein Werkzeug namens PySR, um das gelernte „Black-Box“-Rezept der KI zurück in eine klare, lesbare mathematische Formel (wie $e^{-0,99\tau}$ ) zu übersetzen, was bewies, dass die KI nicht nur Zahlen erraten, sondern das zugrunde liegende physikalische Gesetz tatsächlich gelernt hat.

Was das Paper NICHT behauptet:

Das Paper behauptet nicht, dass dies für jede Art von Gedächtnis funktioniert. Es schließt explizit Kernel aus, die wackeln (oszillieren), das Vorzeichen ändern oder nicht verblassen. Die Hard-Constraint-Methode ist speziell für ein „verblassendes Gedächtnis“ gebaut, das positiv und glatt ist.
Das Paper sagt auch nicht, dass dies ein Allheilmittel für alle inversen Probleme ist. Es gibt zu, dass sie für das 2D-Problem das Rezept in Teile zerlegen mussten, um die vollständige Formel zu finden, und dass die Kopplung zwischen den beiden Richtungen nicht in einem Schritt perfekt wiederhergestellt wurde.
Die Ergebnisse basieren auf Simulationen (computergenerierte Daten), nicht auf realen Experimenten. Die Autoren deuten an, dass dies der nächste Schritt ist, aber der aktuelle Beweis liegt in den von ihnen generierten Zahlen.

Kurz gesagt: Wenn Sie das geheime Rezept eines verblassenden Gedächtnisses aus unordentlichen Daten finden wollen, ist es viel besser, einen Käfig um Ihre KI zu bauen (Harte Einschränkungen), als sie nur höflich zu bitten, sich gut zu benehmen (Weiche Strafen).

Technisches Resümee: Neuronale Entdeckung von Gedächtnis- und Nichtlokalitätskernen in Integro-Differentialgleichungen mit beschränkten Kolmogorov–Arnold-Netzwerken

1. Problemstellung

Die vorliegende Arbeit befasst sich mit dem schlecht gestellten inversen Problem der Identifizierung unbekannter Gedächtnis- oder Nichtlokalitätskerne, die Integro-Differentialgleichungen (IDE) steuern, basierend auf spärlichen und verrauschten spatiotemporalen Beobachtungen. IDEs modellieren physikalische Systeme mit Gedächtniseffekten (z. B. viskoelastische Relaxation, anomale Diffusion) oder räumlicher Nichtlokalität (z. B. Peridynamik, nichtlokale Reaktions-Diffusions-Gleichungen), bei denen der Zustand von der historischen Entwicklung oder entfernten räumlichen Interaktionen über einen Faltungskern $K$ abhängt.

Bestehende Identifizierungsmethoden stehen vor erheblichen Einschränkungen:

Klassische Ansätze stützen sich auf problemspezifische analytische Ableitungen, spezialisierte Beobachtungsanforderungen (z. B. Randflussmessungen) oder restriktive Annahmen, um die Wohlgestelltheit zu garantieren.
Aktuelle Methoden des Scientific Machine Learning (SciML) repräsentieren Kerne oft implizit innerhalb der Parameter neuronaler Netze, wodurch eine geschlossene Form zur Interpretierbarkeit fehlt, oder sie erfordern fallspezifische Adjoint-Ableitungen zur Berechnung von Gradienten. Darüber hinaus haben viele Methoden Schwierigkeiten, physikalische Constraints (Positivität, Monotonie, Konvexität) durchzusetzen, die für eine stabile Kernrekonstruktion in schlecht gestellten Settings notwendig sind.

Das Ziel ist die Entwicklung eines flexiblen, datengesteuerten Frameworks, das die funktionale Form des Kerns direkt aus Beobachtungen zurückgewinnt und dabei strikt physikalischen Formbeschränkungen folgt, ohne dass problemspezifische analytische Inversionsformeln erforderlich sind.

2. Methodik

Die Autoren schlagen ein differenzierbares Solver-basiertes Framework vor, das eine trainierbare neuronale Kernrepräsentation in einen numerischen Solver für die IDE einbettet. Das Framework folgt einer „Discretize-then-Optimize“-Strategie und berechnet Gradienten mittels automatischer Differenzierung durch den Solver, wodurch die Notwendigkeit für fallspezifische Adjoint-Gleichungen entfällt.

2.1. Neuronale Kern-Parametrisierung

Der unbekannte Kern $K(\tau)$ (wobei $\tau$ Zeit und/oder räumliche Verzögerungen darstellt) wird unter Verwendung von Kolmogorov–Arnold-Netzwerken (KANs) parametrisiert. Zwei spezifische Architekturen werden verglichen:

Soft-Constrained Chebyshev KAN (Cheb-KAN):
- Verwendet Chebyshev-Polynom-Basen für die Kantengenerierungsfunktionen (Edge Functions).
- Physikalische Eigenschaften (Positivität, monotoner Abfall, Konvexität) werden über Soft-Penalty-Terme im Verlustfunktions-Ansatz angestrebt.
- Die Verlustfunktion kombiniert die Datenabweichung mit Strafen für negative Werte, positive erste Ableitungen und negative zweite Ableitungen.
Hard-Constrained Monotone–Convex KAN (MC-KAN):
- Verwendet Bernstein-Polynom-Basen für die Kantengenerierungsfunktionen.
- Physikalische Eigenschaften werden durch Konstruktion erzwungen durch Beschränkungen der Polynomkoeffizienten.
- Mechanismus: Durch die Beschränkung der Bernstein-Koeffizienten, um spezifische Ordnungs- und Konvexitätsbedingungen zu erfüllen (z. B. $c_0 \ge c_1 \ge \dots \ge c_N$ für monotonen Abfall), wird die resultierende Funktion innerhalb des Bereichs $[0, 1]$ garantiert positiv, monoton fallend und konvex sein.
- Die Architektur verwendet eine spezifische Schichtenreihenfolge: Die erste Schicht verwendet fallende konvexe Kantengenerierungsfunktionen, während nachfolgende Schichten steigende konvexe Funktionen verwenden. Diese Komposition stellt sicher, dass der endgültige Kern die erforderlichen physikalischen Bedingungen unabhängig von den gelernten Koeffizienten erfüllt.

2.2. Training und Rekonstruktion

Training: Der neuronale Kern ist in einen Vorwärts-Solver eingebettet (unter Verwendung von Quadratur oder FFT für Integrale). Die Parameter werden optimiert, um die Abweichung zwischen vorhergesagten und beobachteten spatiotemporalen Daten zu minimieren.
Symbolische Regression: Nach dem Training wird der gelernte neuronale Kern abgetastet und eine symbolische Regression (via PySR) angewendet, um eine interpretierbare, geschlossene mathematische Ausdrucksform (z. B. Exponential- oder Potenzgesetze) zu extrahieren.

3. Zentrale Beiträge

Differenzierbares Solver-Framework: Ein allgemeines Framework zur Kerndiskoveri, das neuronale Repräsentationen direkt in numerische Solver integriert und somit die Notwendigkeit für fallspezifische Adjoint-Ableitungen eliminiert.
Hard-Constrained KAN-Architektur: Die Einführung von MC-KAN, das Bernstein-Polynome nutzt, um physikalische Constraints (Positivität, Monotonie, Konvexität) durch Konstruktion zu garantieren, statt sich auf Soft-Penalties zu verlassen.
Vergleichende Analyse: Eine systematische Evaluierung von Hard-Constrained (MC-KAN) gegenüber Soft-Constrained (Cheb-KAN) Ansätzen über variierende Ebenen von Datensparsamkeit, Rauschen und Dimensionalität hinweg.
Interpretierbarkeit: Die erfolgreiche Integration von symbolischer Regression, um gelernte neuronale Kerne in geschlossene konstitutive Gesetze umzuwandeln.

4. Experimentelle Ergebnisse

Das Framework wurde anhand von drei Benchmark-Problemen validiert:

Experiment I: 1D Volterra IDE (Temporales Gedächtnis)

Aufgabe: Rekonstruktion eines exponentiellen Gedächtniskerns aus verrauschten Zeitreihendaten.
Ergebnisse: Beide Methoden identifizierten erfolgreich die exponentielle Form. Dennoch erreichte MC-KAN konsistent geringere Rekonstruktionsfehler des Kerns als Cheb-KAN über alle Rauschniveaus und Netzwerktiefen hinweg.
Beobachtung: Während beide Methoden die korrekte analytische Form ( $K(\tau) = e^{-r\tau}$ ) nach der symbolischen Regression wiedergaben, lieferte der hard-constrained MC-KAN eine präzisere numerische Approximation, insbesondere bei höheren Rauschniveaus.

Experiment II: 1D Viskoelastische Wellen-PIDE (Temporales Gedächtnis)

Aufgabe: Rekonstruktion eines gestreckten Exponential-Kerns (KWW) aus spärlichen zeitlichen Snapshots einer viskoelastischen Stange.
Ergebnisse: Beide Methoden zeigten sich robust gegenüber Datensparsamkeit (bis zu 1 % des vollen Gitters). MC-KAN erzielte ~40 % geringere Rekonstruktionsfehler des Kerns als Cheb-KAN über alle Sparsamkeitsgrade hinweg.
Beobachtung: Die MC-KAN-Rekonstruktionen blieben strikt positiv, monoton und konvex, während Cheb-KAN leichte oszillatorische Artefakte aufwies. Beide Methoden konnten die wahren KWW-Parameter ( $\tau_0, \beta$ ) mittels symbolischer Regression wiederherstellen.

Experiment III: 2D Nichtlokale Reaktions-Diffusions-Gleichung (Räumliche Nichtlokalität)

Auf Aufgabe: Rekonstruktion eines komplexen, anisotropen, 2D-räumlichen Interaktionskerns aus spärlichen und verrauschten Daten.
Ergebnisse:
- Im rauschfreien Fall performte Cheb-KAN geringfügig besser.
- Unter verrauschten Bedingungen ( $\sigma \ge 0.02$ ) übertraf MC-KAN Cheb-KAN signifikant. Bei $\sigma = 0.15$ reduzierte MC-KAN den Kernfehler im Vergleich zu Cheb-KAN um fast den Faktor zwei.
- Robustheit: Die harten Constraints in MC-KAN verhinderten nichtphysikalische Oszillationen, die in den Cheb-KAN-Rekonstruktionen auftraten, wenn die Daten spärlich und verrauscht waren.
- Normalisierung: Eine Potenzgesetz-Input-Normalisierung (Konzentration der Auflösung nahe dem Ursprung) verbesserte die MC-KAN-Leistung für Kerne mit scharfen Gradienten zusätzlich.
Symbolische Rekonstruktion: Während gekoppelte 2D-Formen schwierig direkt zu rekonstruieren waren, identifizierte die symbolische Regression erfolgreich die separierten 1D-Schnitte und die Kopplungsstruktur (Produktform) im Log-Raum.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Durchsetzung physikalisch motivierter Formbeschränkungen durch Konstruktion (via MC-KAN) eine größere Robustheit bietet als Soft-Penalties für die multidimensionale Kerndiskoveri, insbesondere wenn die Beobachtungen spärlich und verrauscht sind.

Robustheit: Der primäre Vorteil der harten Constraints liegt nicht unbedingt in einer überlegenen Performance bei gut beobachteten, einfachen inversen Problemen, sondern in der Fähigkeit, physikalisch konsistente und akkurate Repräsentationen aufrechtzuerhalten, wenn die Datenqualität sinkt.
Generalisierbarkeit: Das Framework ist kompatibel mit Standard-Zeitintegratoren und räumlichen Diskretisierungen, was es für eine breite Klasse von IDEs anwendbar macht, ohne dass kundenspezifische Adjoint-Ableitungen erforderlich sind.
Einschränkungen: Die Autoren räumen ein, dass das aktuelle MC-KAN auf positive, monotone und konvexe Kerne beschränkt ist (was oszillierende oder Vorzeichen wechselnde Kerne ausschließt). Zudem bleibt die symbolische Regression für vollständig gekoppelte multidimensionale Kerne eine Herausforderung, was oft eine gestufte Rekonstruktion separabler Komponenten erfordert.

Zusammenfassend zeigt die Arbeit, dass die Kombination von differenzierbaren Solvern mit strukturell beschränkten neuronalen Netzen (speziell Bernstein-basierten KANs) einen leistungsfähigen, interpretierbaren und robusten Ansatz zur Lösung inverser Probleme in nichtlokalen und gedächtnisabhängigen Systemen bietet.