🤖 machine learning

Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

Das Paper stellt Symbolic-KANs vor, eine neuronale Architektur, die diskrete symbolische Strukturen direkt in trainierbare Netzwerke integriert, um skalierbares und interpretierbares Lernen von governing equations und physikalischen Gesetzen ohne nachträgliche symbolische Anpassung zu ermöglichen.

Ursprüngliche Autoren: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

Veröffentlicht 2026-03-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Geheimnis eines komplexen Uhrwerks zu entschlüsseln. Sie haben nur die Bewegung der Zeiger beobachtet (die Daten), aber Sie wollen nicht nur vorhersagen, wo die Zeiger als Nächstes sein werden. Sie wollen verstehen: Wie funktioniert das Uhrwerk eigentlich? Welche Federn, Zahnräder und Hebel sind dafür verantwortlich?

Das ist genau das Problem, das Wissenschaftler im Bereich des „Scientific Machine Learning" (wissenschaftliches maschinelles Lernen) haben. Herkömmliche künstliche Intelligenzen (wie tiefe neuronale Netze) sind wie magische schwarze Kisten. Sie können die Bewegung der Zeiger perfekt vorhersagen, aber wenn man sie öffnet, findet man nur ein undurchdringliches Gewirr aus Kabeln und Zahlen. Man kann nicht lesen, welche Regel das Uhrwerk antreibt.

Andere Methoden versuchen, die Regel direkt zu erraten, indem sie Millionen von möglichen Formeln durchprobieren. Das ist wie ein Affe, der zufällig auf einer Schreibmaschine tippt, bis er einen Roman schreibt. Es funktioniert theoretisch, dauert aber ewig und ist extrem ineffizient.

Symbolic-KAN ist die neue, clevere Lösung, die die Vorteile beider Welten vereint. Hier ist die Erklärung, wie es funktioniert, mit ein paar einfachen Analogien:

1. Der Baukasten mit dem „intelligenten Filter"

Stellen Sie sich das Symbolic-KAN-Netzwerk als einen riesigen, flexiblen Baukasten vor.

Die Bausteine: Anstatt nur einfache, starre Steine zu haben, hat dieser Baukasten eine Bibliothek mit verschiedenen „Werkzeugen" (Mathematische Funktionen wie Sinus, Cosinus, Quadrate, Exponentialfunktionen).
Der Bauplan: Das Netzwerk versucht, die beobachteten Daten (die Uhrzeiger) nachzubauen, indem es diese Werkzeuge kombiniert.

2. Der „Schwarm-Modus" und der „Einzelkämpfer"

Hier kommt der geniale Trick:

Am Anfang (Der Weiche Zustand): Zu Beginn des Trainings ist das Netzwerk wie ein Schwarm von Ameisen, der noch nicht weiß, welcher Weg der richtige ist. Jedes „Gehirn" im Netzwerk probiert alle möglichen Werkzeuge gleichzeitig aus, aber in sehr schwacher Form. Es ist eine Mischung aus allem.
Der Filter (Das Gating): Das Netzwerk hat einen intelligenten Filtermechanismus. Während es lernt, sagt es sich: „Hey, dieser Sinus-Stein passt hier gar nicht gut" oder „Dieses Quadrat ist hier viel wichtiger".
Die Entscheidung (Der Harte Zustand): Mit der Zeit wird der Filter immer strenger. Das Netzwerk zwingt sich dazu, sich zu entscheiden. Es schaltet alle unnötigen Werkzeuge aus und behält nur ein einziges, perfektes Werkzeug pro Stelle übrig.

3. Das Ergebnis: Eine klare Anleitung statt eines Wirrwarrs

Am Ende des Trainings passiert etwas Magisches:

Aus dem undurchsichtigen Gewirr aus Kabeln (dem neuronalen Netz) entsteht plötzlich eine klare, kurze mathematische Formel.
Es ist, als würde das Netzwerk am Ende sagen: „Ich habe gelernt, dass die Bewegung der Zeiger einfach durch die Formel A * sin(B * Zeit) + C beschrieben wird."

Das ist der Unterschied zu herkömmlichen Methoden:

Normale KI: „Ich weiß, dass die Zeiger so laufen, aber ich kann es dir nicht in Worten erklären."
Symbolic-KAN: „Ich habe die Formel selbst entdeckt und kann sie dir auf ein Stück Papier schreiben."

Warum ist das so wichtig? (Die Analogie des Kochs)

Stellen Sie sich einen Koch vor, der ein neues Gericht kocht.

Ein normales neuronales Netz ist wie ein Koch, der blind Zutaten in einen Mixer wirft, bis es schmeckt. Er kann das Gericht immer wieder perfekt nachkochen, aber er weiß nicht genau, welche Zutat den Geschmack bestimmt. Wenn er die Zutaten ändert (neue Daten), versagt er oft.
Symbolic-KAN ist wie ein Koch, der während des Kochens genau aufpasst, welche Zutat den größten Einfluss hat. Am Ende sagt er: „Ah, das Geheimnis ist nur Salz und Pfeffer in einem bestimmten Verhältnis." Er hat nicht nur das Gericht gekocht, sondern die Rezeptur (die physikalische Regel) entdeckt.

Was bringt das uns?

Vertrauen: Wir können die Formeln lesen und prüfen. Wenn die KI sagt, ein Brücke wird stabil sein, können Ingenieure die Formel nachrechnen.
Effizienz: Das Netzwerk lernt schneller und braucht weniger Daten, weil es nicht alles neu erfinden muss, sondern aus einer Bibliothek der besten Werkzeuge wählt.
Entdeckung: Es hilft Wissenschaftlern, neue Naturgesetze zu finden, die sie vorher nicht kannten, indem es die wichtigsten Bausteine aus den Daten herausfiltert.

Zusammenfassend:
Symbolic-KAN ist wie ein Übersetzer, der die komplexe, unverständliche Sprache der Daten in eine einfache, menschlich lesbare mathematische Sprache übersetzt. Es verbindet die Rechenkraft eines Supercomputers mit der Klarheit eines Schulbuches.

1. Problemstellung

Im Bereich des Scientific Machine Learning (SciML) besteht ein fundamentaler Zielkonflikt zwischen Interpretierbarkeit und skalierbarem Lernen.

Klassische symbolische Regression (z. B. basierend auf genetischen Algorithmen) liefert explizite, analytische Ausdrücke, ist aber rechnerisch teuer, leidet unter kombinatorischer Explosion und skaliert schlecht mit hohen Dimensionen.
Neuronale Netze (wie MLPs oder PINNs) skalieren effizient mit Daten und Dimensionen, produzieren jedoch undurchsichtige („opake") Modelle, aus denen keine direkten physikalischen Gesetze abgelesen werden können.
Bestehende KANs (Kolmogorov-Arnold Networks) sind ein vielversprechender Schritt, da sie Multivariaten-Funktionen als Superposition univariater Funktionen darstellen. Allerdings führen die durchtrainierten Basisfunktionen (oft Splines oder Polynome) in der Summe zu komplexen, unhandlichen Ausdrücken, die nicht direkt als kompakte, symbolische Gleichungen lesbar sind. Zudem fehlt es oft an einer inhärenten Sparsamkeit, um die relevantesten Terme zu isolieren.

Das Ziel ist es, eine Architektur zu entwickeln, die die Skalierbarkeit neuronaler Netze mit der Fähigkeit zur direkten Entdeckung kompakter, symbolischer Governing-Gleichungen (Steuerungsgleichungen) verbindet.

2. Methodik: Symbolic-KAN

Die Autoren stellen Symbolic-KANs vor, eine neuronale Architektur, die eine diskrete symbolische Struktur direkt in ein trainierbares tiefes Netzwerk integriert.

Architektonische Grundlagen:

Kolmogorov-Arnold Darstellung: Das Netzwerk basiert auf dem Kolmogorov-Arnold-Darstellungssatz (KART), der besagt, dass jede stetige multivariate Funktion als Summe univariater Funktionen dargestellt werden kann.
Lernbare Projektionen: Im Gegensatz zu Standard-KANs, die feste innere Summen verwenden, lernt jede Einheit in Symbolic-KAN eine skalare Projektion der Eingabemerkmale ( $s_k = w^T \cdot h + b$ ).
Symbolische Bibliothek: Anstelle von festen Spline-Basisfunktionen wird eine Bibliothek analytischer primitiver Funktionen verwendet (z. B. $\{0, 1, x, x^2, \sin(x), \cos(x), \tanh(x), e^x, \dots\}$ ).
Einheitsaufbau: Jede Einheit kombiniert mehrere Kanten (Edges). Jede Kante berechnet eine Projektion und wendet eine Linearkombination von Primitiven aus der Bibliothek an.

Trainingsstrategie (Gated Training & Diskretisierung):
Der Kern der Methode ist ein hierarchischer Gating-Mechanismus, der weiche Mischungen in harte, diskrete Entscheidungen überführt:

Primitive-Selection Gates: Für jede Kante wird ein Weichgating (mittels Gumbel-Softmax) verwendet, um eine Primitiv-Funktion aus der Bibliothek auszuwählen. Ein Temperatur-Parameter $\tau$ wird während des Trainings von hoch (Exploration) auf niedrig (Exploitation) abgeheizt (Annealing).
Edge-Selection Masks: Eine Einheit wählt genau eine ihrer Kanten (Projektionsrichtungen) aus.
Unit-Level Gating: Einheiten können aktiviert oder „gepruned" (entfernt) werden, um die Netzwerktopologie zu verdichten.
Regularisierung: Es werden Entropie-Regularisierung und Non-Maximum-Suppression (NMS) verwendet, um die Verteilungen der Gating-Variablen zu verschärfen (One-Hot-Selektion).
Zwei-Phasen-Training:
- Phase I: Optimierung der relaxierten Gating-Variablen und kontinuierlicher Parameter.
- Phase II: „Härtung" (Hardening) der Gating-Variablen zu diskreten One-Hot-Vektoren und Feinabstimmung der verbleibenden Parameter (z. B. mit L-BFGS).

Das Ergebnis ist ein kompaktes, symbolisches Surrogatmodell ohne nachträgliche symbolische Anpassung (post-hoc fitting).

3. Wichtige Beiträge

Brückenschlag: Überwindung der Lücke zwischen skalierbarem Deep Learning und symbolischer Regression durch Einbettung diskreter Strukturen in das Trainingsziel.
Skalierbare Primitive-Entdeckung: Symbolic-KAN fungiert als Mechanismus zur Identifizierung der relevantesten analytischen Komponenten. Diese können als Kandidaten-Bibliothek für spärliche Gleichungslernverfahren (wie SINDy) dienen, was das Problem der manuellen Bibliotheksgestaltung löst.
Kein Post-Hoc-Fitting: Die kompakte geschlossene Formel wird direkt aus dem trainierten Netzwerk extrahiert, sobald die Gating-Mechanismen gehärtet sind.
Erweiterbarkeit: Das Framework funktioniert sowohl für rein datengetriebene Regression als auch für physik-informiertes Lernen (PINNs) bei inversen und Vorwärtsproblemen.

4. Ergebnisse

Die Autoren testen Symbolic-KAN in drei Szenarien:

A. Datengetriebene Regression (Toy-Experiments):

Das Netzwerk konnte exakte symbolische Ausdrücke für Polynome ( $x^2$ ) und komplexe nichtlineare Funktionen (Kombinationen aus trigonometrischen und rationalen Termen) aus verstreuten Datenpunkten wiederherstellen.
Es zeigte sich, dass das Modell die richtigen Primitiven auswählt und redundante Terme während des Trainings eliminiert.

B. Identifikation dynamischer Systeme (Van der Pol Oszillator):

In einem inversen Problem wurden unbekannte Parameter ( $a, \mu, c$ ) und die Struktur der Differentialgleichung aus Zeitreihendaten gelernt.
Das Modell erkannte die nicht-ganzzahlige Potenz ( $x^{2.15}$ ) und die nichtlineare Dämpfung korrekt.
Die geschätzten Parameter wichen nur minimal von den wahren Werten ab (z. B. Fehler < 1% für $\mu$ ), und die Trajektorien wurden hochpräzise rekonstruiert, selbst über lange Zeiträume.

C. Physik-informiertes Lernen (PDEs):

Reaktions-Diffusions-Gleichung: Symbolic-KAN übertraf sowohl Standard-PINNs als auch cPIKAN (Chebyshev-basierte KANs) signifikant in Genauigkeit und Parameteridentifikation, insbesondere bei vergrößerten Domänen. Die relative Fehlerreduktion betrug bis zu 95–99% im Vergleich zu Baselines.
Laplace-Gleichung: Das Modell identifizierte korrekt die hyperbolischen und trigonometrischen Funktionen ( $\sin, \sinh, \cosh$ ), die der analytischen Lösung entsprechen, und erreichte eine deutlich geringere Fehlerquote als Vergleichsmodelle.
Symbolische Struktur: In allen Fällen reflektierten die ausgewählten Primitiven die wahre analytische Struktur der zugrunde liegenden Gleichungen, was auf eine mechanistische Lernfähigkeit hindeutet.

5. Bedeutung und Ausblick

Symbolic-KAN stellt einen bedeutenden Fortschritt hin zu mechanistisch fundiertem maschinellem Lernen dar.

Interpretierbarkeit: Es liefert Modelle, die nicht nur Vorhersagen treffen, sondern auch verständliche, kompakte Gleichungen liefern, die von Domänenexperten geprüft und in bestehende Modellierungs-Pipelines integriert werden können.
Robustheit: Die Methode ist robust gegenüber Datenmengen und Netzwerktopologien und zeigt eine bessere Generalisierungsfähigkeit als rein numerische Ansätze.
Zukunft: Obwohl es die Herausforderungen der Extrapolation nicht vollständig löst, bietet es einen prinzipiellen Weg zu skalierbaren, interpretierbaren und symbolisch überprüfbaren neuronalen Lösern. Es dient zudem als Vorstufe (Pre-Library Selector) für andere symbolische Regressionsmethoden.

Zusammenfassend demonstriert das Paper, dass es möglich ist, tiefes Lernen so zu gestalten, dass es die Prinzipien der symbolischen Mathematik inhärent respektiert und daraus direkt physikalische Gesetze ableitet.