🤖 machine learning

KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework

Dieses Paper stellt KAN-SR vor, ein neuartiges Framework für die symbolische Regression, das Kolmogorov-Arnold-Netzwerke und Vereinfaktionsstrategien nutzt, um die Grundgleichungen des Feynman-Datensatzes präzise zu rekonstruieren und die Dynamik von In-silico-Bioprozesssystemen zu modellieren.

Ursprüngliche Autoren: Marco Andrea Bühler, Gonzalo Guillén-Gosálbez

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marco Andrea Bühler, Gonzalo Guillén-Gosálbez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben einen Stapel an Hinweisen (Datenpunkten), die zeigen, wie sich verschiedene Dinge im Laufe der Zeit verändern, aber Sie kennen das Regelwerk (die mathematische Gleichung) nicht, das erklärt, warum sie sich verändern. Ihr Ziel ist es nicht nur, den nächsten Hinweis zu erraten; Ihr Ziel ist es, den tatsächlichen, einfachen Satz zu finden, der die ganze Geschichte beschreibt.

Dies ist die Aufgabe der Symbolischen Regression. Die meisten heutigen Computerprogramme sind wie „Black Boxes“: Sie können den nächsten Hinweis sehr gut vorhersagen, aber sie können einem nicht die Regel erklären. Sie sind wie ein Magier, der ein Kaninchen erscheinen lässt, aber den Trick nicht zeigt. Die Autoren dieser Arbeit wollen den Trick finden.

Sie führen ein neues Werkzeug namens KAN-SR ein. So funktioniert es, unterteilt in einfache Konzepte:

1. Das neue Detektiv-Werkzeug: KANs

Traditionelle KI-Modelle sind wie ein Team von Arbeitern, bei denen jeder die gleiche Aufgabe auf eine starre Weise erledigt. Die Autoren verwenden einen neueren Typ von KI namens Kolmogorov-Arnold-Network (KAN).

Die Analogie: Stellen Sie sich eine traditionelle KI wie ein Fließband in einer Fabrik vor, bei dem jeder Arbeiter exakt dieselbe Aufgabe erledigt. Ein KAN ist eher wie ein Team von spezialisierten Kunsthandwerkern. Jeder Arbeiter kann seine eigene, einzigartige, flexible Fertigkeit (eine „lernbare Funktion“) erlernen, um spezifische Teile des Problems zu bewältigen. Dies macht das Team viel besser darin, komplexe, gekrümmte oder ungewöhnliche Muster in den Daten zu verstehen.

2. Die Strategie: „Divide and Conquer“ (Teile und Herrsche)

Die Autoren erkannten, dass der Versuch, ein riesiges, komplexes mathematisches Rätsel auf einmal zu lösen, zu schwierig ist. Also bauten sie einen Arbeitsablauf auf, der das Problem herunterbricht, ähnlich wie man ein riesiges Puzzle lösen würde, indem man die Teile zuerst nach Farben sortiert.

Schritt 1: Der schnelle Scan. Zuerst versuchen sie, sehr einfache Antworten zu finden (wie grundlegende Multiplikation oder Addition). Wenn das funktioniert, hören sie auf.
Schritt 2: Die „magische“ Vereinfachung. Bevor sie ein komplexes Modell bauen, prüfen sie, ob das Problem aufgeteilt werden kann. Hängt die Antwort zum Beispiel von zwei separaten Dingen ab, die gleichzeitig geschehen? Wenn ja, teilen sie das Problem in zwei kleinere, leichtere Rätsel auf.
Schritt 3: Das tiefe Eintauchen. Wenn das Rätsel immer noch zu schwer ist, nutzen sie die leistungsstarken KAN-„Kunsthandwerker“, um die Form der Kurve zu erlernen.
Schritt 4: Die Rückübersetzung in die menschliche Sprache. Sobald das KAN die Form gelernt hat, übersetzt es diese Form zurück in eine saubere, lesbare mathematische Gleichung (wie $y = x^2 + 5$ ), anstatt sie als unordentlichen Computercode zurückzulassen.

3. Der Test: Die Feynman-Herausforderung

Um zu sehen, ob ihr Werkzeug funktioniert, haben sie es an einem berühmten Satz von 240 mathematischen Problemen getestet, die von den Physikvorlesungen von Richard Feynman inspiriert sind. Diese Probleme sind darauf ausgelegt, knifflig zu sein, oft mit „Dummy-Variablen“ (Scheinargumenten, die wichtig aussehen, aber es nicht sind) und verrauschten Daten (wie Rauschen auf einem Radio).

Das Ergebnis: KAN-SR war der Champion. Es löste 93 % der einfachen Probleme und 60 % der mittelschweren Aufgaben und schlug damit alle anderen Methoden. Selbst wenn die Daten verrauscht oder voller falscher Hinweise waren, war KAN-SR das einzige Werkzeug, das zuverlässig die wahre zugrunde liegende Regel finden konnte.

4. Der Realitätstest: Ein virtueller Bioreaktor

Die Autoren wollten auch sehen, ob dies bei sich bewegenden, sich verändernden Systemen (dynamischen Systemen) funktionieren kann, nicht nur bei statischen Bildern. Sie simulierten einen Bioprozess (eine virtuelle Fabrik, in der Bakterien wachsen, um ein Produkt herzustellen).

Die Herausforderung: Reale Daten sind unordentlich. Wenn man versucht, die Geschwindigkeit des Bakterienwachstums zu berechnen, indem man verrauschte Messungen betrachtet, bricht die Mathematik normalerweise zusammen.
Die Lösung: Sie verwendeten eine spezielle Technik (Neural Controlled Differential Equations), um das Rauschen zuerst zu glätten und so einen sauberen „Film“ des Wachstums zu erstellen. Dann speisten sie diesen sauberen Film in KAN-SR ein.
Das Ergebnis: KAN-SR rekonstruierte erfolgreich die Gleichungen, die das Wachstum der Bakterien steuern. Obwohl es ein winziges Detail darüber übersah, wie die Bakterien aufhören zu wachsen, wenn sie zu dicht gedrängt liegen, erfasste es die Hauptgeschichte perfekt. Das Modell konnte das zukünftige Wachstum fast exakt so gut vorhersagen wie die ursprüngliche komplexe Simulation.

Das Fazit

Das Paper behauptet, dass KAN-SR eine leistungsstarke neue Methode ist, um die in den Daten verborgenen „Naturgesetze“ zu entdecken.

Es ist intelligenter darin, falsche Hinweise zu ignorieren.
Es ist besser darin, einfache, für Menschen lesbare Gleichungen zu finden als bisherige Methoden.
Es kann mit verrauschten, realen Daten umgehen, indem es diese zuerst glättet.

Ein Hinweis auf Grenzen: Die Autoren sind ehrlich über die Grenzen des Werkzeugs. Es arbeitet am besten, wenn die Antwort innerhalb eines bestimmten Satzes mathematischer Bausteine gefunden werden kann, die sie bereitgestellt haben. Wenn die wahre Antwort etwas ist, das völlig außerhalb ihrer „Bibliothek“ von Formen liegt, oder wenn die Daten wichtige Informationen gänzlich vermissen lassen, könnte das Werkzeug Schwierigkeiten haben. Es ist ein sehr starker Detektiv, aber es benötigt immer noch die Hinweise, damit es arbeiten kann.

Technisches Resümee: KAN-SR

Problemstellung
Die symbolische Regression (SR) zielt darauf ab, geschlossene mathematische Ausdrücke zu entdecken, die einen gegebenen Datensatz genau modellieren, indem sowohl die funktionale Form als auch deren Parameter abgeleitet werden. Im Gegensatz zur traditionellen Regression mit festen Strukturen oder Black-Box-Maschinellen-Lernmodellen strebt die SR nach interpretierbaren, prägnanten Beziehungen, die für wissenschaftliche Entdeckungen essenziell sind. Klassische Methoden wie die Genetische Programmierung (GP) leiden jedoch häufig unter mangelnder Sample-Effizienz, hohen Rechenkosten und Skalierbarkeitsproblemen. Jüngste neuro-symbolische Ansätze haben Schwierigkeiten mit dem End-to-End-Training diskreter Repräsentationen, und ein Mangel an universellen Benchmarks erschwert den konsistenten Vergleich. Darüber hinaus ist die Anwendung von SR auf dynamische technische Systeme aufgrund der Sensitivität der Ableitungsabschätzung gegenüber Rauschen in Zeitreihendaten eine Herausforderung.

Methodik: Das KAN-SR-Framework
Die Autoren schlagen KAN-SR vor, ein Framework, das auf Kolmogorov-Arnold-Netzwerken (KANs) [22, 23] basiert und eine Divide-and-Conquer-Strategie sowie symbolische Vereinfachung kombiniert.

Netzwerkarchitektur:
- KANs: Im Gegensatz zu Standard-Neuronalen-Netzen mit festen Aktivierungsfunktionen verwenden KANs lernbare univariate Funktionen. Die Autoren implementieren Fast-KAN unter Verwendung von Radialen Basisfunktionen (speziell einer Reflectional Switch Activation Function, RSWAF) anstelle von B-Splines, um die Trainingsgeschwindigkeit und Effizienz zu verbessern.
- Hybride Komposition: Um die Einschränkung rein additiver KANs bei der Darstellung multiplikativer Interaktionen zu überwinden, erlaubt das Framework explizit sowohl additive als auch multiplikative Kombinationen lernbarer Aktivierungen innerhalb einzelner Layereinheiten.
- Regularisierung: Um Sparsamkeit (Sparsity) und Interpretierbarkeit zu erzwingen, nutzt das Modell ein Regularisierungsschema, das unnötige Eingabeverwendung über Magnitude- ( $L_1$ ) und Entropie-Verluste auf den Aktivierungsmatrizen sowie einen $L_1$ -Penalty auf den basalen linearen Gewichten bestraft.
Workflow und Pipeline:
Das Framework arbeitet über eine flexible, mehrstufige Pipeline (siehe Abbildung 1 in der Arbeit):
- Vorverarbeitung: Normalisierung der Eingabevariablen.
- Brute-Force-Suche: Eine initiale, exhaustive Suche nach einfachen multivariaten multiplikativen Ausdrücken.
- Vereinfachung und Dekomposition: Inspiriert von AI Feynman [15], erkennt das System rekursiv Separabilität (additiv oder multiplikativ) und Symmetrien (Translation, Skalierung etc.), um komplexe Probleme in dimensional reduzierte Teilprobleme zu zerlegen.
- Single-Layer KAN Fitting: Die dekomponierten Teilprobleme werden unter Verwendung minimaler KAN-Architekturen (einzelne oder mehrere Einheiten) gefittet.
- Symbolische Extraktion: Die trainierten univariaten Aktivierungen werden durch Funktionen aus einer vordefinierten, erweiterbaren Bibliothek (Polynome, trigonometrische, exponentielle, logarithmische Funktionen, Michaelis-Menten-Funktionen usw.) approximiert. Die beste Anpassung wird basierend auf dem mittleren quadratischen Fehler (MSE) oder einem Score, der MSE und Komplexität ausbalanciert, ausgewählt.
- Ausgangstransformation: Falls das Fitting fehlschlägt, wird die Zielvariable transformiert (z. B. logarithmisch), um die funktionale Form zu vereinfachen, bevor die Suche erneut versucht wird.
- Deep KAN Loop: Als Fallback werden tiefere KAN-Architekturen exploriert, falls einfachere Modelle scheitern, wobei sich die primären Experimente auf die Wirksamkeit der Vereinfachungs-Pipeline ohne diesen Schritt konzentrieren.
Erweiterung auf dynamische Systeme (Neural CDEs):
Für dynamische Systeme integriert das Framework Neurale Kontrollierte Differentielle Gleichungen (Neural CDEs) [36, 28]. Eine Neural CDE wird auf verrauschten Zeitreihendaten trainiert, um glatte Ableitungen zu schätzen. Diese robusten Ableitungsabschätzungen dienen als Ziel für den symbolischen Regressionsschritt, was die Entdeckung von Steuerungsgesetzen (kinetische Geschwindigkeitsgesetze) trotz verrauschter Beobachtungen ermöglicht.

Wesentliche Beiträge

Framework-Vorschlag: Einführung von KAN-SR, das kompositorisches Deep Learning (KANs) mit symbolischer Extraktion und Vereinfachung vereint.
Symbolische Pipeline: Entwicklung einer Pipeline zur symbolischen Extraktion und Vereinfachung, inspiriert von AI Feynman, unter Nutzung einer umfassenden univariaten Funktionsbibliothek.
Benchmark-Evaluierung: Umfassende Evaluierung auf dem SRSD-Feynman-Datensatz [16], die Verbesserungen bei den symbolischen Rekuperationsraten zeigt.
Dynamische Modellierung: Erweiterung der Methode auf dynamische Systeme mittels einer Bioprozess-Fallstudie unter Nutzung von Neural CDEs für eine rauschresistente Ableitungsabschätzung.

Experimentelle Ergebnisse

SRSD-Feynman Benchmark: KAN-SR erreichte die höchsten Lösungsraten über alle Schwierigkeitsgrade (Easy, Medium, Hard) im Vergleich zu State-of-the-Art-Baselines (gplearn, AFP, AIF, DSR, PySR, etc.).
- Easy: 93,3 % Lösungsrate (gegenüber 60,0 % beim nächstbesten Verfahren).
- Medium: 60,0 % (gegenüber 30,0 % für PySR).
- Hard: 12,0 % (gegenüber 4,0 % für PySR).
- Robustheit: Das Framework behielt eine hohe Performance (86,7 % bei Easy) bei, selbst wenn Dummy-Variablen (irrelevante Variablen) eingeführt wurden, und übertraf damit andere Methoden signifikant. Es demonstrierte zudem Robustheit gegenüber Gaußschem Rauschen und löste über 5-mal mehr Easy-Probleme bei einem Rauschpegel von 0,1.
Bioprozess-Fallstudie: In einem simulierten Batch-Fermentationsmodell konnte der zweistufige Ansatz (Neural CDE für Ableitungen + KAN-SR für Gleichungen) kinetische Geschwindigkeitsgleichungen extrahieren, die strukturell den Ground-Truth-Gleichungen ähnelten. Obwohl der biomassenabhängige Selbstinhibitions-Term nicht vollständig rekonstruiert wurde, reproduzierte das resultierende symbolische Modell die Systemdynamik mit hoher Treue in Paritätsplots.

Bedeutung und Behauptungen
Das Paper behauptet, dass KAN-SR einen signifikanten Fortschritt in der symbolischen Regression darstellt, indem es die Ausdrucksstärke von Deep Learning effektiv mit der Interpretierbarkeit symbolischer Formen kombiniert. Der „Divide-and-Conquer“-Ansatz, der die Detektion von Separabilität und Symmetrie nutzt, ermöglicht es dem Framework, komplexe Probleme zu lösen, die andere Methoden oft überfordern – insbesondere in Gegenwart irrelevanter Variablen und Rauschen.

Die Autoren positionieren KAN-SR als ein Werkzeug, das in der Lage ist, Ground-Truth-Gleichungen in wissenschaftlichen Domänen zu rekonstruieren, wobei sie insbesondere das Potenzial zur Modellierung dynamischer technischer Systeme wie Bioprozessen hervorheben. Sie merken an, dass die Methode zwar exzellent arbeitet, wenn die Ground-Truth aus den Trainingsvariablen rekonstruierbar ist, aber an Grenzen stößt, wenn die optimale Lösung außerhalb des durch die einlagige KAN-Architektur und die spezifische univariate Funktionsbibliothek definierten Suchraums liegt. Das Framework wird als ein Schritt hin zu einer robusteren, interpretierbaren dynamischen Modellierung präsentiert, wobei die Autoren einräumen, dass eine breitere Validierung an realen Zeitreihensystemen erforderlich ist, um die Generalisierbarkeit vollständig zu bewerten.