🤖 machine learning

Hierarchical RBF-KAN and RBF-SKAN Architectures for Multidimensional Function Approximation and Random Field Learning

Diese Arbeit schlägt hierarchische Kolmogorov-Arnold-Netzwerkarchitekturen unter Verwendung von Radialfunktionen vor und validiert diese theoretisch (RBF-KAN und RBF-SKAN), um hochdimensionale deterministische Funktionen und Zufallsfelder effektiv zu approximieren, wobei sie deren Fähigkeit demonstriert, den Fluch der Dimensionalität zu mildern und eine Konvergenz unter der Wasserstein-2-Metrik zu erreichen.

Ursprüngliche Autoren: Mingtao Xia, Qijing Shen

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingtao Xia, Qijing Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, die Welt zu verstehen. Manchmal ist die Welt eine vorhersehbare Maschine (wie eine Uhr), und manchmal ein chaotischer Sturm (wie das Wetter). Dieses Paper stellt zwei neue „Gehirn-Architekturen“ vor, die darauf ausgelegt sind, diese Muster besser zu lernen als bisherige Methoden.

Hier ist die Aufschlüsselung ihrer Erfindung, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Dimensionalitätsfalle“

Stellen Sie sich vor, Sie versuchen, eine Form zu beschreiben.

Wenn es eine Linie (1D) ist, ist es einfach.
Wenn es ein Würfel (3D) ist, ist es schwieriger.
Wenn es ein Hyperwürfel mit 100 Dimensionen ist, wird es zum Albtraum.

In der Mathematik und KI wird dies als „Fluch der Dimensionalität“ bezeichnet. Wenn Sie mehr Variablen (Dimensionen) hinzufügen, explodiert die Menge an Daten, die benötigt werden, um die Form zu verstehen, und Standard-KI-Modelle werden verwirrt und scheitern. Sie versuchen, das ganze riesige Puzzle auf einmal auswendig zu lernen und werden davon überfordert.

2. Die Lösung: Das „Hierarchical RBF-KAN“ (Für Vorhersehbares)

Die Autoren haben einen neuen Typ eines neuronalen Netzwerks entwickelt, das Hierarchical RBF-KAN genannt wird.

Die Analogie: Betrachten Sie eine Standard-KI als einen Generalunternehmer, der versucht, ein ganzes Haus zu bauen, indem er jeden Ziegel, jedes Fenster und jede Dachziegel gleichzeitig betrachtet. Das ist chaotisch und langsam.
Der neue Ansatz: Das Hierarchical RBF-KAN ist wie ein Team von spezialisierten Subunternehmern, die in einer strengen Hierarchie arbeiten.
- Schritt 1: Ein Team kümmert sich nur um die x-Achse (links/rechts).
- Schritt 2: Ein anderes Team kümmert sich nur um die y-Achse (oben/unten).
- Schritt 3: Eine „Manager“-Schicht kombiniert diese einfachen, eindimensionalen Geschichten zu einem komplexen 3D-Bild.

Warum das funktioniert:
Anstatt zu versuchen, ein 100-dimensionales Puzzle auf einmal zu lösen, zerlegt das Netzwerk es in 100 winzige, einfache 1D-Puzzles. Dann fügt es die Antworten zusammen.

Die Behauptung des Papers: Diese Methode ist mathematisch bewiesen viel besser darin, hochdimensionale Daten zu handhaben, als ältere Methoden. Sie „schummelt“ die Dimensionalität quasi aus, indem sie das Problem vereinfacht.
Das Geheimrezept: Sie haben auch „ResNet“-Techniken hinzugefügt (die wie Aufzüge in einem Wolkenkratzer fungieren und es Informationen ermöglichen, Etagen zu überspringen, falls nötig), um den Lernprozess schneller und stabiler zu machen.

3. Die zweite Lösung: Das „Hierarchical RBF-SKAN“ (Für Chaotisches)

Manchmal ist die Welt nicht nur eine Form, sondern ein zufälliges Feld. Stellen Sie sich vor, Sie versuchen, den Wind vorherzusagen. Es ist nicht nur eine Zahl; es ist eine Wolke von Möglichkeiten. Sie müssen nicht nur vorhersagen, wo der Wind ist, sondern auch die Wahrscheinlichkeit, dass er dort ist.

Die Analogie: Frühere Methoden (wie CVAE oder CNF) sind wie der Versuch, das Wetter vorherzusagen, indem man nur eine einzige Momentaufnahme betrachtet. Sie bekommen oft den „Durchschnitt“ richtig, scheitern aber daran, die Variabilität (die Stürme) vorherzusagen.
Der neue Ansatz: Das RBF-SKAN ist ein probabilistischer Simulator. Es lernt nicht nur einen Pfad, sondern die gesamte „Wolke“ der Möglichkeiten.
- Es nutzt dieselbe Hierarchie von „spezialisierten Subunternehmern“ wie das erste Modell.
- Aber es fügt eine Ebene kontrollierter Zufälligkeit (wie das Würfelspielen) innerhalb des Netzwerks hinzu. Dies ermöglicht es ihm, viele verschiedene mögliche Ergebnisse zu generieren, die mit dem realen Chaos übereinstimmen.

Warum das funktioniert:
Das Paper behauptet, dass dieses neue Modell besser darin ist, die „Verteilung“ (Unsicherheit) von Daten zu erfassen als aktuelle Industriestandards. Es lernt die „Form“ der Zufälligkeit, nicht nur den Durchschnitt.

4. Die Ergebnisse: Was haben sie herausgefunden?

Die Autoren testeten diese neuen Gehirne bei drei Arten von Herausforderungen:

Hochdimensionale Funktionen: Sie versuchten, einer KI eine komplexe, wellige mathematische Funktion mit bis zu 6 Dimensionen beizubringen.
- Ergebnis: Das neue Hierarchical RBF-KAN war der klare Gewinner. Ältere Modelle (wie Standard-RBF-Netzwerke oder andere KANs) scheiterten daran, das Muster zu lernen, während die Dimensionen zunahmen. Das neue Modell blieb präzise.
Chaotische Systeme (Das Lorenz-System): Sie versuchten, den Pfad eines chaotischen Wettersystems (den berühmten „Schmetterlingseffekt“) vorherzusagen.
- Ergebnis: Das neue Modell sagte den Pfad und die zugrunde liegenden Bewegungsregeln genauer voraus als jedes andere Netzwerk, das sie getestet haben.
Zufällige Felder (Unsicherheit): Sie versuchten, ein verrauschtes, zufälliges Datenfeld zu rekonstruieren.
- Ergebnis: Das neue RBF-SKAN war das einzige Modell, das sowohl den Durchschnittswert als auch die Variabilität (Standardabweichung) der Daten genau vorhersagen konnte. Die Konkurrenten (CVAE und CNF) waren gut im Durchschnitt, aber schlecht darin, das Chaos vorherzusagen.

Zusammenfassung

Das Paper präsentiert einen neuen Weg, KI-Gehirne zu bauen, die:

Große, komplexe Probleme in kleine, einfache 1D-Stücke zerlegen (um den „Fluch der Dimensionalität“ zu lösen).
Eine Hierarchie von spezialisierten Schichten nutzen anstatt eines riesigen, unübersichtlichen Geflechts.
Sowohl berechenbare Mathematik als auch chaotische Zufälligkeit besser handhaben können als aktuelle Top-Modelle.

Die Autoren kommen zu dem Schluss, dass sie durch die Organisation des Netzwerks auf diese Weise komplexe, hochdimensionale Dinge mit wesentlich höherer Genauigkeit und weniger Verwirrung lernen können als zuvor.

Technische Zusammenfassung: Hierarchische RBF-KAN- und RBF-SKAN-Architekturen

Problemstellung
Die Arbeit befasst sich mit den Herausforderungen bei der Approximation hochdimensionaler deterministischer Funktionen und dem Lernen von Zufallsfeldmodellen. Während Radial-Basis-Funktions-Neuronale Netze (RBFNNs) über etablierte theoretische Grundlagen zur universellen Approximation verfügen und vorteilhafte Optimierungseigenschaften bieten, haben bestehende mehrschichtige RBF-Architekturen oft Schwierigkeiten mit dem „Fluch der Dimensionalität“ in komplexen multivariaten Settings. Darüber hinaus haben sich jüngste Kolmogorov–Arnold-Netzwerk-Architekturen (KAN), die darauf abzielen, das Kolmogorov–Arnold-Repräsentations-Theorem zu replizieren, primär auf Spline-basierte Aktivierungsfunktionen oder uniforme Schichtstrukturen konzentriert. Die Autoren identifizieren eine Lücke in der rigorosen Analyse, wie hierarchische, nicht-uniforme RBF-basierte Architekturen effektiv hochdimensionale Funktionen und stochastische Felder lernen können, insbesondere im Hinblick auf ihre Fähigkeit, Dimensionalitätsprobleme zu mildern und Zufallsfelder unter Wasserstein-Metriken zu approximieren.

Methodik
Die Autoren schlagen zwei neuartige Architekturen vor:

Hierarchisches RBF-KAN: Entworfen für die multidimensionale deterministische Funktionsapproximation. Im Gegensatz zu Standard-RBFNNs oder bisherigen RBF-KAN-Modellen, die vollvernetzte Schichten mit uniformen Neuronenanzahlen verwenden, nutzt diese Architektur eine „hierarchische Blockstruktur“. Jeder Block besteht aus zwei distinkten Aktivierungsschichten, wobei die Anzahl der Neuronen in der ersten Post-Aktivierungsschicht das $(2d+1)$ -fache der zweiten beträgt, was die Struktur des Kolmogorov–Arnold-Repräsentations-Theorems explizit nachahmt. Die Aktivierungsfunktion ist ein Gauß-Kern $B(x) = \exp(-x^2)$ . Das Framework unterstützt sowohl die Standard-Feedforward-Propagation als auch ResNet-ähnliche Skip-Connections.
Hierarchisches RBF-SKAN: Eine stochastische Erweiterung des RBF-KAN, die für das Lernen von Zufallsfeldern konzipiert ist. Diese Architektur integriert zwei RBF-KAN-Module. Das erste Modul verarbeitet die Eingaben, während das zweite Modul durch das Sampling von Gewichten ( $w_{i,j}$ ) und RBF-Skalenparametern aus unabhängigen Verteilungen Zufälligkeit einführt. Dies ermöglicht es dem Netzwerk, eine Verteilung statt eines einzelnen deterministischen Wertes auszugeerten, was das Lernen von Zufallsfeldmodellen ermöglicht.

Theoretische Beiträge
Die Arbeit etabliert rigorose universelle Approximationstheoreme für beide Architekturen:

Deterministische Approximation: Die Autoren beweisen, dass das hierarchische RBF-KAN jede kontinuierliche multivariate Funktion mit beliebiger Präzision approximieren kann. Entscheidend ist, dass sie quantitative Fehlerschranken herleiten, die zeigen, dass die Konvergenzrate unter spezifischen Glattheitsbedingungen nicht explizit mit zunehmender Eingangsdimension $d$ degeneriert. Dies deutet darauf hin, dass die Architektur den Fluch der Dimensionalität teilweise lindern kann, indem sie die effektive Dimensionalität des Approximationsproblems reduziert.
Stochastische Approximation: Für das hierarchische RBF-SKAN beweisen die Autoren ein asymptotisches universelles Approximationsergebnis unter der quadratischen Wasserstein-2-Metrik ( $W_2$ ). Sie demonstrieren, dass das Framework Zufallsfeldmodelle approximieren kann, sofern die zugrunde liegenden Wahrscheinlichkeitsmaße die Bedingungen der uniformen Lipschitz-Stetigkeit in Bezug auf den Eingangsraum erfüllen.

Experimentelle Ergebnisse
Die Autoren validieren ihre Methoden durch drei primäre numerische Experimente:

Multidimensionale Funktionsapproximation: Das hierarchische RBF-KAN wurde an einer hoch oszillierenden Funktion (Gl. 23) mit Eingangsdimensionen von 1 bis 6 getestet. Die Ergebnisse zeigen, dass während Standard-RBF-MLPs und naive RBF-KANs Schwierigkeiten haben, die Genauigkeit bei steigender Dimensionalität aufrechtzuerhalten, das vorgeschlagene hierarchische RBF-KAN eine hohe Genauigkeit beibehält. Die Einbindung von ResNet-Techniken erwies sich als essenziell für ein stabiles Training und die Genauigkeit in Multi-Block-Konfigurationen.
Rekonstruktion chaotischer dynamischer Systeme: Die Architektur wurde auf die Rekonstruktion des Lorenz-Systems angewendet. Das hierarchische RBF-KAN (mit zwei Blöcken und ResNet) erreichte die geringsten relativen Fehler sowohl in den vorhergesagten Trajektorien als auch in den gelernten Dynamiken im Vergleich zu verschiedenen MLPs und KAN-Varianten.
Lernen von Zufallsfeldern: Das hierarchische RBF-SKAN wurde im Vergleich zu Conditional Normalizing Flows (CNF) und Conditional Variational Autoencoders (CVAE) zur Rekonstruktion eines multivariaten Zufallsfeldes getestet. Die vorgeschlagene Methode zeigte eine überlegene Leistung bei der Vorhersage der Standardabweichung des Zufallsfeldes, insbesondere in höheren Dimensionen, während CNF- und CVAE-Ansätze signifikante Fehler bei der Erfassung der Stochastizität aufwiesen.

Bedeutung und Ansprüche
Das Paper behauptet, dass das vorgeschlagene hierarchische Design entscheidend ist, um die Struktur der Kolmogorov–Arnold-Repräsentation originalgetreu abzubilden, was für das Lernen multivariater Funktionen kritisch ist. Zu den Kernbehauptungen gehören:

Das hierarchische RBF-KAN bietet einen theoretischen Pfad, um den Fluch der Dimensionalität bei der Funktionsapproximation teilweise zu lindern – eine Eigenschaft, die in bestehenden mehrschichtigen RBF- oder Standard-KAN-Architekturen nicht explizit garantiert wird.
Das hierarchische RBF-SKAN bietet einen robusten Rahmen für die Quantifizierung von Unsicherheiten beim Lernen von Zufallsfeldern und übertrifft gängige Machine-Learning-Ansätze wie CNF und CVAE bei der Erfassung von Verteilungseigenschaften (speziell der Standardabweichung).
Die Integration von ResNet-Techniken in Multi-Block-hierarchische RBF-KANs verbessert die Approximationsgenauigkeit und die Trainingsstabilität signifikant.

Die Autoren kommen zu dem Schluss, dass die vorgeschlagenen Methoden zwar höhere Rechenkosten als Standard-MLPs verursachen (aufgrund der hierarchischen Struktur und der $W_2$ -Verlustbewertung), sie jedoch eine überlegene Genauigkeit und Ausdrucksstärke für hochdimensionale und stochastische Lernaufgaben bieten. Zukünftige Arbeiten sollen die Exploration tieferer Blockstrukturen, die Integration in Transformer-Architekturen und die Erweiterung auf Klassifikationsaufgaben untersuchen.