📊 statistics

Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks

Dieser Artikel leitet theoretische Schranken für die Optimierung, Generalisierung und den Differential Privacy von Gradientenabstieg auf zweischichtigen Kolmogorov-Arnold-Netzen her und zeigt, dass eine polylogarithmische Netzwerkbreite für ein effizientes nicht-privates Training ausreicht, unter Privatsphäre-Einschränkungen jedoch notwendig wird, wodurch eine qualitative Lücke zwischen privaten und nicht-privaten Regimen aufgedeckt wird.

Ursprüngliche Autoren: Puyu Wang, Junyu Zhou, Philipp Liznerski, Marius Kloft

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Puyu Wang, Junyu Zhou, Philipp Liznerski, Marius Kloft

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Muster zu erkennen, etwa die Unterscheidung zwischen verschiedenen Arten von DNA-Sequenzen oder handschriftlichen Zahlen. Normalerweise verwenden wir ein standardisiertes „Gehirn" für Roboter, das Multilayer Perceptron (MLP) genannt wird. Betrachten Sie ein MLP als eine Fließbandfabrik, bei der jeder Arbeiter (Neuron) exakt dasselbe, starre Werkzeug für seine Arbeit verwendet. Es funktioniert gut, ist jedoch etwas ungeschickt.

Vor kurzem haben Wissenschaftler eine neue Art von Roboterhirn erfunden, die Kolmogorov-Arnold-Netzwerke (KAN) genannt werden. Anstatt starre Werkzeuge zu verwenden, erhält jeder Arbeiter in einem KAN die Möglichkeit, sein eigenes, maßgeschneidertes, flexibles Werkzeug zu erlernen. Dies macht den Roboter viel besser darin, komplexe Muster zu erkennen, insbesondere in den Wissenschaften und der Biologie.

Es gab jedoch ein großes Problem: Niemand wusste die Regeln dafür, wie man diese neuen Roboter effizient trainiert, wie man sicherstellt, dass sie die Trainingsdaten nicht einfach auswendig lernen (Generalisierung), oder wie man sie trainiert, ohne Geheimnisse aus den Daten zu stehlen (Privatsphäre).

Dieser Artikel ist wie ein Benutzerhandbuch und ein Sicherheitsleitfaden für das Training dieser neuen KAN-Roboter mit einer Methode namens Gradientenabstieg (was einfach eine elegante Art ist, „Lernen durch Versuch und Irrtum" zu sagen).

Hier ist das, was die Autoren entdeckt haben, aufgeschlüsselt in einfache Konzepte:

1. Die „Goldlöckchen"-Größe (Optimierung)

Wenn Sie ein KAN bauen, müssen Sie entscheiden, wie viele Arbeiter (Neuronen) Sie einstellen. Dies wird als Breite bezeichnet.

Der alte Glaube: Sie benötigten eine riesige Fabrik (eine enorme Anzahl von Arbeitern), um gute Ergebnisse zu erzielen.
Die neue Entdeckung: Sie benötigen keine riesige Fabrik. Sie brauchen nur ein kleines, überschaubares Team (speziell eine Anzahl von Arbeitern, die sehr langsam wächst, während das Problem größer wird).
Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Labyrinth zu lösen. Die alte Theorie besagte, dass Sie eine Armee von Menschen benötigten, um den Ausgang zu finden. Dieser Artikel zeigt, dass ein kleines, gut koordiniertes Aufklärungsteam tatsächlich ausreicht, um den Weg schnell zu finden.

2. Nicht nur Auswendiglernen (Generalisierung)

Wenn Sie einem Schüler zu viele spezifische Fakten beibringen, könnte er bei einer Prüfung mit leicht abweichenden Fragen scheitern. Dies wird als „Overfitting" bezeichnet.

Die Entdeckung: Da KANs diese spezielle flexible Struktur haben, lernen sie, wenn Sie sie mit der richtigen Anzahl von Arbeitern trainieren, nicht einfach die Trainingsdaten auswendig. Sie lernen tatsächlich die Regeln des Spiels.
Das Ergebnis: Der Artikel beweist mathematisch, dass der Roboter gut auf neuen, unbekannten Daten abschneiden wird, wenn Sie das Training zum richtigen Zeitpunkt stoppen. Es ist wie ein Schüler, der das Konzept der „Schwerkraft" lernt, anstatt nur auswendig zu lernen, dass „Äpfel fallen", sodass er vorhersagen kann, dass auch „Federn fallen".

3. Der Privatsphärenschild (Differential Privacy)

In Bereichen wie Medizin oder Biologie können Sie Patientendaten nicht einfach teilen, um einen Roboter zu trainieren. Sie benötigen Differential Privacy (DP). Dies ist wie das Hinzufügen einer Schicht aus „statischem Rauschen" zu den Daten, sodass die Informationen einer einzelnen Person nicht rückgängig gemacht werden können, das Gesamtmuster jedoch klar bleibt.

Die Herausforderung: Das Hinzufügen von Rauschen macht das Lernen normalerweise schwieriger. Man könnte denken, man benötige ein riesiges Team, um das Rauschen zu überwinden.
Die Überraschung: Der Artikel fand heraus, dass Sie selbst mit diesem Privatsphärenrauschen immer noch nur ein kleines Team benötigen (eine polylogarithmische Breite), um gute Ergebnisse zu erzielen.
Der Haken: Wenn Sie das Team zu groß machen, wird das Rauschen verstärkt, und der Roboter gerät in Verwirrung. Es ist wie das Versuch, ein Flüstern in einem überfüllten Raum zu hören; wenn der Raum zu groß wird, übertönt das Rauschen das Signal.
Der „Aha!"-Moment: Die Autoren fanden hier eine qualitative Lücke. Ohne Privatsphäre ist ein kleines Team ausreichend. Mit Privatsphäre ist ein kleines Team nicht nur ausreichend, es ist notwendig. Wenn Sie das Team zu groß machen, beeinträchtigen Sie tatsächlich die unter Privatsphärenschutz stehende Leistung.

4. Zu wissen, wann man aufhört (Early Stopping)

Der Artikel gibt auch Ratschläge, wie lange man den Roboter trainieren sollte.

Zu langes Training: Wenn Sie den Roboter zu lange weiter trainieren, beginnt er, das Rauschen in den Daten (oder das Privatsphärenrauschen) auswendig zu lernen, und seine Leistung auf neuen Daten verschlechtert sich.
Der Rat: Stoppen Sie das Training an einem bestimmten „Sweet Spot". Der Artikel liefert eine Formel, um diesen Punkt basierend auf der Menge der verfügbaren Daten und dem benötigten Maß an Privatsphäre zu finden.
Die Analogie: Es ist wie das Garen eines Steaks. Wenn Sie ihn zu lange garen, verbrennt er. Der Artikel sagt Ihnen genau, wie viele Minuten Sie ihn garen müssen, damit er perfekt ist, egal wie groß die Pfanne (Breite) ist.

Zusammenfassung der „Verkehrsregeln"

Die Autoren führten Experimente (an künstlichen Daten und echten handschriftlichen Zahlen) durch, um zu beweisen, dass ihre Mathematik in der realen Welt funktioniert. Sie fanden heraus:

Nicht überbauen: Sie benötigen kein riesiges Netzwerk. Eine moderate Größe ist am besten.
Nicht übertrainieren: Stoppen Sie das Training, bevor der Roboter beginnt, das Rauschen auswendig zu lernen.
Privatsphäre ist tückisch: Beim Schutz der Privatsphäre ist die Kleinhaltung des Netzwerks tatsächlich ein Feature, kein Bug. Es verhindert, dass das Privatsphärenrauschen das Lernen ruiniert.

Kurz gesagt: Dieser Artikel liefert uns den mathematischen Beweis, dass diese neuen, flexiblen KI-Modelle (KANs) effizient, sicher und effektiv trainiert werden können, ohne massive Ressourcen zu benötigen, sofern wir die spezifischen Regeln bezüglich Größe und Trainingszeit befolgen, die sie entdeckt haben.

Technische Zusammenfassung: Optimierung, Generalisierung und Differential-Privacy-Schranken für Gradientenabstieg auf Kolmogorov–Arnold-Netzwerken

Problemstellung

Kolmogorov–Arnold-Netzwerke (KANs) haben sich als strukturierte Alternative zu herkömmlichen Multilayer-Perceptrons (MLPs) etabliert, indem sie feste punktweise Nichtlinearitäten durch lernbare univariate Randfunktionen ersetzen. Während empirische Ergebnisse darauf hindeuten, dass KANs bei Aufgaben mit strukturierten Interaktionen (z. B. wissenschaftliches Rechnen, Genomik) hervorragend abschneiden, bleibt ein fundiertes theoretisches Verständnis ihrer Trainingsdynamik, ihrer Generalisierungsfähigkeiten und ihrer Privatsphäreeigenschaften begrenzt. Bestehende theoretische Analysen sind überwiegend algorithmusunabhängig und konzentrieren sich auf die Ausdruckskraft statt auf das Verhalten konkreter Trainingsalgorithmen wie Gradientenabstieg (GD). Darüber hinaus ist das Zusammenspiel zwischen Netzwerkbreite, Optimierungsdynamik und statistischer Generalisierung in KANs schlecht verstanden, insbesondere im Kontext von Differential Privacy (DP), wo das Hinzufügen von Rauschen zu Gradienten stochastische Störungen auf einer nicht-konvexen Landschaft verursacht.

Methodik

Die Autoren entwickeln ein einheitliches theoretisches Rahmenwerk zur Analyse von zweischichtigen KANs, die mittels Gradientenabstieg (GD) und ihrer differentialprivaten Variante (DP-GD) trainiert werden. Die Studie konzentriert sich auf ein zweischichtiges KAN mit einer einzelnen versteckten Schicht der Breite $m$ , einem skalaren Ausgang und univariaten Randfunktionen, die durch B-Spline-Basen parametrisiert sind.

Zu den wichtigsten methodischen Komponenten gehören:

Referenzpunkt-Rahmenwerk: Die Analyse wird durch einen Referenzpunkt $\Theta^*$ (z. B. eine interpolierende Lösung) verankert. Die Autoren leiten Schranken relativ zum Abstand zwischen der Initialisierung und diesem Referenzpunkt ab und nutzen eine „Stay-in-a-Ball"-Eigenschaft, um sicherzustellen, dass die Iterierten in einem Bereich verbleiben, in dem die Verlustlandschaft lokal glatt und nahezu konvex ist.
Selbstkonsistente Krümmungskontrolle: Eine Doppelinduktionsstrategie wird eingesetzt, um gleichzeitig die kumulative Trainingsverlust und die Abstände der Iterierten von der Initialisierung und dem Referenzpunkt zu begrenzen. Dies stellt sicher, dass die Eigenwerte der Hesse-Matrix entlang der Trajektorie einheitlich kontrolliert bleiben, und adressiert die Herausforderung, dass die Krümmung in KANs sensitiv von Parameterabweichungen abhängt.
Trajektorienweise Sensitivität und Stabilität: Für das private Setting führen die Autoren eine trajektorienweise Sensitivitätsanalyse der projizierten DP-GD-Rekursion durch. Sie kalibrieren Gaußsches Rauschen explizit, um $(\epsilon, \delta)$ -DP zu erfüllen, und analysieren die daraus resultierenden Nutzenschranken.
Annahmen: Die theoretischen Ergebnisse beruhen auf:
- NTK-Trennbarkeit: Eine Bedingung, die schwächer ist als die Positivdefinitheit der Gram-Matrix des Neural Tangent Kernel (NTK), unter der Annahme, dass eine Richtung im Parameterraum existiert, die die Daten mit einem Rand $\gamma$ trennt.
- Logistic Loss: Spezialisierte Analyse für den Logistic Loss unter der Annahme der NTK-Trennbarkeit.
- Beschränktheit: Annahmen bezüglich der Glattheit und Beschränktheit der Aktivierungsfunktionen und der B-Spline-Basisfunktionen.

Hauptbeiträge

1. Optimierung und Generalisierung mit schneller Rate

Die Arbeit etabliert die ersten algorithmusabhängigen Generalisierungsschranken speziell für GD-getrainerte KANs.

Optimierung: Unter NTK-Trennbarkeit beweisen die Autoren, dass eine polylogarithmische Netzwerkbreite ( $m \ge \text{polylog}(n, T)$ ) ausreicht, damit GD ein Optimierungsrisiko (Trainingsverlust) der Ordnung $\tilde{O}(1/T)$ erreicht. Dies steht im Gegensatz zu früheren Arbeiten, die eine polynomiale Skalierung der Breite erforderten.
Generalisierung: Durch die Kombination von Optimierungsgarantien mit einer Analyse der algorithmischen Stabilität leitet die Arbeit eine schnelle Generalisierungsrate von $\tilde{O}(1/n)$ für das Populationsrisiko ab. Dieses Ergebnis unterstreicht einen impliziten Regularisierungsbias von GD hin zu Lösungen, die nahe an der Initialisierung verbleiben.

2. Differential Privacy und Nutzen

Die Autoren liefern die erste Nutzenanalyse von DP-basierten Gradientenverfahren für KANs.

Rauschkalibrierung: Sie leiten explizite Anforderungen an die Varianz des Gaußschen Rauschens ab, um $(\epsilon, \delta)$ -DP für DP-GD auf KANs zu gewährleisten, wobei die Sensitivität durch Projektion auf beschränkte Domänen statt durch Gradienten-Clipping kontrolliert wird.
Nutzenschranken: Unter NTK-Trennbarkeit ist das trajektorienmittelte Populationsrisiko für DP-GD durch $\tilde{O}(\sqrt{d}/(n\epsilon))$ beschränkt, was der klassischen unteren Schranke für allgemeine konvexe Lipschitz-Probleme entspricht.
Notwendigkeit der Breite: Ein kritisches theoretisches Ergebnis ist, dass eine polylogarithmische Breite zwar für nicht-privaten GD ausreichend ist, sich jedoch als wesentlich notwendig für DP-GD erweist, um die gewünschte Nutzenschranke zu erreichen. Dies offenbart eine qualitative Lücke zwischen nicht-privaten und privaten Trainingsregimen, wobei Privatsphärebeschränkungen strengere strukturelle Anforderungen auferlegen.

3. Praktische Implikationen

Die Theorie leitet die praktische Auswahl von Hyperparametern:

Nicht-privater GD: Eine Erhöhung der Breite $m$ über einen kritischen Schwellenwert hinaus bringt abnehmende Grenzerträge sowohl für die Trainings- als auch für die Testgenauigkeit. Ebenso sättigt die Testgenauigkeit nach einer kritischen Anzahl von Iterationen $T$ , was darauf hindeutet, dass ein Early Stopping für die Generalisierung vorteilhaft ist.
Privater DP-GD: Unter einem festen Privatsphäre-Budget schlägt die Theorie moderate Breiten und Early Stopping vor. Übermäßige Breite oder Iterationen verstärken das injizierte Privatsphäre-Rauschen und verschlechtern den Nutzen.

Ergebnisse

Theoretische Schranken: Die Arbeit liefert rigorose Schranken für Optimierungsrisiko, Populationsrisiko und privaten Nutzen. Insbesondere wird für DP-GD die Nutzenschranke $\tilde{O}(\sqrt{d}/(n\epsilon))$ mit polylogarithmischer Breite erreicht und entspricht der minimax-unteren Schranke für konvexe Lipschitz-Probleme.
Empirische Validierung: Experimente mit synthetischen Logistikklassen-Daten und MNIST validieren die theoretischen Vorhersagen:
- Sättigungspunkte: Sowohl Trainings- als auch Testgenauigkeit plateauen jenseits empirisch beobachteter kritischer Breiten ( $m_{crit}$ ) und Iterationen ( $T_{crit}$ ).
- Privater Nutzen: Im DP-Setting erreicht der Nutzen bei moderaten Werten für $m$ und $T$ seinen Höhepunkt, bevor er aufgrund von Rauschakkumulation abnimmt, was den theoretischen Trade-off bestätigt.
- NTK-Trennbarkeit: Empirische Messungen des NTK-Randes auf nichtlinearen synthetischen Datensätzen zeigen, dass KANs die Trennbarkeitsannahme erfüllen und größere Ränder als parametrisch angepasste ReLU-Netzwerke aufweisen, insbesondere mit zunehmender Breite.

Bedeutung und Behauptungen

Die Arbeit beansprucht, das erste fundierte theoretische Fundament für das Training von KANs mittels gradientenbasierter Methoden zu liefern und die Lücke zwischen ihrem empirischen Erfolg und dem theoretischen Verständnis zu schließen.

Theoretischer Fortschritt: Sie geht über algorithmusunabhängige Ausdruckskraftresultate hinaus, um konkrete Garantien für GD-Iterierte zu bieten, und zeigt, dass KANs schnelle Konvergenz- und Generalisierungsraten mit deutlich kleineren Breiten (polylogarithmisch) erreichen können als bisher für MLPs unter ähnlichen Annahmen für notwendig gehalten wurde.
Privatsphäre-Erkenntnisse: Die Arbeit identifiziert einzigartig eine qualitative Lücke zwischen privatem und nicht-privatem Training und zeigt, dass Privatsphärebeschränkungen spezifische Breitenregime erfordern, um den Nutzen zu erhalten – eine Erkenntnis, die in früheren nicht-privaten Analysen nicht vorhanden war.
Praktische Anleitung: Durch die Verknüpfung theoretischer Schranken mit empirischen Beobachtungen bietet die Arbeit handlungsorientierte Anleitung für Praktiker hinsichtlich der Netzwerkaritektur (Breite) und der Trainingsdauer (Early Stopping), um die Leistung zu optimieren und gleichzeitig Privatsphärebeschränkungen einzuhalten.

Die Autoren weisen auf Einschränkungen hin und stellen fest, dass die Analyse derzeit auf zweischichtige KANs beschränkt ist, glatte Aktivierungsfunktionen annimmt und sich auf GD im Vollbatch-Modus statt auf stochastische Varianten (SGD) konzentriert. Als zukünftige Arbeiten wird vorgeschlagen, diese Garantien auf tiefere Architekturen und nicht-glatte Aktivierungen zu erweitern.