🤖 machine learning

Population Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise

Dieser Artikel stellt die ersten Populationsrisikoschranken für Kolmogorov-Arnold-Netzwerke her, die mittels Mini-Batch-DP-SGD mit korreliertem Rauschen trainiert werden, und überwindet dabei technische Herausforderungen in der nicht-konvexen Optimierung, um schärfere Generalisierungsgarantien zu liefern, die praktische Trainingsszenarien besser widerspiegeln als frühere Analysen mit Voll-Batch oder unabhängigem Rauschen.

Ursprüngliche Autoren: Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft

Veröffentlicht 2026-05-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einen intelligenten Roboter unterrichten und dabei Geheimnisse bewahren

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (einen Kolmogorov-Arnold-Netzwerk oder KAN genannt), den Sie darin unterrichten wollen, Muster zu erkennen, wie etwa die Identifizierung von Krankheiten aus medizinischen Scans oder die Vorhersage von Börsentrends.

Normalerweise zeigen Sie diesem Roboter zum Lernen Tausende von Beispielen. Diese Beispiele enthalten jedoch oft sensible private Informationen (wie den Namen eines Patienten oder Geschäftsgeheimnisse eines Unternehmens). Sie möchten nicht, dass der Roboter diese Geheimnisse auswendig lernt und sie später versehentlich preisgibt.

Um dies zu verhindern, verwenden Mathematiker eine Technik namens Differential Privacy (DP). Stellen Sie sich dies vor, als würden Sie den Lektionen des Roboters ein wenig „Rauschen" oder „Störgeräusch" hinzufügen. Dieses Rauschen ist wie Nebel; es erschwert es dem Roboter, ein einzelnes spezifisches Beispiel auswendig zu lernen, aber er ist immer noch intelligent genug, um die allgemeinen Regeln zu verstehen.

Das Problem:

Alte Theorie: Frühere mathematische Theorien darüber, wie gut diese Roboter mit Privatsphäre lernen, basierten auf einer sehr langsamen, ineffizienten Lehrmethode namens „Full-Batch" (Vollstapel). Es ist wie ein Lehrer, der dem gesamten Klassenzimmer das gesamte Lehrbuch vorliest, bevor er eine einzige Frage stellt. In der realen Welt unterrichten wir in „Mini-Batches" (ein paar Seiten lesen, eine Frage stellen, ein paar weitere Seiten lesen). Die alte Mathematik funktionierte nicht für diese schnellere, realweltliche Methode.
Das Rausch-Problem: Standard-Privatsphärenmethoden fügen „zufälliges Rauschen" hinzu, das sich jedes Mal vollständig ändert (Unabhängiges Rauschen). Forscher haben jedoch kürzlich herausgefunden, dass es viel besser funktioniert, wenn das Rauschen „korreliert" ist – das bedeutet, dass das Rauschen der letzten Lektion hilft, das Rauschen der aktuellen Lektion auszugleichen. Es ist wie bei Noise-Cancelling-Kopfhörern. Bisher hatte jedoch niemand mathematisch bewiesen, dass dieser „Noise-Cancelling"-Trick für diese spezifischen intelligenten Roboter (KANs) funktioniert, wenn sie schnell mit Mini-Batches unterrichtet werden.

Die Lösung:
Dieses Papier ist das erste, das die mathematischen „Garantien" (Risikogrenzen) für das Unterrichten dieser KAN-Roboter mit folgenden Methoden aufschreibt:

Mini-Batches (die schnelle, realweltliche Methode).
Korreliertes Rauschen (die intelligente, Noise-Cancelling-Privatsphärenmethode).

Die Kernherausforderungen: Warum war das so schwierig?

Die Autoren sahen sich zwei Haupt-Hürden gegenüber, die sie als „technische Hindernisse" beschreiben:

Das „Echo"-Problem: Bei standardmäßiger Privatsphäre ist das Rauschen zufällig und unabhängig. Wenn Sie heute Rauschen hinzufügen, beeinflusst es morgen nichts. Aber bei korreliertem Rauschen ist das Rauschen von heute mit dem von gestern verknüpft. In der Mathematik bricht dies die üblichen „Zentrierungs"-Tricks, die verwendet werden, um zu beweisen, dass Dinge funktionieren. Es ist wie der Versuch, einen Stapel Blöcke zu balancieren, bei dem sich der unterste Block ständig verschiebt, abhängig davon, wie sich der oberste Block gestern bewegt hat.
Das „Türsteher"-Problem: Um zu verhindern, dass der Roboter seltsame, extreme Muster lernt, hat der Trainingsalgorithmus einen „Türsteher" (ein sogenannter Projektionsschritt), der die Einstellungen des Roboters zurück in eine sichere Zone wirft, wenn sie zu wild werden. Die Autoren stellten fest, dass dieser Türsteher versehentlich den „Noise-Cancelling"-Effekt durcheinanderbringt. Es ist wie ein Türsteher in einem Club, der verhindert, dass die Noise-Cancelling-Kopfhörer funktionieren, weil er die Tür offen hält.

Wie sie es gelöst haben: Der dreistufige Zaubertrick

Um diese Probleme zu umgehen, erfanden die Autoren eine neue Art, die Mathematik zu betrachten:

Der „Geister"-Roboter (Auxiliary Unprojected Dynamics): Anstatt den echten Roboter zu beobachten (der vom Türsteher gestoßen wird), stellten sie sich einen „Geister-Roboter" vor, der nie gestoßen wird. Sie bewiesen, dass sich der Geister-Roboter fast exakt wie der echte verhält, solange der echte Roboter in der sicheren Zone bleibt.
Die „verschobene" Sichtweise (Shifted Iterate): Sie erkannten, dass sie, da das Rauschen mit der Vergangenheit verknüpft ist, nicht einfach die aktuelle Position des Roboters betrachten konnten. Sie mussten ihre Perspektive „verschieben" und effektiv das aktuelle Rauschen in den Zustand des Roboters aufnehmen. Dies ermöglichte ihnen zu sehen, wie sich das Rauschen von gestern und heute gegenseitig auslöschen, wie zwei Wellen, die aufeinandertreffen und das Wasser glätten.
Der „Vertrauens-Check" (High-Probability Bootstrap): Sie verwendeten einen statistischen Trick, um zu beweisen, dass der echte Roboter mit sehr hoher Wahrscheinlichkeit den Türsteher niemals wirklich benötigt. Er bleibt von selbst in der sicheren Zone. Das bedeutete, dass sie den Türsteher in ihrer Mathematik ignorieren und nur die Gleichungen des „Geister-Roboters" verwenden konnten, die viel einfacher zu lösen waren.

Die Ergebnisse: Was haben sie bewiesen?

Das Papier liefert eine Formel, die uns genau sagt, wie gut der Roboter auf neuen, unbekannten Daten abschneiden wird.

Für nicht-private Ausbildung: Sie zeigten, dass selbst ohne Privatsphäre-Rauschen die Verwendung von Mini-Batches mit diesem spezifischen Robotertyp (KAN) sehr gut funktioniert, oft besser als ältere Theorien vermuten ließen.
Für private Ausbildung (Unabhängiges Rauschen): Sie bestätigten, dass die Standardmethode mit „zufälligem Rauschen" funktioniert, aber sie lieferten eine schärfere, genauere Formel dafür, wie viel Privatsphäre man im Verhältnis zum Genauigkeitsverlust erhält.
Für private Ausbildung (Korreliertes Rauschen): Dies ist der große Gewinn. Sie bewiesen, dass die „Noise-Cancelling"-Methode (korreliert) für diese Roboter funktioniert.
- Der Haken: Sie stellten fest, dass korreliertes Rauschen zwar in der Theorie großartig ist, die Mathematik jedoch kompliziert wird, wenn man versucht, das „Privatsphären-Budget" (wie viel Privatsphäre man benötigt) mit dem „Rausch-Niveau" auszubalancieren. In ihrem spezifischen Setup wurden die Vorteile des Noise-Cancelling manchmal dadurch zunichte gemacht, dass mehr Rauschen hinzugefügt werden musste, um strenge Privatsphärenregeln zu erfüllen. Dennoch legten sie das erste mathematische Fundament dafür, dass es möglich ist, und stellten die Werkzeuge bereit, um es in Zukunft besser funktionieren zu lassen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, eine Klasse von Schülern (den KAN) darin zu unterrichten, ein Rätsel zu lösen.

Alte Methode: Sie lesen ihnen das gesamte Rätselbuch auf einmal vor (Full-Batch). Das ist langsam und langweilig.
Realwelt: Sie zeigen ihnen ein paar Seiten auf einmal (Mini-Batch).
Privatsphäre: Sie möchten, dass sie die Logik des Rätsels lernen, aber nicht die spezifischen Zahlen auf der Seite auswendig lernen, da diese Zahlen geheim sind. Also flüstern Sie ihnen beim Lernen ein wenig Rauschen ins Ohr.
Die Innovation: Anstatt jedes Mal zufälliges Rauschen zu flüstern, flüstern Sie ein Muster, das das vorherige Flüstern auslöscht (Korreliertes Rauschen).
Der Beitrag des Papiers: Vor diesem Papier wusste niemand, ob dieses „gemusterte Flüstern" den Schülern tatsächlich helfen würde, die Rätsellogik zu lernen, ohne verwirrt zu werden. Die Autoren bewiesen, dass es tatsächlich funktioniert, zeigten aber auch, dass man sehr vorsichtig sein muss, wie man das Muster flüstert, oder die Schüler könnten durch den „Türsteher" (die Sicherheitsregeln) verwirrt werden, der die Flüstereien stört. Sie lieferten das genaue Rezept (die mathematischen Grenzen), um dies zum Funktionieren zu bringen.

Technisches Fazit: Populationsrisikoschranken für Kolmogorov–Arnold-Netzwerke, die mittels DP-SGD mit korreliertem Rauschen trainiert werden

1. Problemstellung

Die Arbeit adressiert eine kritische Lücke im theoretischen Verständnis von Kolmogorov–Arnold-Netzwerken (KANs), einer strukturierten Alternative zu Multi-Layer-Perceptrons (MLPs), die Interaktionen über lernbare univariate Funktionen parametrisiert. Obwohl KANs in wissenschaftlichen und ingenieurtechnischen Domänen mit sensiblen Daten eine starke empirische Leistung gezeigt haben, sind die bestehenden theoretischen Garantien für ihre Generalisierung (Populationsrisiko) begrenzt.

Insbesondere haben vorherige Arbeiten [60] Populationsrisikoschranken für KANs nur unter vollständigem Batch-Gradientenabstieg (GD) und unabhängigem Rauschen im Rahmen der Differentialen Privatsphäre (DP) etabliert. Dies lässt zwei signifikante praktische Regime unanalysiert:

Mini-Batch-Stochastischer Gradientenabstieg (SGD) mit Gradienten-Clipping: Das Standard-Trainingsrezept für moderne neuronale Netze, das die Optimierungsdynamik im Vergleich zum vollständigen Batch-GD grundlegend verändert.
DP-Mechanismen mit korreliertem Rauschen: Neuere Mechanismen (z. B. DP- $\lambda$ CGD [28]) führen zeitliche Korrelationen im Rauschen ein ( $\xi_t = \kappa(Z_t - \lambda Z_{t-1})$ ), um den Trade-off zwischen Privatsphäre und Nutzbarkeit zu verbessern. Die Standard-DP-Theorie geht von unabhängigem Rauschen aus, und es existieren keine Populationsrisikoschranken für das Training mit korreliertem Rauschen in nicht-konvexen Settings wie KANs.

Die Kernherausforderung besteht darin, dass die zeitliche Abhängigkeit im Rauschen die für die Standard-SGD-Analyse in einem Schritt essentielle „bedingte Zentrierungs"-Struktur bricht, während die Projektionsschritte, die zur Sicherstellung der Stabilität in der nicht-konvexen Optimierung verwendet werden, die partielle Kompensation korrelierter Störungen behindern.

2. Methodik und technischer Ansatz

Die Autoren etablieren Populationsrisikoschranken, indem sie das Risiko in Optimierungsrisiko (Konvergenz zum empirischen Minimum) und Generalisierungslücke (Unterschied zwischen empirischem und Populationsrisiko) zerlegen.

A. Optimierungsanalyse (Nicht-konvex, korreliertes Rauschen)
Um das korrelierte Rauschen in einem nicht-konvexen Regime zu handhaben, entwickeln die Autoren ein neuartiges Beweisframework, das die Einschränkungen standardisierter Argumente für projizierten SGD umgeht:

Auxiliäre unprojizierte Dynamik: Sie führen eine auxiliäre Trajektorie $\{\tilde{W}_t\}$ ein, die ohne Projektion evolviert, aber dieselben Mini-Batches und dasselbe Rauschen verwendet. Dies ermöglicht es der Analyse, sich auf die Rauschstruktur zu konzentrieren, ohne durch den Projektionsoperator behindert zu werden.
Verschobene Iterierte: Um das Fehlen einer bedingten Zentrierung bei korreliertem Rauschen zu adressieren (wo $E[\xi_t | \mathcal{F}_{t-1}] \neq 0$ ), definieren sie eine verschobene Iterierte $U_t = \tilde{W}_t + \eta c_{priv} Z_t$ . Diese Transformation absorbiert die aktuelle gaußsche Störung und offenbart eine Kompensationsstruktur, bei der der führende korrelierte Term auf ein Residuum proportional zu $(1-\lambda)$ reduziert wird.
High-Probability-Bootstrap: Sie wenden eine „gestoppte" Analyse an, um zu zertifizieren, dass die auxiliäre Trajektorie innerhalb eines lokalisierten Bereichs bleibt, in dem KAN-spezifische Krümmungsschätzungen (basierend auf dem Neural-Tangent-Kernel-Margin) gelten. Dies beinhaltet den Nachweis, dass die Projektion mit hoher Wahrscheinlichkeit inaktiv ist, wodurch die projizierten Iterierten $W_t$ den auxiliären unprojizierten Iterierten $\tilde{W}_t$ gleichgesetzt werden.

B. Generalisierungsanalyse
Die Generalisierungslücke wird mittels algorithmischer Stabilität begrenzt. Durch die Kopplung zweier Lauf des Algorithmus auf benachbarten Datensätzen (unter Verwendung derselben Initialisierung, Mini-Batches und Rauschsequenz) zeigen die Autoren, dass sich die additiven Rauschterme in der Differenz der Iterierten aufheben. Die Stabilitätsschranke hängt vom im vorherigen Schritt abgeleiteten Optimierungsrisiko ab.

C. Privatsphären-Bilanzierung
Die Arbeit liefert eine Privatsphärengarantie für den Mechanismus mit korreliertem Rauschen (DP- $\lambda$ CGD) unter gleichmäßiger Stichprobenziehung ohne Zurücklegen. Sie leitet eine analytische obere Schranke für den Rauschmultiplikator $\kappa$ ab, der erforderlich ist, um $(\epsilon, \delta)$ -DP zu erfüllen, wobei dominierende Paare und die Hockey-Stick-Divergenz genutzt werden, um die Korrelationsstruktur zu berücksichtigen.

3. Hauptbeiträge

Die Arbeit leistet folgende spezifische Beiträge:

Erste Populationsrisikoschranken für KANs in praktischen Regimen: Sie etabliert die ersten Populationsrisikoschranken für zweischichtige KANs, die mittels geclipptem Mini-Batch-SGD trainiert werden, und deckt sowohl nicht-private als auch DP-Settings ab. Dies bewegt die KAN-Theorie über das vollständige Batch-GD-Setting von [60] hinaus.
Erste nicht-konvexe Analyse von DP mit korreliertem Rauschen: Nach bestem Wissen der Autoren ist dies die erste Populationsrisikoanalyse für einen Mechanismus mit korreliertem Rauschen in einem nicht-konvexen Setting. Sie instantiiert dies für KANs, die mit geclipptem Mini-Batch-DP-SGD trainiert werden.
Scharfe Spezialisierungen: Die Ergebnisse stellen bestehende Schranken wieder her und verbessern sie:
- Für nicht-private Mini-Batch-SGD ergeben die Schranken ein Optimierungs- und Populationsrisiko der Ordnung $O(1/n)$ im polylogarithmischen Breitenregime, wobei logarithmische Faktoren und die Abhängigkeit vom NTK-Margin $\gamma$ unterdrückt werden.
- Für unabhängiges Rauschen bei DP-SGD ( $\lambda=0$ ) entsprechen die Schranken bis auf logarithmische Faktoren der unteren Schranke für konvexe DP-SCO aus [7] und verbessern die Ergebnisse für vollständige Batch-DP-GD aus [60] durch eine Reduzierung der erforderlichen Netzwerkbreite und der Abhängigkeit vom NTK-Margin.
- Für korreliertes Rauschen bei DP-SGD identifiziert die Analyse, wie der Korrelationsparameter $\lambda$ das Optimierungsrisiko beeinflusst, obwohl die finale Populationsrisikorate (unter konservativer Privatsphärenkalibrierung) asymptotisch mit der Rate für unabhängiges Rauschen übereinstimmt.

4. Hauptergebnisse

Unter repräsentativen Parameterregimen (polylogarithmische Breite $m \asymp \text{polylog}(n)$ ) leitet die Arbeit folgende Populationsrisikoraten für die gemittelten Iterierten ab:

Nicht-private Mini-Batch-SGD:
$\text{Risiko} \lesssim \frac{1}{n}$
Dies verbessert die Rate $O(1/(\gamma^4 n))$ für vollständigen Batch-GD in [60], indem $O(1/(\gamma^2 n))$ mit einer kleineren erforderlichen Breite erreicht wird.
Differential Private (Unabhängiges und korreliertes Rauschen):
Unter $(\epsilon, \delta)$ -DP erreichen sowohl Mechanismen mit unabhängigem als auch mit korreliertem Rauschen die Rate:
$\text{Risiko} \lesssim \frac{1}{\gamma \sqrt{n}} + \frac{\sqrt{d}}{\gamma^4 n \epsilon}$
(bis auf polylogarithmische Faktoren).
Die Analyse zeigt, dass zwar die zeitliche Korrelation den Optimierungsfaktor verbessert (skaliert mit $1-\lambda$ ), die konservative geschlossene Form der Privatsphärenkalibrierung, die für die theoretische Garantie erforderlich ist, diesen Gewinn in der finalen Populationsrisikoschranke jedoch kompensiert. Die Autoren weisen darauf hin, dass eine schärfere Privatsphären-Bilanzierung möglicherweise verbesserte $\lambda$ -abhängige Raten offenbaren könnte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die erste Optimierungs- und Populationsrisikoanalyse eines Mechanismus mit korreliertem Rauschen für DP-Training jenseits des konvexen Lernens, speziell für neuronale Netze (KANs), bereitzustellen.

Theoretische Neuheit: Der technische Kern – die Kombination aus auxiliärer unprojizierter Dynamik, verschobenen Iterierten und High-Probability-Bootstrapping – bietet einen neuen Weg zur Analyse von DP-Training mit korreliertem Rauschen in nicht-konvexen Regimen, der auch über KANs hinaus von eigenem Interesse sein könnte.
Praktische Relevanz: Durch die Abdeckung von Mini-Batch-SGD und korreliertem Rauschen schließen die Ergebnisse die Lücke zwischen theoretischen Garantien und dem „Standardrezept", das in modernen Deep-Learning- und Federated-Learning-Systemen verwendet wird.
Einschränkungen: Die Autoren geben bescheiden zu, dass die finale Populationsrisikorate für korreliertes Rauschen unter ihrer aktuellen konservativen Privatsphärenkalibrierung asymptotisch mit der Rate für unabhängiges Rauschen übereinstimmt. Sie identifizieren eine schärfere Privatsphären-Bilanzierung als offene Frage, die potenziell die theoretischen Vorteile der Korrelation in den finalen Risikoschranken freisetzen könnte. Darüber hinaus ist die Analyse derzeit auf zweischichtige KANs mit festen Koeffizienten der zweiten Schicht beschränkt.