📊 statistics

Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks

Dit artikel stelt theoretische grenzen vast voor de optimalisatie, generalisatie en differentieel privacy van gradiëntafdaal op twee-laagse Kolmogorov-Arnold-netwerken, en toont aan dat een polylogaritmische netwerkbreedte volstaat voor efficiënte niet-privé training maar noodzakelijk wordt onder privacybeperkingen, waardoor een kwalitatief verschil tussen privé- en niet-privé regimes wordt blootgelegd.

Oorspronkelijke auteurs: Puyu Wang, Junyu Zhou, Philipp Liznerski, Marius Kloft

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Puyu Wang, Junyu Zhou, Philipp Liznerski, Marius Kloft

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren patronen herkennen, zoals het onderscheiden tussen verschillende soorten DNA-sequenties of handgeschreven cijfers. Meestal gebruiken we een standaard "hersenen" voor robots die een Multilayer Perceptron (MLP) wordt genoemd. Denk aan een MLP als een fabrieksassemblagelijn waar elke arbeider (neuron) exact hetzelfde, stijve gereedschap gebruikt om zijn werk te doen. Het werkt goed, maar het is een beetje onhandig.

Recent hebben wetenschappers een nieuw soort robotbrein uitgevonden dat een Kolmogorov–Arnold Network (KAN) wordt genoemd. In plaats van stijve gereedschappen te gebruiken, krijgt elke arbeider in een KAN de kans om zijn eigen aangepaste, flexibele gereedschap te leren. Dit maakt de robot veel beter in het opsporen van complexe patronen, vooral in de wetenschap en biologie.

Er was echter een groot probleem: niemand kende de regels voor hoe je deze nieuwe robots efficiënt kunt trainen, hoe je ervoor kunt zorgen dat ze de trainingsdata niet zomaar uit het hoofd leren (generalisatie), of hoe je ze kunt trainen zonder geheimen uit de data te stelen (privacy).

Dit artikel is als een gebruiksaanwijzing en veiligheidsgids voor het trainen van deze nieuwe KAN-robots met een methode die Gradient Descent wordt genoemd (wat gewoon een chique manier is om te zeggen "leren door trial and error").

Hier is wat de auteurs hebben ontdekt, opgesplitst in eenvoudige concepten:

1. De "Goldilocks"-grootte (Optimalisatie)

Wanneer je een KAN bouwt, moet je beslissen hoeveel arbeiders (neuronen) je inhuurt. Dit wordt de breedte genoemd.

Het oude geloof: Je had een enorme fabriek nodig (een enorm aantal arbeiders) om goede resultaten te krijgen.
De nieuwe ontdekking: Je hebt geen enorme fabriek nodig. Je hebt alleen een klein, beheersbaar team nodig (specifiek, een aantal arbeiders dat zeer langzaam groeit naarmate het probleem groter wordt).
De analogie: Stel je voor dat je probeert een doolhof op te lossen. De oude theorie zei dat je een leger mensen nodig had om de uitgang te vinden. Dit artikel toont aan dat een klein, goed gecoördineerd verkennersploegje eigenlijk genoeg is om snel het pad te vinden.

2. Niet alleen uit het hoofd leren (Generalisatie)

Als je een student te veel specifieke feiten leert, kan het zijn dat ze zakken bij een toets met iets andere vragen. Dit wordt "overfitting" genoemd.

De ontdekking: Omdat KAN's deze speciale flexibele structuur hebben, leren ze, wanneer je ze traint met het juiste aantal arbeiders, niet alleen de trainingsdata uit het hoofd. Ze leren eigenlijk de regels van het spel.
Het resultaat: Het artikel bewijst wiskundig dat als je stopt met trainen op het juiste moment, de robot goed zal presteren op nieuwe, onbekende data. Het is als een student die het concept van "zwaartekracht" leert in plaats van alleen uit het hoofd te leren dat "appels vallen", zodat ze ook kunnen voorspellen dat "veren vallen".

3. Het privacy-schild (Differentiële Privacy)

In gebieden zoals geneeskunde of biologie kun je patiëntgegevens niet zomaar delen om een robot te trainen. Je hebt Differentiële Privacy (DP) nodig. Dit is als het toevoegen van een laagje "statische ruis" aan de data, zodat de informatie van geen enkele persoon kan worden omgekeerd, maar het algemene patroon helder blijft.

De uitdaging: Het toevoegen van ruis maakt leren meestal moeilijker. Je zou denken dat je een enorm team nodig hebt om de ruis te overwinnen.
De verrassing: Het artikel vond dat zelfs met deze privacy-ruis, je nog steeds slechts een klein team nodig hebt (een polylogaritmische breedte) om goede resultaten te krijgen.
De valkuil: Als je het team te groot maakt, wordt de ruis versterkt en raakt de robot in de war. Het is als proberen een fluistering te horen in een drukke zaal; als de zaal te groot wordt, overspoelt de ruis het signaal.
Het "Aha!"-moment: De auteurs vonden hier een kwalitatieve kloof. Zonder privacy is een klein team voldoende. Met privacy is een klein team niet alleen voldoende, het is noodzakelijk. Als je het team te groot maakt, schaad je de prestaties onder privacybescherming eigenlijk.

4. Weten wanneer te stoppen (Vroegtijdig stoppen)

Het artikel geeft ook advies over hoe lang je de robot moet trainen.

Te lang trainen: Als je de robot te lang blijft trainen, begint hij de ruis in de data (of de privacy-ruis) uit het hoofd te leren, en wordt zijn prestatie op nieuwe data slechter.
Het advies: Stop met trainen op een specifiek "sweet spot". Het artikel biedt een formule om dit punt te vinden, gebaseerd op hoeveel data je hebt en hoeveel privacy je nodig hebt.
De analogie: Het is als het bakken van een biefstuk. Als je het te lang bakt, verbrandt het. Het artikel vertelt je precies hoeveel minuten je het moet bakken zodat het perfect is, ongeacht hoe groot de pan (breedte) is.

Samenvatting van de "Verkeersregels"

De auteurs voerden experimenten uit (op nepdata en echte handgeschreven cijfers) om te bewijzen dat hun wiskunde in de echte wereld werkt. Ze ontdekten:

Bouw niet te veel: Je hebt geen enorm netwerk nodig. Een gemiddelde grootte is het beste.
Train niet te lang: Stop met trainen voordat de robot begint met het uit het hoofd leren van de ruis.
Privacy is lastig: Bij het beschermen van privacy is het klein houden van het netwerk eigenlijk een functie, geen bug. Het voorkomt dat de privacy-ruis het leren verstoort.

In het kort: Dit artikel geeft ons het wiskundige bewijs dat deze nieuwe, flexibele AI-modellen (KAN's) efficiënt, veilig en effectief kunnen worden getraind zonder enorme middelen, mits we de specifieke regels over grootte en trainingsduur volgen die ze hebben ontdekt.

Technische Samenvatting: Optimalisatie, Generalisatie en Differentiële Privacy-grenzen voor Gradient Descent op Kolmogorov–Arnold-netwerken

Probleemstelling

Kolmogorov–Arnold-netwerken (KANs) zijn opgekomen als een gestructureerd alternatief voor standaard Multilayer Perceptrons (MLPs), waarbij vaste puntsgewijze niet-lineariteiten worden vervangen door leerbare univariate randfuncties. Hoewel empirische resultaten suggereren dat KANs uitblinken in taken die gestructureerde interacties omvatten (bijvoorbeeld wetenschappelijk rekenen, genomica), blijft een principiële theoretische understanding van hun trainingsdynamiek, generalisatievermogen en privacy-eigenschappen beperkt. Bestaande theoretische analyses zijn overwegend algoritme-onafhankelijk en richten zich op expressiviteit in plaats van het gedrag van concrete trainingsalgoritmen zoals Gradient Descent (GD). Bovendien is de interactie tussen netwerkbreedte, optimalisatiedynamiek en statistische generalisatie in KANs slecht begrepen, met name in de context van Differentiële Privacy (DP), waarbij het toevoegen van ruis aan gradiënten stochastische verstoringen introduceert op een niet-convexe landschap.

Methodologie

De auteurs ontwikkelen een unificerend theoretisch kader om twee-laags KANs te analyseren die getraind worden via Gradient Descent (GD) en hun differentieel-private variant (DP-GD). De studie richt zich op een twee-laags KAN met een enkele verborgen laag van breedte $m$ , een scalair output en univariate randfuncties geparametriseerd door B-spline-basisfuncties.

Belangrijke methodologische componenten omvatten:

Referentiepunt-kader: De analyse is verankerd door een referentiepunt $\Theta^*$ (bijvoorbeeld een interpolerende oplossing). De auteurs leiden grenzen af ten opzichte van de afstand tussen de initialisatie en dit referentiepunt, waarbij gebruik wordt gemaakt van een "blijf-in-een-bal"-eigenschap om te waarborgen dat iteraten binnen een regio blijven waar het verlieslandschap lokaal glad en bijna convex is.
Zelf-consistente krommingscontrole: Een dubbele inductiestrategie wordt toegepast om gelijktijdig de cumulatieve trainingsverliezen en de afstanden van iteraten tot de initialisatie en het referentiepunt te begrenzen. Dit zorgt ervoor dat de eigenwaarden van de Hessian uniform gecontroleerd blijven langs de trajectorie, waarmee de uitdaging wordt aangepakt dat kromming in KANs gevoelig afhankelijk is van parameterafwijkingen.
Trajectoorsensitiviteit en stabiliteit: Voor de private setting voeren de auteurs een trajectoorsensitiviteitsanalyse uit van de geprojecteerde DP-GD-recursie. Zij kalibreren expliciet Gaussische ruis om $(\epsilon, \delta)$ -DP te voldoen en analyseren de resulterende nutsgrenzen.
Aannames: De theoretische resultaten zijn gebaseerd op:
- NTK-scheidbaarheid: Een voorwaarde die zwakker is dan de positief-definite eigenschap van de Neural Tangent Kernel (NTK) Gram-matrix, waarbij wordt aangenomen dat er een richting bestaat in de parameterruimte die de data scheidt met een marge $\gamma$ .
- Logistisch verlies: Gespecialiseerde analyse voor logistisch verlies onder de aanname van NTK-scheidbaarheid.
- Begrensdheid: Aannames over de gladheid en begrensdheid van de activatiefuncties en B-spline-basisfuncties.

Belangrijkste Bijdragen

1. Optimalisatie en Generalisatie met Snelle Snelheid

Het artikel vestigt de eerste algoritme-afhankelijke generalisatiegrenzen specifiek voor met GD getrainde KANs.

Optimalisatie: Onder NTK-scheidbaarheid bewijzen de auteurs dat een polylogaritmische netwerkbreedte ( $m \ge \text{polylog}(n, T)$ ) voldoende is voor GD om een optimalisatierisico (trainingsverlies) van de orde $\tilde{O}(1/T)$ te bereiken. Dit contrasteert met eerdere werken die een polynoombreedte-schaal vereisten.
Generalisatie: Door optimalisatiegaranties te combineren met algoritme-stabiliteitsanalyse, leidt het artikel een snelle generalisatiesnelheid van $\tilde{O}(1/n)$ af voor het populatierisico. Dit resultaat benadrukt een impliciete regularisatiebias van GD naar oplossingen die dicht bij de initialisatie blijven.

2. Differentiële Privacy en Nut

De auteurs bieden de eerste nutsanalyse van op gradiënten gebaseerde DP-methoden voor KANs.

Ruiskalibratie: Zij leiden expliciete vereisten voor de variantie van Gaussische ruis af om $(\epsilon, \delta)$ -DP te garanderen voor DP-GD op KANs, waarbij de sensitiviteit wordt gecontroleerd via projectie op begrensde domeinen in plaats van gradiëntclipping.
Nuttsgrenzen: Onder NTK-scheidbaarheid wordt het trajectoorgegemiddelde populatierisico voor DP-GD begrensd door $\tilde{O}(\sqrt{d}/(n\epsilon))$ , wat overeenkomt met de klassieke ondergrens voor algemene convexe Lipschitz-problemen.
Noodzaak van breedte: Een kritieke theoretische bevinding is dat terwijl polylogaritmische breedte voldoende is voor niet-private GD, deze essentieel noodzakelijk blijkt te zijn voor DP-GD om de gewenste nutsgrens te bereiken. Dit onthult een kwalitatief gat tussen niet-private en private trainingsregimes, waarbij privacybeperkingen strengere structurele vereisten opleggen.

3. Praktische Implicaties

De theorie leidt tot praktische hyperparameterselectie:

Niet-private GD: Het verhogen van de breedte $m$ boven een kritieke drempel levert afnemende meeropbrengsten op voor zowel trainings- als testnauwkeurigheid. Evenzo verzadigt de testnauwkeurigheid na een kritiek aantal iteraties $T$ , wat suggereert dat vroege stopzetting gunstig is voor generalisatie.
Private DP-GD: Onder een vast privacybudget suggereert de theorie het gebruik van gematigde breedtes en vroege stopzetting. Overmatige breedte of iteraties versterken de ingebrachte privacyruis, wat de nuttigheid verslechtert.

Resultaten

Theoretische grenzen: Het artikel biedt rigoureuze grenzen voor optimalisatierisico, populatierisico en private nut. Specifiek wordt voor DP-GD de nutsgrens $\tilde{O}(\sqrt{d}/(n\epsilon))$ bereikt met polylogaritmische breedte, wat overeenkomt met de minimax-ondergrens voor convexe Lipschitz-problemen.
Empirische validatie: Experimenten op synthetische logistische data en MNIST valideren de theoretische voorspellingen:
- Verzadigingspunten: Zowel trainings- als testnauwkeurigheid bereiken een plateau boven empirisch waargenomen kritieke breedtes ( $m_{crit}$ ) en iteraties ( $T_{crit}$ ).
- Private nut: In de DP-setting piekt de nuttigheid bij gematigde $m$ en $T$ voordat deze verslechtert door ruisaccumulatie, wat de theoretische trade-off bevestigt.
- NTK-scheidbaarheid: Empirische metingen van de NTK-marge op niet-lineaire synthetische datasets tonen aan dat KANs voldoen aan de scheidbaarheidsaanname en grotere marges vertonen dan op parameters afgestemde ReLU-netwerken, met name naarmate de breedte toeneemt.

Betekenis en Claims

Het artikel claimt de eerste principiële theoretische basis te bieden voor het trainen van KANs met gradiënt-gebaseerde methoden, waarmee de kloof tussen hun empirische succes en theoretische understanding wordt overbrugd.

Theoretische vooruitgang: Het gaat voorbij aan algoritme-onafhankelijke expressiviteitsresultaten om concrete garanties te bieden voor GD-iteraten, en demonstreert dat KANs snelle convergentie- en generalisatiesnelheden kunnen bereiken met aanzienlijk kleinere breedtes (polylogaritmisch) dan eerder noodzakelijk werd geacht voor MLPs onder vergelijkbare aannames.
Privacy-inzichten: Het werk identificeert uniek een kwalitatief gat tussen private en niet-private training, en laat zien dat privacybeperkingen specifieke breedteregimes vereisen om de nuttigheid te behouden, een bevinding die niet aanwezig was in eerdere niet-private analyses.
Praktische begeleiding: Door theoretische grenzen te koppelen aan empirische observaties, biedt het artikel uitvoerbare richtlijnen voor practitioners met betrekking tot netwerkarchitectuur (breedte) en trainingsduur (vroege stopzetting) om prestaties te optimaliseren terwijl privacybeperkingen worden gerespecteerd.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de analyse momenteel beperkt is tot twee-laags KANs, gladde activatiefuncties veronderstelt en zich richt op full-batch GD in plaats van stochastische varianten (SGD). Voor toekomstig werk wordt voorgesteld om deze garanties uit te breiden tot diepere architecturen en niet-gladde activaties.