📊 statistics

On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

Dit artikel stelt vast dat Kolmogorov-Arnold-netwerken (KANs) met B-spline-componenten minimax-optimale regressiesnelheden bereiken die onafhankelijk zijn van de omgevingsdimensie, terwijl het tevens adaptieve knoopselectieregels biedt en de niet-identificeerbaarheid van hun univariate componenten verheldert.

Oorspronkelijke auteurs: Wei Liu, Eleni Chatzi, Zhilu Lai

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Liu, Eleni Chatzi, Zhilu Lai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om het weer te voorspellen. De wereld is rommelig, met temperatuur, luchtvochtigheid, windsnelheid en luchtdruk die op complexe manieren met elkaar interageren. In de wereld van machine learning wordt dit "niet-parametrische regressie" genoemd. Het is de kunst van het vinden van een verborgen patroon in een zee van data zonder de data in een simpel, vooraf gemaakt hokje te dwingen, zoals een rechte lijn. Decennialang hebben wetenschappers twee belangrijke instrumenten gebruikt. Het eerste is het "neurale netwerk", een digitale hersenstructuur bestaande uit lagen die bijna alles kan leren, maar vaak een "black box" is—we weten dat het werkt, maar we kunnen niet gemakkelijk zien hoe het werkt of waarom het het juiste antwoord krijgt. Het tweede is de "spline", een wiskundig hulpmiddel dat vloeiende curven door punten past, zoals een flexibel liniaal. Splines zijn transparant en gemakkelijk te begrijpen, maar ze worstelen wanneer de data te ingewikkeld wordt of te veel dimensies heeft (zoals het toevoegen van meer weervariabelen).

Onlangs is er een nieuw type neuraal netwerk verschenen, een Kolmogorov–Arnold Network, of KAN. Denk aan een KAN als een slimme hybride: het heeft de gelaagde structuur van een neuraal netwerk, maar in plaats van mysterieuze, verstrengelde verbindingen, bouwt het zijn voorspellingen door eenvoudige, eendimensionale curven (splines) op elkaar te stapelen. Het is also': een wolkenkrabber bouwen van heldere glazen panelen in plaats van ondoorzichtig beton. De grote vraag voor wetenschappers was: "Werkt deze nieuwe glazen wolkenkrabber ook even goed als de oude betonnen muren, en kunnen we dat wiskundig bewijzen?" Dit artikel duikt in die vraag, niet alleen door experimenten uit te voeren, maar door een rigoureus wiskundig bewijs te leveren om precies aan te tonen hoe snel en hoe nauwkeurig deze netwerken leren.

De Glazen Wolkenkrabber versus de Betonnen Muur

De auteurs van dit artikel wilden bewijzen dat KANs niet alleen een cool idee zijn, maar een wiskundig optimale manier om van data te leren. Ze richtten zich op een specifiek type KAN waarbij de bouwstenen "B-splines" zijn (die flexibele linialen die eerder werden genoemd). Hun belangrijkste ontdekking is een "snelheidslimiet" voor het leren. Ze bewezen dat als de data die ze proberen te voorspellen een bepaalde mate van gladheid heeft (laten we die gladheid " $r$ " noemen), de KAN leert met een snelheid van ongeveer $O((\log n/n)^{2r/(2r+1)})$ .

Om dit in alledaagse termen te plaatsen: stel je voor dat je probeert de vorm van een verborgen object te raden door het met je vingers te voelen. Als het object erg glad is (zoals een gepolijste marmeren bol), heb je minder aanrakingen nodig om het te begrijpen. Als het hobbelig en grillig is, heb je er veel meer nodig. Het artikel laat zien dat de KAN beter wordt in het raden van de vorm met een snelheid die alleen afhangt van hoe glad het object is, en niet van hoeveel dimensies het object heeft. Dit is een enorme zaak. Meestal wordt het leren exponentieel moeilijker wanneer je meer dimensies toevoegt (meer variabelen om bij te houden)—een probleem dat bekend staat als de "vloek van de dimensionaliteit". Het is alsof je probeert een naald in een hooiberg te vinden die steeds groter wordt telkens wanneer je een nieuwe kamer aan de schuur toevoegt. De auteurs ontdekten dat omdat de KAN is opgebouwd uit eenvoudige, eendimensionale stukken, het deze vloek volledig omzeilt. De KAN leert net zo snel of de data nu 5 of 20 dimensies heeft, mits de data daadwerkelijk de specifieke structuur van de KAN volgt.

De Logaritmische Hiccup en de "Log"-factor

Het verhaal verloopt echter niet perfect vloeiend. De auteurs ontdekten dat de leersnelheid van de KAN iets langzamer is dan de absolute theoretische beste door een kleine factor die een logaritme bevat (specifiek, een factor van $(\log n)^{2r/(2r+1)}$ ). Ze herleidden deze "hiccup" niet tot de architectuur van de KAN zelf, maar tot het feit dat het netwerk niet-lineair is.

Denk hierover op deze manier: als je probeert een specifiek boek te vinden in een bibliotheek waar de boeken in een perfecte, rechte lijn zijn gerangschikt (een lineair systeem), kun je het direct vinden. Maar als de boeken in een complex, kronkelend doolhof zijn gerangschikt (een niet-lineair systeem), moet je iets meer zoeken, wat die kleine "logaritmische" vertraging toevoegt. De auteurs toonden aan dat als je de KAN vereenvoudigt zodat hij werkt als een rechte lijn, die extra vertraging verdwijnt. Dit suggereert dat de KAN niet inherent "moeilijk" is om te leren; het is slechts zo dat de wiskunde van het navigeren door zijn niet-lineaire kronkels een kleine overhead toevoegt.

Het Mysterie van de Verborgen Componenten

Een van de meest fascinerende delen van het artikel is wat er gebeurt wanneer je probeert in de KAN te kijken om de individuele stukjes te zien die het gebruikte om het antwoord te bouwen. De auteurs bewezen dat je deze individuele stukjes niet uniek kunt identificeren door alleen naar het uiteindelijke antwoord te kijken. Het is alsof je probeert de exacte ingrediënten van een taart te achterhalen door alleen het eindproduct te proeven. Als je een taart hebt die naar "vanille" smaakt, kun je niet zeker weten of de bakker 1 kopje vanille-extract en 2 koppen bloem heeft gebruikt, of 2 koppen vanille en 1 kop bloem, omdat het recept een "schaalgroep" toestaat—een manier om hoeveelheden tussen ingrediënten te wisselen zonder de uiteindelijke smaak te veranderen.

Ze toonden aan dat het simpelweg "centreren" van de data (erop zorgen dat het gemiddelde nul is) niet voldoende is om dit mysterie op te lossen. Het netwerk kan nog steeds de gewichten rondschuiven op een manier die de interne componenten verandert, maar het uiteindelijke antwoord exact hetzelfde laat. Dit betekent dat hoewel de KAN geweldig is in het voorspellen van het resultaat, je de interne onderdelen niet altijd kunt vertrouwen om de "ware" onderliggende oorzaak te vertellen, tenzij je extra regels toevoegt om ze vast te leggen.

De Knopen en de Aanpasbaarheid

Om deze netwerken te laten werken, moet je beslissen hoeveel "knopen" (de punten waar de flexibele liniaal buigt) je wilt gebruiken. Te weinig, en de liniaal is te stijf om de curve te volgen; te veel, en hij begint wild te wapperen en de ruis te memoriseren in plaats van het patroon. De auteurs leidden een perfecte regel hiervoor af: het aantal knopen moet ongeveer groeien als $n^{1/(2r+1)}$ , waarbij $n$ de hoeveelheid data is die je hebt.

Nog cooler is dat ze lieten zien dat je de "gladheid" ( $r$ ) van de data niet vooraf hoeft te weten om dit goed te doen. Ze creëerden een methode waarbij het netwerk automatisch het juiste aantal knopen kan kiezen door verschillende opties te testen, vergelijkbaar met een wandelaar die verschillende paden probeert om de weg naar de top het snelst te vinden. In hun simulaties werkte deze "adaptieve" methode net zo goed als wanneer ze het antwoord van tevoren hadden geweten.

De Theorie Testen in het Lab

Ten slotte stopten de auteurs niet bij de wiskunde; ze zetten het ook op de proef. Ze creëerden nepdata met bekende gladheidsniveaus en keken hoe de KAN leerde. De resultaten waren spot-on.

De Snelheid: De KAN leerde met de voorspelde snelheid en werd nauwkeuriger naarmate ze meer data toevoegden.
De Dimensies: Wanneer ze het aantal variabelen verhoogden van 5 naar 20, behield de KAN zijn snelheid, terwijl andere standaardmethoden (zoals k-nearest neighbors) drastisch vertraagden, wat bevestigde dat de KAN de "vloek van de dimensionaliteit" echt weet te vermijden.
De Knopen: Het optimale aantal knopen dat ze in de experimenten vonden, kwam perfect overeen met hun wiskundige voorspelling.

Het artikel concludeert dat KANs een krachtig, wiskundig onderbouwd instrument zijn. Ze bieden het beste van twee werelden: de leerkracht van diepe neurale netwerken en de transparantie van splines. Hoewel er nog steeds open vragen zijn over hoe je de interne onderdelen van het netwerk perfect kunt identificeren, is het bewijs dat ze leren met de optimale snelheid (tot aan die kleine logaritmische factor) een grote stap voorwaarts. Het vertelt ons dat wanneer de data een specifieke structuur heeft, KANs niet slechts een slim trucje zijn, maar de meest efficiënte manier om ervan te leren.

Technische Samenvatting: Over de convergentiesnelheid van Kolmogorov–Arnold Network regressie-schatters

Probleemstelling
Het artikel behandelt de statistische convergentiesnelheden van Kolmogorov–Arnold Networks (KANs) in niet-parametrische regressie. Hoewel KANs empirische tractie hebben verkregen als een gestructureerd alternatief voor diepe neurale netwerken — door multivariate functies te benaderen via composities van univariate transformaties — zijn formele statistische garanties met betrekking tot hun schattingssnelheden schaars gebleven. De auteurs onderzoeken de prestaties van de kleinste-kwadraten-schatter over een KAN-sieve waarbij de univariate componenten B-splines zijn. Specifiek vragen zij: welke snelheid bereikt de empirische risicominimalisator over een klasse van KAN-functies met univariate componenten met Sobolev-gladheid, en is deze snelheid minimax optimaal?

Methodologie
De auteurs analyseren de kleinste-kwadraten-schatter $\hat{f}_n$ gedefinieerd over een sieve-ruimte $\mathcal{F}_n$ geconstrueerd uit KAN-architecturen. De doelunctie $f_0$ wordt gemodelleerd als een eindige som van $Q$ eenheden:
$f(x) = \sum_{q=1}^Q g_q(T_q(x))$
waarbij $T_q(x)$ ofwel een additieve aggregatie ( $\sum \psi_{qj}(x_j)$ ) ofwel een multiplicatieve aggregatie ( $\prod \psi_{qj}(x_j)$ ) vertegenwoordigt. Zowel de binnenste functies $\psi_{qj}$ als de buitenste functies $g_q$ worden benaderd met B-splines van orde $m$ met $k_n$ knopen.

Belangrijke methodologische stappen omvatten:

Aannames: De design-distributie heeft een begrensde dichtheid, fouten zijn i.i.d. en sub-Gaussiaans, en de regressiefunctie behoort tot een klasse $\mathcal{F}^{KAN}_r$ waar univariate componenten Sobolev-gladheid $r$ hebben. Cruciaal is dat de buitenste functies $g_q$ beperkt zijn in de $L_\infty$ -Sobolev-schaal ( $W^{r,\infty}$ ) in plaats van $L_2$ , en de sieve legt expliciete sup-norm bounds op aan de coëfficiënten om stabiliteit te garanderen.
Theoretische instrumenten: De analyse combineert drie klassieke ingrediënten:
- Een benaderingsbound voor KAN-composities (Lemma C.1), gebruikmakend van een telescopische argumentatie voor multiplicatieve knopen.
- Een metriek-entropie bound voor de niet-lineaire sieve (Lemma C.2), rekening houdend met de niet-lineariteit van de compositie.
- Een oracle-ongelijkheid voor kleinste kwadraten over uniform begrensde klassen (Lemma C.3).
Identificatie-analyse: De auteurs onderzoeken of de geleerde componenten convergeren naar de ware componenten, en bewijzen dat centrering alleen onvoldoende is voor identificatie vanwege schaal-invariantie en meng-ambiguïteiten.

Belangrijkste bijdragen en resultaten

Convergentiesnelheid: De kleinste-kwadraten-schatter over de KAN-spline sieve bereikt een uniforme convergentiesnelheid van:
$O\left(\left(\frac{\log n}{n}\right)^{\frac{2r}{2r+1}}\right)$
Deze snelheid geldt uniform over een bal van KAN-functies met univariate componenten van Sobolev-gladheid $r$ .
Dimensievrije exponent: De exponent $\frac{2r}{2r+1}$ is onafhankelijk van de omgevingdimensie $d$ . De auteurs verduidelijken dat dit de minimax lower bound $n^{-2r/(2r+d)}$ voor algemene Sobolev-klassen op $[0,1]^d$ niet schendt. In plaats daarvan komt de dimensievrije snelheid voort uit de structurele aanname dat het doel een KAN-representatie bezit met een vast aantal eenheden $Q$ .
Minimax Optimaliteit: Een bijbehorende lower bound van de orde $n^{-2r/(2r+1)}$ wordt vastgesteld, wat aantoont dat de schatter minimax optimaal is tot een logaritmische factor. De auteurs herleiden deze logaritmische factor tot de niet-lineariteit van de sieve (het vereisen van chaining over een covering) in plaats van de KAN-architectuur zelf. Zij tonen aan dat voor lineaire sub-modellen (bijv. vaste buitenste functies), de logaritmische factor verdwijnt.
Identificatie: Het artikel bewijst dat centrering-restricties de KAN-representatie niet identificeren; een één-parameter schaal-groep blijft bestaan, en er zijn verdere ambiguïteiten voor $d=1$ of $Q \ge 2$ . Bijgevolg impliceert de consistentie van de gefitte functie $\hat{f}_n$ niet de consistentie van de individuele univariate componenten $\hat{\psi}_{qj}$ zonder aanvullende normalisatie en niet-degeneratieve condities.
Adaptiviteit: Een knoop-selectieregel $k_n \asymp (n/\log n)^{1/(2r+1)}$ wordt afgeleid. De auteurs laten zien dat gepenaliseerde selectie over een dyadisch knoop-grid de optimale snelheid adaptief bereikt, zonder voorafgaande kennis van de gladheid $r$ (tot de spline-orde).

Experimentele Verificatie
De theoretische voorspellingen worden geverifieerd op synthetische targets met exact bekende gladheid $r$ .

Benaderingsfout: De univariate spline-benaderingsfout vervalt als $k^{-r}$ , wat overeenkomt met de theoretische bounds.
Convergentiesnelheden: De empirische $L_2$ risico vervalt met snelheden consistent met $n^{-2r/(2r+1)}$ (tot logaritmische factoren) voor additieve, univariate en multiplicatieve targets.
Dimensie-onafhankelijkheid: In dimensie-sweeps ( $d=5$ tot $d=20$ ) behoudt de KAN-schatter een steile convergentie-helling, terwijl structuurvrije baselines (k-NN, Kernel Ridge) degraderen naar de curse-van-dimensionaliteit-snelheid $n^{-2r/(2r+d)}$ .
Knoop-selectie: Het risico vertoont een U-vorm met betrekking tot het aantal knopen, en cross-validatie lokaliseert succesvol het optimale aantal knopen zonder kennis van $r$ .

Betekenis en Claims
Het artikel claimt de eerste rigoureuze convergentie-analyse voor KANs te bieden, waarmee wordt vastgesteld dat zij minimax-optimale snelheden bereiken voor gestructureerde niet-parametrische regressie. De primaire betekenis ligt in het aantonen dat de KAN-architectuur, door gebruik te maken van een som van univariate Sobolev-componenten, de curse van dimensionaliteit ontsnapt die inherent is aan algemene niet-parametrische schatting, mits de doelunctie de specifieke KAN-structuur bezit.

De auteurs zijn bescheiden over de logaritmische factor en merken op dat dit een artefact is van de niet-lineaire entropy van de sieve in plaats van een intrinsieke beperking van KANs, en zij identificeren het verwijderen van deze factor als een open technisch probleem dat een lokale-entropy-analyse vereist. Verder benadrukken zij dat hoewel de regressiefunctie consistent wordt geschat, de recuperatie van de onderliggende univariate componenten specifieke identificatievoorwaarden vereist die niet gegarandeerd worden door standaard centrering. Het werk overbrugt de kloof tussen het empirische succes van KANs en de klassieke niet-parametrische theorie, waarbij ze KANs naast spline-gebaseerde methoden positioneert in termen van optimaliteit, terwijl ze de gelaagde compositie-structuur van neurale netwerken behouden.