📊 statistics

Wahkon: A Statistically Principled Deep RKHS Superposition Network

Het artikel introduceert Wahkon, een diep RKHS-superpositienetwerk dat Kolmogorovs superpositieprincipe verenigt met RKHS-regularisatie om een statistisch onderbouwde raamwerk te bieden dat garanties voor eindige steekproeven, gekalibreerde onzekerheid en minimax-optimale convergentiesnelheden biedt, terwijl het empirisch presteert boven bestaande deep learning- en op kernen gebaseerde methoden.

Oorspronkelijke auteurs: Yongkai Chen, Wenxuan Zhong, Ping Ma

Gepubliceerd 2026-05-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongkai Chen, Wenxuan Zhong, Ping Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren de toekomst te voorspellen op basis van een berg aan data. Je hebt twee hoofdstromingen over hoe je dit kunt doen:

De "Deep Learning"-school: Deze zijn als gigantische, flexibele sponzen. Ze zijn geweldig in het memoriseren van patronen en het doen van voorspellingen (zoals het herkennen van een kat op een foto). Ze zijn echter vaak "black boxes". We weten niet echt waarom ze een beslissing nemen, en ze kunnen je niet vertellen hoe zeker ze zijn. Ze zijn geweldig in het raden, maar slecht in het uitleggen.
De "Statistische" school: Deze zijn als stijve, door regels gebonden wiskundigen. Ze zijn zeer voorzichtig. Ze kunnen je precies vertellen hoe zeker ze zijn van een voorspelling en hun logica uitleggen. Maar, ze hebben vaak moeite wanneer de data enorm groot of zeer complex is, en raken in de war door het pure aantal variabelen.

Wahkon is een nieuwe uitvinding die probeert het beste van beide werelden te zijn. Het is als het bouwen van een super-robot die de flexibiliteit van een spons heeft, maar de voorzichtige, verklaarbare logica van een wiskundige.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De magie van "Eén ding tegelijk" (Kolmogorovs principe)

Het artikel begint met een beroemd idee van een wiskundige genaamd Kolmogorov. Hij bewees dat elk complex, multidimensionaal probleem (zoals het voorspellen van het weer op basis van temperatuur, luchtvochtigheid, wind en druk) eigenlijk kan worden opgesplitst in een reeks eenvoudige, eendimensionale problemen.

Denk eraan als een complex recept. In plaats van te proberen alle ingrediënten in één grote kom tegelijk te mengen, bereid je ze één voor één voor: hak de uien, kook dan het water, en bak dan het vlees. Kolmogorov zei dat je elke complexe functie op deze manier kunt bouwen, gewoon door eenvoudige stappen met één variabele op elkaar te stapelen.

2. De "leerbare" activeringen

De meeste standaard AI-netwerken (zogenoemde neurale netwerken) gebruiken vaste regels voor deze stappen. Stel je een fabrieksassemblagelijn voor waar elke werknemer gedwongen wordt om exact dezelfde hamer te gebruiken, ongeacht wat ze bouwen. Dit is efficiënt, maar niet erg slim.

Wahkon verandert de regels. In plaats van een vaste hamer te gebruiken, krijgt elke werknemer (of "link" in het netwerk) de kans om hun eigen aangepaste gereedschap te leren op basis van de data.

Als de data eruitziet als een kromme, leert het gereedschap een kromme te zijn.
Als de data eruitziet als een rechte lijn, leert het gereedschap een rechte lijn te zijn.

Dit maakt het netwerk veel aanpasbaarder. Het is alsof je elke werknemer een gereedschapskist geeft en hen laat kiezen voor het perfecte gereedschap voor de specifieke klus die ze hebben.

3. Het "veiligheidsnet" (RKHS-regularisatie)

Hier komt het lastige deel: Als je elke werknemer zijn eigen gereedschap laat uitvinden, kunnen ze te gek worden. Iemand kan een gereedschap uitvinden dat zo wild wiebelt dat het de machine kapotmaakt (dit heet "overfitting" in AI).

Wahkon gebruikt een "veiligheidsnet" genaamd RKHS-regularisatie. Denk hierbij aan een strenge supervisor die zegt: "Je mag je eigen gereedschap uitvinden, maar het moet glad en redelijk zijn. Geen scherpe, gekke wiebels toegestaan."

Deze supervisor zorgt ervoor dat het netwerk niet alleen de trainingsdata memoriseert, maar daadwerkelijk het onderliggende patroon leert.
Het geeft het netwerk ook een "vertrouwensscore". Omdat de wiskunde achter dit veiligheidsnet goed begrepen is, kan Wahkon je vertellen: "Ik ben 95% zeker dat deze voorspelling klopt", wat standaard AI meestal niet kan.

4. De "Deep Representer Theorem" (De afkorting)

Je zou kunnen denken: "Als elke werknemer een uniek, oneindig aantal mogelijke gereedschappen leert, hoe kan een computer dit dan eigenlijk berekenen? Het zou eeuwig duren!"

Het artikel bewijst een briljante afkorting genaamd de Deep Representer Theorem. Het toont aan dat, hoewel de gereedschappen oneindig complex zouden kunnen zijn, de beste gereedschappen die het netwerk ooit nodig heeft, eigenlijk gewoon combinaties zijn van een eindig aantal eenvoudige vormen gebaseerd op de data die het al heeft gezien.

Analogie: Stel je voor dat je probeert een perfect portret te tekenen. Je zou kunnen denken dat je oneindig veel potloden nodig hebt. De stelling zegt: "Nee, je hebt alleen een specifieke set van 100 potloden nodig die overeenkomen met de kenmerken van de persoon die je tekent."
Dit zet een onmogelijk wiskundig probleem om in een oplosbaar probleem, waardoor de computer snel kan trainen.

5. De "Bayesiaanse" connectie

Het artikel toont ook aan dat Wahkon wiskundelijk identiek is aan een Hiërarchisch Gaussisch Proces.

Eenvoudige vertaling: Dit betekent dat Wahkon niet zomaar "raadt" welke gereedschappen het beste zijn; het doet dit op een manier die statistisch perfect is. Het behandelt het leerproces als een spel van waarschijnlijkheid, waarbij het begint met een "beste schatting" en die schatting bijwerkt naarmate het meer data ziet, terwijl het altijd bijhoudt hoe onzeker het is.

Wat hebben ze gevonden?

De auteurs testten Wahkon tegenover drie andere populaire methoden:

MLP (Standaard neurale netwerken): De flexibele sponzen.
NTK (Neural Tangent Kernels): Een zeer stijve, theoretische versie van neurale netwerken.
KAN (Kolmogorov-Arnold Netwerken): Een nieuwere methode die ook leerbare gereedschappen gebruikt, maar het "veiligheidsnet" mist.

De resultaten:

Nauwkeurigheid: Wahkon maakte consequent minder fouten dan de anderen, vooral wanneer er niet veel data was om van te leren.
Efficiëntie: Het leerde sneller en had minder data nodig om goede resultaten te behalen.
Real-world test: Ze testten het op een biologisch probleem: het voorspellen van eiwitniveaus in cellen op basis van genetische data. Wahkon was het nauwkeurigst en presteerde beter dan de andere methoden.

De bottom line

Wahkon is een nieuw type AI dat de kracht van deep learning (het verwerken van complexe data) combineert met de betrouwbaarheid van klassieke statistiek (weten hoe zeker je bent en waarom). Dit doet het door complexe problemen op te splitsen in eenvoudige, leerbare stappen en een strenge wiskundige "veiligheidsnet" te gebruiken om te voorkomen dat alles de controle ontglipt. Het is een raamwerk dat erop gericht is AI niet alleen slim te maken, maar ook betrouwbaar en verklaarbaar.

Technische Samenvatting: Wahkon – Een Statistisch Geprincipeerd Deep RKHS Superpositienetwerk

Probleemstelling
Moderne deep learning blinkt uit in voorspelling, maar mist vaak theoretische garanties voor eindige steekproeven en gekalibreerde onzekerheidskwantificatie. Omgekeerd bieden klassieke niet-parametrische methoden op basis van Reproducing Kernel Hilbert Spaces (RKHS) strikte controle over gladheid, optimale convergentiesnelheden en Bayesiaanse interpretaties (via Gaussische Processen), maar worstelen ze met het aanpassen aan hoogdimensionale, heterogene data vanwege vaste kernelstructuren. Hoewel de Neural Tangent Kernel (NTK)-theorie diepe netwerken verbindt met kernels, vertrouwt deze doorgaans op "lazy training"-regimes waarin kenmerken niet worden geleerd. De uitdaging bestaat uit het verenigen van het adaptieve representatievermogen van diepe architecturen met de statistische striktheid en interpreteerbaarheid van RKHS-regulering.

Methodologie
De auteurs stellen Wahkon voor, een deep RKHS superpositienetwerk dat het superpositieprincipe van Kolmogorov integreert met het smoothing-spline-raamwerk van Wahba.

Architectuur: Wahkon adopteert een diepe compositieve structuur waarbij het netwerk een multivariate regressiefunctie $\eta(x)$ benadert via $L$ lagen. In tegenstelling tot standaard Multilayer Perceptrons (MLP's) die vaste activatiefuncties (bijv. ReLU) gebruiken, leert Wahkon univariate linkfuncties $\phi^{(l)}_{jk}$ langs elke rand van het netwerk.
RKHS-beperking: Elke geleerde linkfunctie is beperkt tot binnen een gemeenschappelijke RKHS $\mathcal{H}_K$ te liggen. De netwerkoutput is een compositie van sommen van deze univariate functies:
$x^{(l)}_j = \sum_{k=1}^{D_{l-1}} \phi^{(l)}_{jk}(x^{(l-1)}_k)$
Gestrafte Schatting: Het model wordt getraind door een gestrafte kwadraatfoutdoelstelling te minimaliseren. De strafterm legt RKHS-normen op aan de linkfuncties, gecontroleerd door laag-specifieke regularisatieparameters $\lambda_l$ :
$J(\eta_{\text{Wahkon}}) = \sum_{l=1}^L \lambda_l \sum_{j=1}^{D_l} \sum_{k=1}^{D_{l-1}} \|\phi^{(l)}_{jk}\|^2_{\mathcal{H}_K}$
Diepe Representeerderstelling: Ondanks de oneindig-dimensionale aard van de functieruimte voor elke link, bewijzen de auteurs dat de minimaliserende oplossing een eindig-dimensionale representatie toelaat. Specifiek kan elke linkfunctie worden uitgedrukt als een lineaire combinatie van kernel-evaluaties gecentreerd rond de gefitte invoer van de vorige laag. Dit reduceert de optimalisatie tot een eindige verzameling coëfficiënttensors.
Profiel-Doelstelling: Om de optimalisatie-efficiëntie te verbeteren, leiden de auteurs een profiel-doelstelling af waarbij de coëfficiënten van de laatste laag analytisch worden opgelost (als een standaard kernel-ridge-regressie) onder voorwaarde van de coëfficiënten van de lagere lagen. Dit stelt gradient-based updates in staat zich te concentreren op het leren van de feature-representaties in de lagere lagen.
Bayesiaanse Interpretatie: De gestrafte schatter blijkt exact de Maximum A Posteriori (MAP)-schatting te zijn onder een hiërarchisch Gaussisch Proces (GP)-prior, waarbij onafhankelijke GPs met gemiddelde nul worden toegewezen aan de linkfuncties in elke laag.

Belangrijkste Bijdragen

Diepe Representeerderstelling: Het artikel vestigt een eindig-dimensionale representeerderstelling voor deep RKHS superpositienetwerken. Dit breidt het KAN (Kolmogorov–Arnold Network)-paradigma uit naar een geprincipeerde RKHS-omgeving, waarbij vaste B-spline-basisfuncties en heuristische straffen worden vervangen door strikte RKHS-regulering, waardoor eindige-steekproef convergentiegaranties mogelijk worden.
Uitbreiding van de Spline/GP-dualiteit: De auteurs tonen aan dat de gestrafte Wahkon-schatter samenvalt met de MAP-schatting onder een diepe hiërarchische GP-prior. Dit breidt de klassieke dualiteit tussen smoothing-splines en GPs uit tot diepe compositieve structuren, en biedt een Bayesiaanse basis voor het model.
Minimax-optimale Convergentiesnelheden: Onder milde gladheidsaannames leidt het artikel minimax-optimale convergentiesnelheden af. De analyse karakteriseert expliciet de afweging tussen netwerkdiepte, breedte en de gladheid van linkfuncties, en toont aan hoe architecturale groei in evenwicht moet worden gebracht met RKHS-regulering om de statistische complexiteit te beheersen.

Empirische Resultaten

Synthetische Benchmarktests: Wahkon werd geëvalueerd op vier benchmarkfuncties die niet-lineaire, radiale, additieve en geneste compositieve structuren omvatten. Het behaalde consequent een lagere test Root Mean Squared Error (RMSE) in vergelijking met MLP's, Neural Tangent Kernels (NTK) en standaard Kolmogorov–Arnold Networks (KAN).
- MLP's presteerden slechter ondanks vergelijkbare parameteraantallen, wat suggereert dat het leren van univariate links binnen een RKHS steekproef-efficiënter is dan vaste activaties.
- KAN's toonden verbeterde prestaties bij grotere steekproefgroottes, maar bleven achter in het gedrag bij eindige steekproeven vanwege het ontbreken van expliciete RKHS-regulering.
- NTK presteerde concurrerend op kleine steekproeven, maar bereikte eerder een plateau.
Toepassing in de Wereld: In een single-cell CITE-seq-studie (het voorspellen van oppervlakte-eiwitovervloed op basis van RNA-data) overtrof Wahkon MLP, KAN en NTK op 25 eiwitdoelen. Het toonde bijzonder succes in het voorspellen van CD45-isoformen, die naïeve en memory T-cellen onderscheiden, met minder variabiliteit over willekeurige data-splits.
Prior-gedrag: Simulaties van de hiërarchische GP-prior onthulden dat diepere lagen niet-Gaussisch gedrag vertonen met een "spike-and-slab"-achtige verdeling, wat suggereert dat veel links automatisch worden verkleind terwijl het vermogen behouden blijft voor een subset om actief te blijven.

Betekenis en Claims
Het artikel claimt dat Wahkon het superpositieprincipe van Kolmogorov succesvol verenigt met RKHS-regulering om een diep model te creëren dat tegelijkertijd expressief en statistisch gecontroleerd is. Door vaste activaties te vervangen door geleerde, geregulariseerde univariate links, biedt Wahkon een raamwerk dat levert:

Nauwkeurigheid: Superieure voorspellende prestaties op zowel synthetische als biologische benchmarks.
Interpreteerbaarheid: Het gebruik van univariate linkfuncties maakt inspectie van individuele feature-transformaties mogelijk.
Statistische Striktheid: Het model biedt garanties voor eindige steekproeven, expliciete complexiteitscontrole en een geprincipeerde Bayesiaanse interpretatie via de MAP-equivalentie.

De auteurs positioneren Wahkon als een sjabloon voor het bouwen van diepe modellen die niet alleen nauwkeurig zijn, maar ook betrouwbaar en verklaarbaar, en zo de kloof overbruggen tussen moderne representatieleren en klassieke statistische inferentie. Ze erkennen rekenkosten als een beperking, en suggereren benaderende kernels en laag-rang structuren als toekomstige richtingen, en merken op dat schaalbare posterior-inferentie een open probleem blijft.