💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

Dit artikel introduceert Dictionary-KAN (DKAN), een machinaal geverifieerde architectuur die de optimalisatieparadox van Kolmogorov-Arnold-netwerken oplost door gebruik te maken van RBF-dictionaries met complexe coëfficiënten en discrete hiërarchische verfijning om superieure multivariate regressie, PDE-coëfficiëntherstel en hardware-efficiënte interpreteerbaarheid te bereiken, terwijl de geheugen- en convergentieproblemen van op continue splines gebaseerde KAN's worden vermeden.

Oorspronkelijke auteurs: Kiarash Mohammadi

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kiarash Mohammadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van de moderne kunstmatige intelligentie is er een hardnekkige uitdaging die onderzoekers al lang achtervolgt: hoe bouw je machines die complexe patronen leren zonder hun weg te verliezen in een zee van wiskundige verwarring. Decennialang vertrouwde de standaardaanpak op massieve, dichte netwerken van verbindingen, waarbij elk deel van het systeem met elk ander deel communiceert. Hoewel deze systemen krachtig zijn, hebben ze vaak moeite om het meest efficiënte pad naar een oplossing te vinden, waarbij ze vastlopen in lokale vallen of zoveel geheugen vereisen dat ze simpelweg niet op beschikbare hardware kunnen draaien. Een nieuwer idee, bekend als de Kolmogorov-Arnold-representatie, bood een ander pad. Het suggereerde dat elke complexe, meerdimensionale relatie kon worden afgebroken tot een reeks eenvoudigere, eendimensionale stappen die bij elkaar worden opgeteld. Dit concept beloofde een elegantere en interpreteerbaardere manier om de wereld te modelleren, maar wanneer wetenschappers probeerden dit te bouwen, liepen ze tegen een fundamentele paradox aan. De wiskundige instrumenten die ze gebruikten om deze netwerken flexibel te maken, waren te instabiel, waardoor het leerproces instortte of onmogelijk duur werd om te berekenen.

Een onderzoeker genaamd Kiarash Mohammadi heeft nu een oplossing voor deze paradox voorgesteld met een nieuwe architectuur genaamd Dictionary-KAN. In plaats van te proberen een continu rooster van gegevenspunten uit te rekken en te vervormen, wat vaak leidt tot de instabiliteit die eerdere pogingen teisterde, gebruikt dit nieuwe systeem een vaste, vooraf gedefinieerde set bouwstenen. Stel je een woordenboek voor van woorden die nooit verandert; het netwerk leert simpelweg hoe het deze woorden kan mengen om zinnen te vormen, in plaats van te proberen ter plekke nieuwe letters uit te vinden. Door elke verbinding te verankeren in dit stabiele woordenboek, zorgt de onderzoeker ervoor dat het wiskundige probleem dat de computer oplost altijd vloeiend en voorspelbaar is, waardoor de plotselinge crashes en het verlies van voortgang die in oudere modellen voorkomen, worden vermeden. Deze aanpak stelt het systeem in staat om groter en gedetailleerder te worden zonder te vergeten wat het al heeft geleerd, een prestatie die voorheen onmogelijk was met dit type netwerken.

De innovatie gaat dieper dan alleen stabiliteit. De onderzoeker tilde het hele systeem naar een complexe wiskundige ruimte, waardoor het netwerk van nature begrijpt hoe verschillende variabelen met elkaar vermenigvuldigen en interageren. In eerdere versies moest het systeem worden gedwongen om deze interacties te leren via zware, inefficiënte berekeningen. Hier handelt de structuur zelf de vermenigvuldiging af, waardoor het leerproces veel efficiënter wordt. Dit ontwerp bevat ook een unieke methode voor verfijning. Wanneer het netwerk nauwkeuriger moet worden, kan het nieuwe lagen van detail tussen bestaande lagen invoegen zonder het reeds uitgevoerde werk te verstoren. De nieuwe delen beginnen met een nul-invloed, waardoor de output van het netwerk exact hetzelfde blijft voor en na de expansie, wat het probleem van "catastrofaal vergeten" — waarbij het leren van nieuwe dingen oude kennis wist — effectief elimineert.

Om te waarborgen dat deze claims niet slechts theoretische hoop waren, heeft de onderzoeker de kernlogica onderworpen aan een strikte, door een machine geverifieerde controle. Met behulp van een gespecialiseerd computerprogramma ontworpen om wiskundige waarheden te bewijzen, werd elke stap van de optimalisatietheorie geverifieerd als correct onder specifieke condities. De computer bevestigde dat het systeem één unieke beste oplossing heeft en dat de gebruikte methode om die oplossing te vinden altijd zal convergeren zonder vast te lopen. Dit niveau van zekerheid is zeldzaam in het vakgebied, waar veel theorieën steunen op aannames die moeilijk te bewijzen zijn. De resultaten van deze verificatie werden vervolgens getest in een reeks realtime simulaties. Bij taken die de interactie van meerdere variabelen betreffen, presteerde het nieuwe systeem twintig keer beter dan de standaard dichte modellen, waarbij het veel hogere nauwkeurigheid bereikte met aanzienlijk minder middelen.

Het systeem toonde ook opmerkelijke capaciteiten in wetenschappelijke ontdekkingen. Wanneer het de opdracht kreeg om de wetten te identificeren die een zwaaiende slinger met luchtweerstand beheersen, isoleerde het netwerk succesvol de juiste fysieke variabelen, inclusclusief de subtiele dempingskracht die andere modellen misten. Op vergelijkbare wijze, toen het de taak kreeg om de vergelijkingen achter een vloeistofdynamica-probleem bekend als de Burgers-vergelijking te onthullen, reconstrueerde het de juiste wiskundige relaties met minder dan één procent fout, zelfs toen het de noodzakelijke vermenigvuldigingstermen zelf moest uitvinden. In een praktische toepassing trainden de onderzoekers het netwerk om de manier waarop licht van een ruw metalen oppervlak reflecteert te modelleren, een taak die cruciaal is voor realistische computergrafieken. Het resulterende model was zo schoon en gestructureerd dat het direct kon worden vertaald naar een kort, voor mensen leesbaar computerprogramma, waardoor de zware neurale netwerksoftware volledig overbodig werd.

De onderzoeker is echter niet zonder beperkingen, en de auteur rapporteert deze met dezelfde helderheid als de successen. Wanneer het systeem werd getest op gegevens met scherpe, plotselinge sprongen, zoals een stapfunctie, vertoonde het een bekende zwakte genaamd 'ringing', waarbij de output licht oscilleert rond de scherpe rand. Hoewel het nieuwe systeem dit beter afhandelde dan eerdere versies, kon het in deze specifieke gevallen de precisie van eenvoudiger, oudere modellen niet evenaren. Bovendien rusten de wiskundige garanties die door de machineverificatie zijn gegeven op bepaalde condities, zoals het feit dat de gegevens een specifieke structuur hebben, wat betekent dat de theorie geen universele garantie is voor elke mogelijke dataset. De onderzoeker merkt expliciet op dat het systeem niet is ontworpen als een perfect geheugen voor elk detail, maar eerder als een hulpmiddel voor het begrijpen en verfijnen van complexe relaties.

Het werk vertegenwoordigt een belangrijke stap voorwaarts in het betrouwbaarder en efficiënter maken van kunstmatige intelligentie. Door onstabiele, continue roosters te vervangen door een vaste dictionary van functies, heeft de onderzoeker een langdurig optimalisatieparadox opgelost die de ontwikkeling van deze netwerken heeft gehinderd. Het vermogen om het netwerk te laten groeien zonder te vergeten, om natuurwetten met hoge precisie te ontdekken en het uiteindelijke resultaat te compileren naar eenvoudige code, suggereert een toekomst waarin deze systemen niet alleen krachtig zijn, maar ook begrijpelijk en praktisch. De bevindingen worden gepresenteerd niet als een definitief antwoord op alle problemen, maar als een stabiel fundament waarop geavanceerdere versies kunnen worden gebouwd, waarbij de kern van de theorie al door een machine is geverifieerd als wiskundig solide.

Technische Samenvatting: Dictionary-KAN

Probleemstelling

Het artikel behandelt de "optimalisatieparadox" die inherent is aan continue Kolmogorov-Arnold Networks (KANs). Hoewel het Kolmogorov-Arnold representatietheorema garandeert dat elke multivariate continue functie kan worden gedecomposeerd in 1D-functies en optellingen, stuiten standaard continue KAN-implementaties (gebruikmakend van B-splines, Chebyshev-polynomen of leerbare Gaussische centra) in de praktijk op vier kritieke problemen:

Pathologieën in de basisfuncties: Begrensde rationale functies veroorzaken verdwijnende gradiënten (vanishing gradients), terwijl hoogwaardige polynomen een gecorreleerd verlieslandschap creëren met grillige nuldoorgangen.
Grid-instabiliteit: Dynamische her-gridding van spline-knopen leidt tot niet-convexe sorteercollaps en domeinvervorming, wat catastrofale vergetelheid veroorzaakt tijdens gelokaliseerde updates.
Schending van KA-beperkingen: Het modelleren van niet-lineaire variabele interacties (bijv. $x_1x_2$ ) vereist vaak dichte lineaire projecties of gating, wat effectief de dichte gewichtsmatrices van Multi-Layer Perceptrons (MLPs) herintroduceert en de 1D-sommatiestructuur doorbreekt.
Intractabele regularisatie: Standaard Sobolev $L_2$ -straffen vervagen scherpe transities, terwijl strikte Lipschitz-grenzen de expressiviteit te sterk beperken.

Bovendien lijden continue KANs onder een "geheugenvervloek van dimensionaliteit", waarbij dichte grid-activaties slecht schalen met de netwerkbreedte, wat vaak leidt tot out-of-memory (OOM) fouten.

Methodologie: Dictionary-KAN (DKAN)

De auteur stelt Dictionary-KAN voor, een architectuur die de continue, leerbare grid-warping vervangt door een vaste, discrete dictionary-aanpak gebaseerd op functionele analyse. De kern van het ontwerp bestaat uit de volgende commitments:

1. Vaste RKHS-dictionaries met complexe coëfficiënten

In plaats van leerbare centra, wordt elke randfunctie gedefinieerd als een vaste Gaussische (magnitude-RBF) dictionary in een Reproducing Kernel Hilbert Space (RKHS). De coëfficiënten zijn leerbare complexe getallen.

Randfunctie: $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ , waarbij $c_m$ vaste reële centra zijn en $w$ complexe gewichten.
Complexe Routing: Inputs worden naar het complexe vlak getild ( $x_p \mapsto x_p + 0i$ ). Analytische basistermen ( $z, z^2$ ) isoleren van nature multiplicatieve kruisproducten (bijv. $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ ) zonder dat er dichte matrixprojecties nodig zijn.

2. Discrete Hiërarchische Verfijning (DHR)

Om de capaciteit te vergroten zonder het bestaande netwerk te hertrainen of te verstoren, gebruikt DKAN DHR. Dit proces voegt middelpunt-centra in tussen de bestaande dictionary-centra. Cruciaal is dat nieuwe gewichten exact op nul worden geïnitialiseerd, waardoor de output van het netwerk bit-identiek blijft vóór en na de verfijning. Dit garandeert "nul catastrofale vergetelheid".

3. Discrete Total-Variation (TV) Regularisatie

Om spaarzaamheid en stuksgewijs lineaire gewichtsprofielen af te dwingen, wordt een $\ell_1$ -straf toegepast op de tweede discrete verschillen van de gewichtssequentie: $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ .

4. Machine-Geverifieerde Theorie

Een onderscheidend kenmerk van dit werk is dat de kern van de optimalisatietheorie formeel is geverifieerd in Lean 4 / Mathlib. De auteur vertrouwt niet op informele asymptotische argumenten; in plaats daarvan worden machine-gecontroleerde bewijzen geleverd voor:

Strikte Convexiteit: De loss is strikt convex onder volledige rank dictionary-aannames.
Stationariteit: Stationariteit van gradiëntafdaling is equivalent aan de normale vergelijkingen ( $K^*(Kw-y)=0$ ).
Convergentie: Geometrische convergentie van gradiëntafdaling is bewezen onder een afgeleide Polyak–Lojasiewicz (PL) conditie.
Zero-Forgetting: De DHR-identiteit wordt bewezen de functie puntgewijs te behouden.

Belangrijkste Resultaten

1. Optimalisatiestabiliteit en Nauwkeurigheid

Bij een gekoppelde multivariate regressietaken ( $f(x,y) = \sin(x)\cos(y) + xy$ ) presteert DKAN ongeveer 20× beter in Test MSE dan dichte RBF-KAN baselines.

Complex vs. Reëel: Complexe DKAN (C-DKAN) convergeert vloeiend en monotoon. In tegen tegenstelling hiertoe vertoont een reële DKAN (R-DKAN) ernstige instabiliteit in de loss en gradiëntschokken, wat valideert dat de complexe fase fungeert als een geometische stabilisator.
Zero-Forgetting: Bij DHR-expansie is de verandering in de netwerkoutput exact 0.0, wat de theoretische garantie bevestigt.

2. Beperkingen op Discontinuïteiten

Het artikel rapporteert negatieve resultaten met betrekking tot discontinuïteiten. Bij een stapfunctie-benaderingstaak vertonen gladde magnitude-RBF dictionaries Gibbs-achtige ringingen (overshoot/undershoot).

Hoewel C-DKAN minder ringt dan dichte KANs, kan het de bijna exacte stap-benadering van ReLU MLPs niet evenaren.
De TV-regularisator, die de kromming in de gewichtsruimte bestraft, slaagt er niet in om ringingen in de functieruimte te onderdrukken, omdat brede overshoot-bulten kleine discrete tweede afgeleiden hebben. De auteur stelt expliciet dat gewichtsruimte-TV de functieruimte-ringing niet controleert.

3. Hardware Schaalbaarheid

DKAN lost de geheugenbottleneck van continue KANs op.

Dichte KANs vereisen $O(BN^2G)$ geheugen voor edge-activatie-tensoren, wat leidt tot OOM bij een breedte $N=256$ .
DKAN schaalt met $O(BNM)$ geheugen. Bij $N=128$ gebruikt DKAN 18,6× minder VRAM dan de dichte baseline. Bij $N=256$ faalt het dichte model, terwijl DKAN binnen 2,66 GB voltooid.

4. Wetenschappelijke Ontdekking (ODEs en PDEs)

Gedempte Pendel: DKAN slaagt erin de gekoppelde toestandsruimte-structuur $\{\theta, \dot{\theta}\}$ en de niet-lineariteit $\sin(\theta)$ te herstellen. Een reële baseline slaagde er niet in de dempingscoördinaat $\dot{\theta}$ te behouden en verving deze door een monotone proxy.
Burgers' Vergelijking: DKAN ontdekt de viskeuze Burgers' PDE-coëfficiënten ( $u_t = -1.0024 u u_x + 0.0095 u_{xx}$ ) met <1% fout. Cruciaal is dat het de niet-lineaire productterm $u u_x$ van nature synthetiseert via het imaginaire deel van $z^2$ (waarbij $z = u + i u_x$ ), terwijl de baseline deze term als een expliciete inputfeature vereiste.

5. Symbolische Compilatie

DK matter kan worden gecompileerd naar een ~50-regelige gesloten vorm GLSL-shader voor BRDF energiecompensatie. Door kleine gewichten te verwijderen en vaste centra te gebruiken, converteert het netwerk direct naar een symbolische expressieboom, wat real-time implementatie mogelijk maakt zonder een neurale runtime.

Betekenis en Claims

Het artikel positioneert Dictionary-KAN niet als een universele interpolator (waar ongestructureerde MLPs nog steeds een lagere ruwe MSE kunnen bereiken op gladde grids), maar als een stabiel, interpreteerbaar en hardware-efficiënt alternatief voor zowel MLPs als continue KANs.

De primaire betekenis ligt in:

Het oplossen van de Optimalisatieparadox: Door de dictionary vast te leggen en complexe routing te gebruiken, elimineert het grid-instabiliteit en verdwijnende gradiënten, terwijl het de topologische beperkingen van de KA-stelling handhaaft.
Machine-Geverifieerde Garanties: Het biedt de eerste machine-gecontroleerde bewijzen voor KAN-convergentie, convexiteit en zero-forgetting verfijning, waarmee het verder gaat dan informele theoretische claims.
Natuurlijke Multiplicatieve Koppeling: Het bereikt de modellering van variabele interactie via complexe analytische eigenschappen in plaats van dichte projecties.
Schaalbaarheid: Het verwijdert de geheugenvervloek van dimensionaliteit die geassocieerd wordt met dichte grid-gebaseerde KANs.

De auteur is bescheiden in de claims en erkent expliciet dat gladde dictionaries moeite hebben met discontinuïteiten en dat de huidige theorie rust op voorwaardelijke premissen (bijv. full-rank dictionaries) die in de toekomst (V2) afhankelijk-van-data certificering vereisen. Het werk wordt geframed als een "V1" fundament, waarbij toekomstige versies zich richten op kernel-theoretische unificatie en diepe systeemschaling.