📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

Dit artikel introduceert Geometry-Constrained Kolmogorov-Arnold Networks (Banach-KANs), die vaste randactivaties vervangen door leerbare functies afgeleid van Banach-dualiteitskaarten gecontroleerd door een scalaire exponent $p$ , waarmee superieure of concurrerende prestaties worden behaald in symbolische regressie en een verbeterde robuustheid tegen ruis en kleine steekproefgroottes wordt aangetoond vergeleken met traditionele fixed-basis KANs.

Oorspronkelijke auteurs: K S Sesh Kumar

Gepubliceerd 2026-08-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: K S Sesh Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van wetenschappelijke ontdekkingen beschrijven veel natuurwetten hoe één grootheid verandert als reactie op een andere. De zwaai van een pendel hangt af van de hoek; de snelheid van een auto hangt af van de verkeersdichtheid; de helderheid van een ster hangt af van de temperatuur. Decennialang hebben wetenschappers wiskundige modellen gebruikt om deze relaties vast te leggen, maar een nieuwere benadering is opgekomen die het model zelf behandelt als een flexibele, lerende entiteit. Deze benadering, bekend als een Kolmogorov–Arnold-netwerk, werkt door een complex probleem op te splitsen in vele kleine, eenvoudige stukjes. In plaats van het hele systeem te dwingen om één enkele, rigide regel te leren, bouwt het een netwerk waarbij elke verbinding tussen twee punten wordt beheerst door zijn eigen unieke, leerbare functie. De centrale uitdaging voor deze netwerken is altijd geweest om te beslissen welke vorm die functies moeten aannemen. Traditioneel moesten onderzoekers vooraf een specifieke vorm kiezen — zoals een vloeiende curve of een herhalende golf — en zich daar de hele tijd aan houden. Dit is een beetje alsof je probeert een kapotte machine te repareren met slechts één type moersleutel; het werkt goed voor sommige bouten, maar faalt jammerlijk bij andere.

Een onderzoeker aan het Imperial College London heeft een andere manier voorgesteld om over dit probleem na te denken. Hij realiseerde zich dat het echte probleem niet de vorm van de functie zelf is, maar de onderliggende "geometrie" of de ruimte waarin die functie leeft. In de wiskunde bepaalt geometrie hoe afstanden worden gemeten en hoe scherp of vloeiend een curve kan zijn. De onderzoeker ontwikkelde een nieuw type netwerk waarbij de geometrie niet vaststaat voordat het leerproces begint. In plaats daarvan leert het netwerk de beste geometrie voor elke individuele verbinding direct van de data. Hij bereikte dit door een enkel, aanpasbaar getal te introduceren voor elke verbinding in het netwerk. Dit getal werkt als een draaiknop die het gedrag van de verbinding verschuift van scherp en drempelachtig naar vloeiend en lineair, of zelfs vlak en verzadigd. Door de data te laten beslissen waar de stand van die draaiknop moet staan, kan het netwerk zijn eigen interne structuur aanpassen aan de specifieke eigenaardigheden van het probleem dat het oplost.

De onderzoeker testte dit idee op vijftig verschillende wiskundige problemen, variërend van standaard natuurkundige vergelijkingen tot synthetische uitdagingen die ontworpen zijn om het systeem zwaar te belasten. Hij vergeleek zijn nieuwe, geometrie-adaptieve netwerken met oudere modellen die vertrouwden op vaste vormen, zoals splines (die lijken op flexibele linialen die worden gebruikt om vloeiende curven te tekenen) of polynomen. De resultaten lieten zien dat de modellen met een vaste vorm moeite hadden wanneer de data plotselinge sprongen of scherpe hoeken bevatten, wat vaak leidde tot wiebelige, onnauwkeurige resultaten omdat hun rigide vormen niet genoeg konden buigen om de data te volgen. In contrast hiermee konden de nieuwe netwerken, die hun eigen geometrie konden aanpassen, de prestaties van elke vaste-vorm-baseline evenaren of verbeteren. Op een kernset van achttien moeilijke vergelijkingen behaalde de nieuwe methode de beste gemiddelde rangschikking, en op de volledige set van vijftig presteerde hij net zo goed als de sterkste traditionele methoden.

Misschien wel de meest significante bevinding was hoe deze nieuwe netwerken omgingen met ruis. In de echte wereld zijn metingen zelden perfect; ze bevatten vaak willekeurige fouten of "statische ruis". Wanneer de onderzoeker de hoeveelheid ruis in de data verhoogde, stortten de traditionele modellen snel in. Hun foutmarges namen met een factor vierentwintig of meer toe naarmate de ruis toenam. De nieuwe geometrie-adaptieve netwerken waren veel robuuster. Zelfs toen het ruisniveau steeg, nam de foutmarge van de nieuwe netwerken veel minder sterk toe, vaak minder dan vier keer de oorspronkelijke fout. Dit suggereert dat door de juiste geometrie te leren, het netwerk de willekeurige statische ruis kan negeren en zich kan concentreren op het werkelijke signaal, een capaciteit die vaste-vorm-modellen missen.

De studie onthulde ook dat het netwerk niet alleen één enkele, uniforme geometrie voor alles leert. In plaats daarvan leerden verschillende verbindingen binnen hetzelfde netwerk verschillende instellingen voor hun geometrie-draaiknop. Sommige verbindingen leerden heel scherp te zijn om plotselinge veranderingen op te vangen, terwijl andere leerden vloeiend te zijn voor geleidelijke trends. Deze specialisatie vond consistent plaats over verschillende soorten vergelijkingen en invoerdimensies. Bijvoorbeeld, wanneer het probleem meer variabelen betrof, neigde het netwerk er vaker naar om scherpere geometrieën te leren. Dit gedrag biedt een vorm van interpreteerbaarheid: door naar de instellingen te kijken die het netwerk koos, kunnen onderzoekers een signaal waarnemen dat de onderliggende structuur van het probleem reflecteert. Het netwerk zegt in feite: "Dit deel van het probleem heeft een scherpe rand nodig, terwijl dat deel een vloeiende curve nodig heeft."

De onderzoeker verkende ook wat er gebeurt als er zeer weinig data beschikbaar is. In deze scenario's met kleine steekproeven presteerden de nieuwe netwerken opnieuw beter dan de modellen met een vaste vorm, die doorgaans grote hoeveelheden data nodig hebben om effectief te leren. Het vermogen om de geometrie aan te passen, stelde de nieuwe netwerken in staat om de juiste antwoorden te benaderen met veel minder voorbeelden. De studie merkte echter ook beperkingen aan deze aanpak op. Hoewel de nieuwe methode uitblinkt in laag- tot middelhoog-dimensionale problemen, is het geen vervanging voor diepe, massieve neurale netwerken die worden gebruikt voor taken zoals beeldherkenning. Sterker nog, bij tests op beelddatasets presteerde de nieuwe methode alleen gelijk aan standaard netwerken als deze werd voorzien van twintig tot dertig keer meer parameters, wat suggereert dat de kracht ervan ligt in efficiëntie en aanpassingsvermogen voor specifieke typen regressieproblemen in plaats van brute schaal.

Uiteindelijk verschuift dit werk de focus van het kiezen van het juiste instrument naar het bouwen van een instrument dat zijn eigen vorm kan veranderen. De onderzoeker heeft aangetoond dat de sleutel tot het oplossen van complexe regressieproblemen niet de specifieke wiskundige basis is waarmee de data wordt gerepresenteerd, maar de geometrische ruimte waarin die representatie leeft. Door die ruimte een leerbare parameter te maken, creëerde hij een systeem dat robuuster is tegen ruis, efficiënter is met kleine datasets en beter in staat is om de ware aard van de relaties die het probeert te modelleren te vatten. De bevindingen suggereren dat de meest effectieve modellen in de toekomst mogelijk niet die zijn met de meest complexe vaste architecturen, maar diegenen die de geometrie van het probleem dat ze oplossen, zelf kunnen leren.

Technische Samenvatting: Geometrie-geconstrueerde Kolmogorov–Arnold-netwerken

Probleemstelling

Kolmogorov–Arnold-netwerken (KANs) vervangen vaste activatiefuncties in diepe architecturen door leerbare univariate randfuncties. Hoewel bestaande KAN-varianten (bijv. die gebruikmaken van B-splines, Chebyshev-polynomen of Fourier-kenmerken) flexibiliteit bieden, vertrouwen zij op vaste basis-expansies. Dit legt een specifieke functieruimte-geometrie op (bijv. gladheid, periodiciteit of lokaliteit) a priori, nog voordat de data is waargenomen.

Het artikel stelt dat deze vaste geometrie een fundamentele beperking vormt. Zoals in de inleiding wordt aangetoond, falen verschillende vaste bases op verschillende manieren bij het fitten van doelwitten met afwijkende structuren (bijv. gladde bases die moeite hebben met discontinuïteiten zoals Heaviside-stappen). Het kernprobleem is niet de representatieve capaciteit, maar geometrische mismatch: de opgelegde geometrie van de basis komt niet overeen met de intrinsieke geometrie van de doelunctie.

Methodologie: Geometrie-geconstrueerde KANs

De auteur stelt geometrie-geconstrueerde KANs voor, waarbij de rand-activatie niet wordt gekozen uit een discrete set bases, maar wordt afgeleid van de dualiteitskaart van een leerbare Banach-ruimte geometrie.

1. Theoretische Fundering

De aanpak maakt gebruik van de correspondentie tussen een norm, een convexe potentiaal en de gradiënt daarvan (de activatie):
$\text{norm} \implies \text{geometrie} \implies \text{convexe potentiaal } \Psi \implies \text{activatie } \phi = \nabla \Psi$
In plaats van de basis vast te leggen, parametriseert de auteur de geometrie met behulp van de $\ell_p$ -familie. De exponent $p$ controleert het kwalitatieve gedrag van de rand:

$p \to 1$ : Produceert scherpe, drempelachtige gedragingen (vergelijkbaar met $\ell_1$ -geometrie).
$p = 2$ : Herstelt het lineaire/Euclidische regime.
$p > 2$ : Produceert vlakkere responsen nabij de oorsprong en machtswet-groei in de staarten.

2. Architectuurvarianten

Het artikel definieert een gecontroleerde familie van drie architecturen om de effecten van expressiviteit en geometrische adaptatie te isoleren:

Tanh-KAN: Gebruikt de standaard $\tanh$ -activatie (afgeleid van Orlicz-dualiteit, $\Psi(z) = \log \cosh z$ ). Het biedt begrensde expressiviteit maar geen geometrische adaptatie.
$\ell_p$ -KAN: Gebruikt de dualiteitskaart $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ . Dit staat geometrische adaptatie toe via een leerbare exponent $p$ , maar mist begrensde verzadiging.
Banach-KAN: Het primaire model, dat beide takken combineert:
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
Deze architectuur verenigt begrensde verzadiging (van $\tanh$ ) met adaptieve machtswet-geometrie (van $J_p$ ), waardoor randen diverse responsregimes kunnen beslaan.

3. Implementatiedetails

Leerbare Exponent: De exponent wordt geparametriseerd als $p = 1 + \exp(\theta)$ , wat ongecontroleerde optimalisatie van $\theta$ mogelijk maakt.
Numerieke Stabiliteit: De exacte dualiteitskaart $J_p$ heeft een singuliere afgeleide bij $z=0$ voor $p < 2$ . De auteur implementeert een overal- $C^1$ gesmoothde kaart: $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ , die de geometrische interpretatie in de staarten behoudt terwijl de differentieerbaarheid bij de oorsprong wordt gewaarborgd.
Trainbare Diepteconditie: Theoretische analyse (Propositie 1) suggereert dat voor een feedforward stack met Gaussische pre-activaties een kritische gewichtsschaal bestaat alleen als $p > 3/2$ . Onder deze drempel kan signaalpropagatie instabiel worden zonder residuele verbindingen.

Belangrijkste Bijdragen

Geometrie-geconstrueerde Parametrisering: Het introduceren van KAN-randactivaties afgeleid van Banach-dualiteitskaarten waarbij de geometrie (gecontroleerd door $p$ ) direct uit de data wordt geleerd, in plaats van door een keuze van een vaste basis.
Verenigde Interpretatie: Het herformuleren van KAN-randfuncties niet als basis-expansies, maar als geometrie-gecontroleerde mappingen.
Empirische Robuustheid: Aantonen dat het leren van geometrie de robuustheid tegen meetruis en benadering in kleine-sample-regimes verbetert vergeleken met vaste-basis KANs en expliciete spline-regularisatie.
Interpreteerbaar Signaal: Laten zien dat geleerde exponenten een consistente, doelafhankelijke geometrische ordening bieden (bijv. scherpere doelwitten leveren een lagere $p$ ) die stabiel is over ruisniveaus en inputdimensies.
Ablatie van Flexibiliteit: Het isoleren van het "geometrie"-effect van generieke parametrische flexibiliteit door vergelijking met matched-budget controles (bijv. hellings-adaptieve activaties, rationale functies en mengmodellen).

Experimentele Resultaten

De modellen werden geëvalueerd op 50 symbolische regressiedoelwitten (40 uit de AI Feynman benchmark, 10 synthetische stress-tests) en 12 PMLB tabel-datasets.

Prestaties op Schone Data

Mediaan NRMSE: Banach-KAN bereikte een mediane NRMSE van 0.030 op de volledige 50-vergelijkingen benchmark, wat statistisch gelijk is aan Chebyshev-KAN (0.030) en beter presteert dan Spline-KAN (0.037).
Rangschikking: Banach-KAN behaalde de beste gemiddelde rang op de "Core 18" subset (2.00) en trok gelijk met de beste op de volledige set (2.32 vs. 2.34 voor Spline).
Small-Sample Regime: Banach-KAN won de meeste vergelijkingen in het small-sample regime ( $n=50$ en $n=100$ ), waarbij het beter presteert dan vaste-basis modellen die meer data nodig hebben om te convergeren.

Robuustheid tegen Ruis

Het artikel benadrukt aanzienlijke winsten onder meetruis ( $\sigma$ stijgend van 0 naar 1):

Degradatieratio: Naarmate de ruis toenam, degradeerden vaste-basis modellen aanzienlijk (Spline G=3 degradeerde 21.6 $\times$ , Cheby-KAN 14.9 $\times$ ).
Geometrie-geconstrueerde Stabiliteit: De geometrie-geconstrueerde varianten degradeerden veel minder. De $\ell_p$ -KAN degradeerde slechts 3.7 $\times$ , en Banach-KAN degradeerde 8.8 $\times$ . Opvallend genoeg degradeerde zelfs een cross-validated spline $\approx$ 11 $\times$ , wat maakt dat de geleerde geometrie robuuster is dan getunede regularisatie.
Ruis-regime Verschuiving: Bij hoge ruis ( $\sigma=1.0$ ), presteerde de $\ell_p$ -variant beter dan Banach-KAN, wat suggereert dat er een trade-off is waarbij pure machtswet-geometrie robuuster is tegen extreme ruis dan de gecombineerde architectuur.

Extrapolatie en Tabelgegevens

Extrapolatie: Bij out-of-range testen (trainen op de binnenste 60% van de inputruimte), behaalden Banach-KAN en $\ell_p$ -KAN de laagste NRMSE (0.35 en 0.42), wat aanzienlijk beter is dan lokale bases zoals Splines (0.73) en RBFs (0.86).
Tabelgegevens: Op 12 PMLB datasets won de geometrie-geconstrueerde familie 10/12 datasets. Tanh-KAN was het sterkste enkelvoudige model (5 overwinningen), terwijl Banach-KAN 1 won. Spline G=3 won nul.

Betekenis en Claims

Het artikel positioneert de bijdrage als een ontwerpprincipe in plaats van een state-of-the-art benchmarkrecord. De auteur stelt expliciet:

Bescheiden Omvang: De methode is ontworpen voor lage- tot middelhoge dimensie regressie. Het concurreert niet met diepe architecturen (zoals ResNets) op hun natuurlijke terrein (bijv. beeldclassificatie) waar MLPs de prestaties pas evenaren bij 20–30 $\times$ het aantal parameters.
Het "Juiste Gereedschap" voor het Regime: De claim is dat bij vergelijkbare per-edge budgetten, onder meetruis en in small-sample regimes, de geïnduceerde geometrie (geleerd via $p$ ) de leerprestaties meer bepaalt dan pure expressiviteit.
Interpreteerbaarheid: De geleerde exponent $p$ dient als een "geometrische readout" van de structuur van de doelfunctie, wat een interpreteerbaar signaal geeft over de vereiste regulariteit (scherp vs. glad) zonder handmatige tuning.
Beperkingen: De auteur erkent dat de per-edge vorm een capaciteitplafond heeft naarmate de datagrootte groeit, en dat de evaluatie momenteel beperkt is tot symbolische regressie en tabelgegevens, waarbij toekomstig werk nodig is voor hoog-dimensionale modaliteiten (sequenties, afbeeldingen).

Samenvattend betoogt het artikel dat geometrie de primaire modelleringskeuze is in KANs. Door de geometrie adaptief te maken via een leerbare exponent $p$ , kan het model zijn inductieve bias afstemmen op de data, wat resulteert in superieure robuustheid en benadering in regimes waar vaste bases falen.