Geometry-Aware R-Structured Kolmogorov-Arnold Networks

Technische Samenvatting: Geometrie-bewuste R-gestructureerde Kolmogorov–Arnold-netwerken (GRS-KAN)

Probleemstelling
Hoewel Kolmogorov–Arnold-netwerken (KANs) aanzienlijke belofte hebben getoond in wetenschappelijke berekeningen door gewichtsmatrices te vervangen door leerbare univariate functies, blijven ze een "black box" in hun omgang met expliciete geometrische beperkingen. Standaard KANs moeten complexe geometrische structuren — zoals haalbare regio's, Booleaanse condities en discontinuïteiten — impliciet afleiden uit trainingsdata met behulp van gladde spline-bases. Deze impliciete afleiding leidt vaak tot suboptimale nauwkeurigheid nabij grenzen en vereist een groot aantal parameters om scherpe overgangen te benaderen. Daarentegen bieden R-functies (ontwikkeld door V. L. Rvachev) een rigoureus analytisch kader voor het representeren van logische operaties en complexe geometrische vormen als enkelvoudige differentieerbare vergelijkingen, maar deze zijn nog niet geïntegreerd in moderne neurale architecturen voor het leren van gladde functionele relaties.

Methodologie
Het artikel stelt het Geometrie-bewuste R-gestructureerde Kolmogorov–Arnold-netwerk (GRS-KAN) voor, een hybride architectuur die het leren van gladde niet-lineaire structuren ontkoppelt van het coderen van bekende geometrische beperkingen.

1. Kernintegratie: Het framework behoudt de standaard KAN-tak, die glad functioneel gedrag leert van data met behulp van leerbare randfuncties (bestaande uit een gladde SiLU-basis en een B-spline correctie). Tegelijkertijd wordt een R-functie-tak geïntroduceerd die bekende geometrische regio's (bijv. rechthoeken, cirkels of complexe Booleaanse combinaties) analytisch codeert met behulp van differentieerbare R-conjuncties ($\land$) en R-disjuncties ($\lor$).
2. Differentieerbare Geometrie: De R-functies mappen logische condities (bijv. "binnen een rechthoek") naar reële functies waarbij het teken de regio bepaalt. Deze worden gladgestreken met een logistische sigmoid ($\sigma(\kappa R(x))$) om differentieerbare poorten te creëren die geschikt zijn voor gradiëntgebaseerde backpropagation.
3. Architecturale Varianten: De auteurs introduceren drie specifieke configuraties:
   • Targeted Additive GRS-KAN: Modelleert functies met een gladde achtergrond plus een gelokaliseerde sprong binnen een bekende regio ($f_{smooth} + c \cdot \text{gate}$).
   • Targeted Multiplicative GRS-KAN: Modelleert functies die alleen niet-nul zijn binnen een bekende geometrische ondersteuning ($f_{smooth} \cdot \text{gate}$).
   • Agnostic GRS-KAN: Een verenigde architectuur die een baseline KAN, een additieve tak en een multiplicatieve tak combineert. Het maakt gebruik van leerbare structuurselectie-parameters ($w_{KAN}, w_{add}, w_{mul}$) om automatisch te bepalen welke dominante interactiemechanisme (puur glad, additief of multiplicatief) dominant is op basis van de data.

Belangrijkste Bijdragen

• Theoretisch Kader: Een methode om analytische R-functie-representaties van geometrische en logische beperkingen direct in het differentieerbare KAN-framework te integreren.
• Analytische Constructies: Expliciete gesloten vorm expressies voor geometrische indicatoren (bijv. rechthoeken) met behulp van R-functies, inclusief analytische gradiënten voor backpropagation.
• Architecturale Innovatie: Het voorstel van additieve, multiplicatieve en agnostische varianten die expliciete geometrische codering mogelijk maken zonder de differentieerbaarheid die nodig is voor optimalisatie op te offeren.
• Automatische Structuurontdekking: Demonstratie dat leerbare takgewichten kunnen identificeren of een specifieke geometrische prior nuttig is voor een bepaalde taak, wat effectief structuurselectie uitvoert.

Experimentele Resultaten
Numerieke experimenten werden uitgevoerd op gladde benchmarks en discontinue problemen met rechthoekige ondersteuningen.

• Gladde Benchmarks: Op standaard KAN-benchmarks (bijv. $f(x,y) = \exp(\sin(\pi x) + y^2)$ en $f(x,y)=xy$), slaagde de implementatie van de auteurs erin om de mogelijkheid van KANs te repliceren om te snoeien naar ijle structuren en exacte symbolische expressies te herstellen, wat de baseline valideert.
• Discontinue/Geometrische Benchmarks:
  • Rectangular Additive Discontinuity: De targeted additive GRS-KAN verminderde de test RMSE met 67% en de boundary-band RMSE met 61% vergeleken met standaard KANs. De expliciete geometrische codering stelde het model in staat om de discontinuïteit scherp te lokaliseren, terwijl standaard KANs gladde, onnauwkeurige overgangen produceerden.
  • Masked Product: Voor functies die alleen binnen een rechthoek gedefinieerd zijn, verminderde de multiplicative GRS-KAN de test RMSE met 58% en de boundary RMSE met 50%.
  • Agnostic Performance: De agnostische variant identificeerde succesvol de juiste structuur voor specifieke taken (bijv. het onderdrukken van geometrie-takken voor onbeperkte $xy$ en het prioriteren van multiplicatieve gewichten voor gemaskeerde $xy$). Hoewel het niet altijd de gespecialiseerde targeted varianten overtrof, bereikte het concurrerende nauwkeurigheid zonder voorafgaande kennis van de functionele vorm te vereisen.

Betekenis en Claims
De paper claimt dat GRS-KAN een duidelijke richting vertegenwoordigt ten opzichte van bestaande KAN-varianten, die zich primair richten op het modificeren van benaderingsmechanismen (bijv. basisfuncties of aandacht). In plaats daarvan incorporeert GRS-KAN expliciete analytische geometrie direct in de netwerkarchitectuur.

De primaire betekenis ligt in de mogelijkheid om:

1. Nauwkeurigheid te Verbeteren: Het expliciet coderen van bekende geometrische beperkingen verhoogt de voorspellende nauwkeurigheid en de lokalisatie van grenzen aanzienlijk in problemen met discontinuïteiten of beperkte domeinen.
2. Interpretabiliteit te Vergroten: Het model biedt een expliciete analytische representatie van de geleerde geometrische structuur, wat verder gaat dan black-box benaderingen om te onthullen hoe geometrie interacteert met de gladde achtergrond.
3. Automatische Prior Selectie: De agnostische variant demonstreert dat neurale netwerken automatisch kunnen bepalen of geometrische priors noodzakelijk zijn, wat een robuuste oplossing biedt voor wetenschappelijke problemen waar de functionele rol van geometrische beperkingen onbekend is.

De auteurs merken op dat hoewel de experimenten eenvoudige rechthoeken en cirkels gebruiken, het framework theoretisch toepasbaar is op willekeurige impliciete regio's, inclus�ing niet-convexe domeinen en Booleaanse combinaties van beperkingen, wat de weg vrijmaakt voor toepassingen in engineering design spaces en procescontrole.