Hierarchical RBF-KAN and RBF-SKAN Architectures for Multidimensional Function Approximation and Random Field Learning

Technische Samenvatting: Hiërarchische RBF-KAN en RBF-SKAN Architecturen

Probleemstelling
Het artikel behandelt de uitdagingen bij het benaderen van hoogdimensionale deterministische functies en het leren van random field-modellen. Hoewel Radial Basis Function Neural Networks (RBFNN's) een gevestigde theoretische basis hebben voor universele approximatie en gunstige optimalisatie-eigenschappen bieden, worstelen bestaande meerlagige RBF-architecturen vaak met de "vloek van dimensionaliteit" in complexe multivariate settings. Bovendien hebben recente Kolmogorov–Arnold Network (KAN) architecturen, die streven naar het repliceren van de Kolmogorov–Arnold representatiestelling, zich primair gericht op spline-gebaseerde activaties of uniforme gelaagde structuren. De auteurs identificeren een gat in de rigoureuze analyse van hoe hiërarchische, niet-uniforme RBF-gebaseerde architecturen effectief hoogdimensionale functies en stochastische velden kunnen leren, met name met betrekking tot hun vermogen om dimensionaliteitsproblemen te verzachten en random fields te benaderen onder Wasserstein-metrieken.

Methodologie
De auteurs stellen twee nieuwe architecturen voor:

1. Hiërarchische RBF-KAN: Ontworpen voor multidimensionale deterministische functie-approximatie. In tegenstelling tot standaard RBFNN's of eerdere RBF-KAN-modellen die gebruikmaken van volledig verbonden lagen met een uniform aantal neuronen, maakt deze architectuur gebruik van een "hiërarchische blok"-structuur. Elk blok bestaat uit twee onderscheidende activatielagen waarbij het aantal neuronen in de eerste post-activatielaag $(2d+1)$ keer groter is dan dat van de tweede, wat expliciet de structuur van de Kolmogorov–Arnold representatiestelling nabootst. De activatiefunctie is een Gaussische kern $B(x) = \exp(-x^2)$. Het framework ondersteunt zowel standaard feedforward-propagatie als ResNet-stijl skip-verbindingen.
2. Hiërarchische RBF-SKAN: Een stochastische uitbreiding van de RBF-KAN, ontworpen voor het leren van random fields. Deze architectuur integreert twee RBF-KAN-modules. De eerste module verwerkt inputs, terwijl de tweede module randomness introduceert door gewichten ($w_{i,j}$) en RBF-schaalparameters te samplen uit onafhankelijke distributies. Dit stelt het netwerk in staat om een distributie uit te geven in plaats van een enkele deterministische waarde, wat het leren van random field-modellen mogelijk maakt.

Theoretische Bijdragen
Het artikel stelt rigoureuze universele approximatietheorema's vast voor beide architecturen:

• Deterministische Approximatie: De auteurs bewijzen dat de hiërarchische RBF-KAN elke continue multivariate functie tot willekeurige precisie kan benaderen. Cruciaal is dat zij kwantitatieve foutmarges afleiden die aantonen dat, onder specifieke gladheidvoorwaarden, de convergentiesnelheid niet expliciet verslechtert naarmate de inputdimensie $d$ toeneemt. Dit suggereert dat de architectuur de vloek van dimensionaliteit gedeeltelijk kan verzachten door de effectieve dimensionaliteit van het approximatieprobleem te verminderen.
• Stochastische Approximatie: Voor de hiërarchische RBF-SKAN bewijzen de auteurs een asymptotisch universeel approximatieresultaat onder de gekwadrateerde Wasserstein-2 ($W_2$) metriek. Zij demonstreren dat het framework random field-modellen kan benaderen, mits de onderliggende waarschijnlijkheidsmaten voldoen aan uniforme Lipschitz-continuïteitsvoorwaarden met betrekking tot de inputruimte.

Experimentele Resultaten
De auteurs valideren hun methoden via drie primaire numerieke experimenten:

1. Multidimensionale Functie-approximatie: De hiërarchische RBF-KAN werd getest op een sterk oscillerende functie (Eq. 23) met inputdimensies variërend van 1 tot 6. De resultaten geven aan dat terwijl standaard RBF-MLP's en naïeve RBF-KAN's er niet in slagen de nauwkeurigheid te handhaven naarmate de dimensionaliteit toeneemt, de voorgestelde hiërarchische RBF-KAN een hoge nauwkeurigheid behoudt. De integratie van ResNet-technieken bleek essentieel voor stabiele training en nauwkeurigheid in multi-block configuraties.
2. Reconstructie van Chaotische Dynamische Systemen: De architectuur werd toegepast op de reconstructie van het Lorenz-systeem. De hiërarchische RBF-KAN (met twee blokken en ResNet) behaalde de laagste relatieve fouten in zowel voorspelde trajecten als geleerde dynamiek vergeleken met diverse MLP's en KAN-varianten.
3. Random Field Learning: De hiërarchische RBF-SKAN werd vergeleken met Conditional Normalizing Flows (CNF) en Conditional Variational Autoencoders (CVAE) voor het reconstrueren van een multivariate random field. De voorgestelde methode vertoonde superieure prestaties in het voorspellen van de standaarddeviatie van de random field, met name in hogere dimensies, terwijl CVAE- en CNF-benaderingen significante fouten vertoonden in het vastleggen van stochastiek.

Significantie en Claims
Het artikel claimt dat het voorgestelde hiërarchische ontwerp essentieel is voor het getrouw reproduceren van de Kolmogorov–Arnold representatiestructuur, wat cruciaal is voor het leren van multivariate functies. De belangrijkste claims zijn:

• De hiërarchische RBF-KAN biedt een theoretisch pad om de vloek van dimensionaliteit in functie-approximatie gedeeltelijk te verzachten, een eigenschap die niet expliciet gegarandeerd wordt in bestaande meerlagige RBF of standaard KAN-architecturen.
• De hiërarchische RBF-SKAN biedt een robuust framework voor onzekerheidskwantificering in random field learning, waarbij het superieur is aan gangbare machine learning-benaderingen zoals CNF en CVAE in het vastleggen van distributionele eigenschappen (specifiek de standaarddeviatie).
• De integratie van ResNet-technieken in multi-block hiërarchische RBF-KAN's verbetert de benaderingsnauwkeurigheid en trainingsstabiliteit aanzienlijk.

De auteurs concluderen dat hoewel de voorgestelde methoden hogere computationele kosten met zich meebrengen dan standaard MLP's (door de hiërarchische structuur en $W_2$ loss evaluatie), ze een superieure nauwkeurigheid en expressiviteit bieden voor hoogdimensionale en stochastische leertaken. Toekomstig werk wordt gesuggereerd voor het verkennen van diepere blokstructuren, integratie in transformer-architecturen en uitbreiding naar classificatietaken.