Kolmogorov-Arnold Fourier Networks

Technische Samenvatting: Kolmogorov-Arnold Fourier-netwerken (KAF)

Probleemstelling
Hoewel Kolmogorov-Arnold-netwerken (KANs) sterke theoretische expressiviteit bieden door vaste activatiefuncties te vervangen door leerbare B-spline-basisfuncties, staan ze voor twee kritieke belemmeringen voor praktische toepassing in hoogdimensionale taken:

1. Parameterexplosie: De dubbel-matrixarchitectuur (matrix voor activatiefuncties en matrix voor B-spline-coëfficiënten) zorgt ervoor dat het aantal parameters aanzienlijk sneller groeit dan bij traditionele Multi-Layer Perceptrons (MLPs), wat leidt tot hoge opslag- en rekentkosten.
2. Spectrale beperkingen: De inherente gladheid van B-spline-basisfuncties beperkt het vermogen om hoogfrequente kenmerken vast te leggen, wat resulteert in suboptimale prestaties op data met rijke spectrale kenmerken, zoals natuurlijke afbeeldingen, audio en complexe differentiaalvergelijkingen.

Methodologie
De auteurs stellen het Kolmogorov-Arnold Fourier-netwerk (KAF) voor, dat het KAN-paradigma fundamenteel herdefinieert door spectrale herparameterisatie. De kernarchitectuur vervangt de lokale, op roosters gebaseerde B-spline-representatie door een globale, adaptieve spectrale representatie.

Belangrijke methodologische componenten zijn:

• Spectrale herparameterisatie: KAF voegt de grote matrices van KAN samen met gebruikmaking van de associatieve eigenschap van matrixvermenigvuldiging, waardoor de parametercomplexiteit wordt gereduceerd van $O(d_{in} \times d_{out} \times (G + K + 3))$ naar $O(d_{in} \times d_{out})$.
• Leerbaar willekeurig Fourier-kenmerk (RFF): In plaats van B-splines maakt KAF gebruik van leerbare RFF's om invoer af te beelden op een Reproducing Kernel Hilbert Space (RKHS). De frequentiematrix $W$ wordt geïnitieerd via een spectrale uitlijningsstrategie (specifiek $\sigma = 1.64$), afgeleid uit de Centrale Limietstelling en Fourier-analyse van de GELU-activatiefunctie. Deze initialisatie lijnt het RFF-spectrum uit met de voorkennis van natuurlijke signalen, waardoor spectrale lekkage wordt tegengegaan.
• Hybride GELU-Fourier-activatie: Het netwerk maakt gebruik van een dynamisch activatiemechanisme gedefinieerd als $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$. De coëfficiënten $\alpha$ en $\beta$ zijn leerbare schaalparameters. Tijdens het trainen prioriteert $\alpha$ aanvankelijk laagfrequente gladheid, terwijl $\beta$ (geïnitieerd op een kleine waarde, bijvoorbeeld $10^{-2}$) geleidelijk groeit om hoogfrequente componenten vast te leggen, waardoor een automatische overgang mogelijk is van vaste activatie naar hybride Fourier-symboolrepresentaties.

Belangrijkste bijdragen

1. Basis-transformatie: Een verschuiving van lokale B-splines naar globale, adaptieve spectrale representaties, wat de parametercomplexiteit vermindert terwijl de expressiviteit behouden blijft.
2. Spectrale uitlijning bij initialisatie: Een RFF-initialisatiestrategie ($\sigma = 1.64$) die de gladheidsbeperkingen van vaste kernels doorbreekt, waardoor nauwkeurige vastlegging van hoogfrequente componenten mogelijk wordt.
3. Adaptieve hybride activatie: Een mechanisme dat tijdens het trainen dynamisch de balans houdt tussen laagfrequente gladheid en hoogfrequente representatie, waardoor stabiliteit en efficiëntie worden gewaarborgd.

Experimentele resultaten
Uitgebreide experimenten werden uitgevoerd op gebieden als Computer Vision (CV), Natural Language Processing (NLP), audio en wetenschappelijk rekenen:

• Benchmarks: Op visiedatasets (MNIST, CIFAR-10/100, SVHN) bereikte KAF consistent hogere nauwkeurigheid dan MLPs, KANs, FAN en GPKAN onder vergelijkbare parameterbudgetten.
• Grootschalige modellen: Bij integratie in ResNet-18, ViT-Tiny en MLP-Mixer verbeterde KAF de Top-1-nauwkeurigheid (bijvoorbeeld 91,72% op CIFAR-10 voor ResNet-18 versus 91,19% voor MLP) terwijl redelijke rekentkosten werden behouden.
• Taalkundige modellering: In GPT-2-architecturen leidde het vervangen van het Feed-Forward Netwerk (FFN) door KAF tot een vermindering van de Perplexiteit (PPL) op WikiText (180,85 versus 184,53 voor MLP) en OpenWebText, terwijl de trainingstijd aanzienlijk werd verkort in vergelijking met KAN, dat te kampen had met instabiliteit en enorme parameteroverhead.
• Functiebenadering en PDE's: KAF toonde superieure aanpassingscapaciteiten op complexe functies (inclusief sommen met hoge frequenties en discontinuïteiten) en behaalde lagere fouten bij het oplossen van partiële differentiaalvergelijkingen (Poisson, Warmte, Burgers) in vergelijking met MLPs en andere basismodellen.
• Ablatiestudies: Experimenten bevestigden de noodzaak van de hybride GELU-RFF-activatie en de specifieke initialisatie van $\sigma = 1.64$, waarbij bleek dat het verwijderen van een van beide componenten de prestaties verslechtert.

Betekenis
Het artikel stelt dat KAF succesvol de kloof overbrugt tussen de theoretische interpreteerbaarheid van Kolmogorov-Arnold-netwerken en de parameter-efficiëntie die vereist is voor schaalbaar deep learning. Door het "paradox tussen theorie en praktijk" inherent aan KANs aan te pakken, biedt KAF een praktisch alternatief dat het perspectief van functiebenadering van KANs behoudt, terwijl het state-of-the-art prestaties bereikt met verbeterde efficiëntie. De auteurs positioneren KAF als een haalbaar vervangingsmiddel voor zowel KAN- als MLP-componenten in moderne neurale architecturen, met name voor taken die extractie van hoogfrequente kenmerken vereisen.