Kolmogorov-Arnold Fourier Networks

Sintesi Tecnica: Reti di Fourier Kolmogorov-Arnold (KAF)

Enunciato del Problema
Sebbene le Reti Kolmogorov-Arnold (KAN) offrano una forte espressività teorica sostituendo le funzioni di attivazione fisse con funzioni di base B-spline apprendibili, esse affrontano due barriere critiche all'adozione pratica in compiti ad alta dimensionalità:

1. Esplosione dei Parametri: L'architettura a doppia matrice (matrice della funzione di attivazione e matrice dei coefficienti B-spline) fa sì che il numero di parametri cresca significativamente più rispetto ai tradizionali Perceptron Multistrato (MLP), portando a costi elevati di archiviazione e computazione.
2. Limitazioni Spettrali: La levigatezza intrinseca delle funzioni di base B-spline limita la capacità di catturare caratteristiche ad alta frequenza, risultando in prestazioni subottimali su dati con caratteristiche spettrali ricche, come immagini naturali, audio ed equazioni differenziali complesse.

Metodologia
Gli autori propongono la Rete di Fourier Kolmogorov-Arnold (KAF), che ridefinisce fondamentalmente il paradigma KAN attraverso una riparametrizzazione spettrale. L'architettura centrale sostituisce la rappresentazione locale basata su griglia delle B-spline con una rappresentazione spettrale globale e adattiva.

I componenti metodologici chiave includono:

• Riparametrizzazione Spettrale: La KAF unisce le grandi matrici delle KAN sfruttando la proprietà associativa della moltiplicazione di matrici, riducendo la complessità dei parametri da $O(d_{in} \times d_{out} \times (G + K + 3))$ a $O(d_{in} \times d_{out})$.
• Caratteristiche di Fourier Casuali Apprendibili (RFF): Invece delle B-spline, la KAF impiega RFF apprendibili per mappare gli input in uno Spazio di Hilbert a Nucleo Riproduttivo (RKHS). La matrice di frequenza $W$ viene inizializzata tramite una strategia di allineamento spettrale (specificamente $\sigma = 1.64$) derivata dal Teorema del Limite Centrale e dall'analisi di Fourier della funzione di attivazione GELU. Questa inizializzazione allinea lo spettro RFF alla conoscenza a priori dei segnali naturali, mitigando la dispersione spettrale.
• Attivazione Ibrida GELU-Fourier: La rete utilizza un meccanismo di attivazione dinamico definito come $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$. I coefficienti $\alpha$ e $\beta$ sono parametri di scala apprendibili. Durante l'addestramento, $\alpha$ privilegia inizialmente la levigatezza a bassa frequenza, mentre $\beta$ (inizializzato a un valore piccolo, ad esempio $10^{-2}$) cresce progressivamente per catturare le componenti ad alta frequenza, consentendo una transizione automatica da attivazioni fisse a rappresentazioni ibride simboliche-Fourier.

Contributi Chiave

1. Trasformazione della Base: Un passaggio dalle B-spline locali a rappresentazioni spettrali globali e adattive, riducendo la complessità dei parametri pur preservando l'espressività.
2. Inizializzazione con Allineamento Spettrale: Una strategia di inizializzazione RFF ($\sigma = 1.64$) che rompe i limiti di levigatezza dei nuclei fissi, permettendo la cattura accurata delle componenti ad alta frequenza.
3. Attivazione Ibrida Adattiva: Un meccanismo che bilancia dinamicamente la levigatezza a bassa frequenza e la rappresentazione ad alta frequenza durante l'addestramento, garantendo stabilità ed efficienza.

Risultati Sperimentali
Sono stati condotti esperimenti completi su compiti di Visione Artificiale (CV), Elaborazione del Linguaggio Naturale (NLP), audio e calcolo scientifico:

• Prestazioni sui Benchmark: Su dataset di visione (MNIST, CIFAR-10/100, SVHN), la KAF ha costantemente raggiunto una maggiore accuratezza rispetto a MLP, KAN, FAN e GPKAN con budget di parametri comparabili.
• Modelli su Larga Scala: Quando integrata in ResNet-18, ViT-Tiny e MLP-Mixer, la KAF ha migliorato l'accuratezza Top-1 (ad esempio, 91.72% su CIFAR-10 per ResNet-18 contro il 91.19% per MLP) mantenendo costi computazionali ragionevoli.
• Modellazione Linguistica: Nelle architetture GPT-2, la sostituzione del Feed-Forward Network (FFN) con la KAF ha ridotto la Perplexity (PPL) su WikiText (180.85 contro 184.53 per MLP) e OpenWebText, riducendo significativamente il tempo di addestramento rispetto alle KAN, che hanno sofferto di instabilità e un enorme sovraccarico di parametri.
• Approssimazione di Funzioni ed EDP: La KAF ha dimostrato capacità di adattamento superiori su funzioni complesse (inclusi summe ad alta frequenza e funzioni discontinue) e ha ottenuto errori inferiori nella risoluzione di Equazioni Differenziali Parziali (Poisson, Calore, Burgers) rispetto a MLP e altri baseline.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità dell'attivazione ibrida GELU-RFF e dell'inizializzazione specifica di $\sigma = 1.64$, mostrando che la rimozione di uno qualsiasi di questi componenti degrada le prestazioni.

Significato
Il documento afferma che la KAF colma con successo il divario tra l'interpretabilità teorica delle reti Kolmogorov-Arnold e l'efficienza parametrica richiesta per l'apprendimento profondo scalabile. Affrontando il "paradosso tra teoria e pratica" intrinseco nelle KAN, la KAF offre un'alternativa pratica che mantiene la prospettiva di approssimazione delle funzioni delle KAN, raggiungendo al contempo prestazioni allo stato dell'arte con efficienza migliorata. Gli autori posizionano la KAF come un sostituto fattibile sia per i componenti KAN che MLP nelle moderne architetture neurali, in particolare per compiti che richiedono l'estrazione di caratteristiche ad alta frequenza.