Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

Riepilogo Tecnico: RBF-KAN Adattivo

Enunciato del Problema
Le Reti di Kolmogorov-Arnold (KAN) offrono un'alternativa ai Perceptron a Strati Multipli (MLP) posizionando funzioni univariate apprendibili sugli archi della rete invece di utilizzare funzioni di attivazione fisse sui nodi. Sebbene l'implementazione originale delle KAN utilizzi basi B-spline, questo approccio comporta costi computazionali significativi durante l'addestramento. FastKAN affronta questo problema sostituendo gli spline con Funzioni di Base Radiale (RBF) Gaussiane, migliorando significativamente l'efficienza. Tuttavia, FastKAN standard si basa su un parametro di forma del kernel fisso ($h$). La scelta di questo parametro è critica: valori piccoli possono causare overfitting, mentre valori grandi portano a un eccessivo livellamento (oversmoothing). Un parametro fisso limita l'adattabilità del modello attraverso diversi tipi di funzioni (ad esempio, superfici lisce, discontinuità, pattern oscillatori e singolarità). Inoltre, la formulazione standard di FastKAN è limitata ai kernel Gaussiani, potenzialmente limitando la flessibilità rappresentativa per funzioni non lisce o altamente localizzate.

Metodologia
Gli autori propongono un RBF-KAN Adattivo (riferito anche come adaptive FastKAN) che introduce due miglioramenti principali al framework esistente:

1. Inizializzazione Basata su LOOCV: Invece di utilizzare un parametro di forma fisso o inizializzato casualmente, gli autori stimano la scala iniziale del kernel ($h_{opt}$) utilizzando la Validazione Incrociata Leave-One-Out (LOOCV). Ciò viene eseguito su un modello di interpolazione RBF unidimensionale ausiliario costruito dai dati di input. Per garantire la stabilità numerica, viene aggiunto un piccolo termine di regolarizzazione ($\lambda = 10^{-9}$) alla matrice di interpolazione. Il valore ottimale di $h$ viene trovato tramite una ricerca a due stadi (grossolana e fine) che minimizza l'errore massimo LOOCV.
2. Apprendimento Adattivo del Parametro di Forma: Per permettere alla rete di affinare la scala del kernel durante l'addestramento, il parametro di forma viene riparametrizzato nello spazio logaritmico ($\theta = \ln(h)$). Questo garantisce che $h = e^\theta$ rimanga strettamente positivo, prevenendo instabilità numeriche (divisione per zero o crescita esponenziale) durante l'ottimizzazione basata sul gradiente. Il parametro $\theta$ viene aggiornato insieme ai coefficienti degli spline tramite backpropagation.
3. Famiglia Estesa di Kernel: Il framework è esteso oltre il kernel Gaussiano per includere una famiglia più ampia di funzioni di base radiale. Nello specifico, gli autori introducono i kernel Matérn (M2, M4, M6) e Wendland (W2, W4, W6) nell'architettura KAN per la prima volta. Questi kernel offrono diversi gradi di regolarità e supporto compatto, permettendo alla rete di adattarsi meglio a funzioni con caratteristiche strutturali diverse.

Contributi Chiave

• Prima Integrazione di LOOCV e KAN Profondi: Per quanto ne sappiano gli autori, questo è il primo studio a integrare la stima della scala del kernel basata su LOOCV con l'addestramento di architetture KAN profonde.
• Integrazione di Kernel Novelli: Il documento introduce i kernel Matérn e Wendland nel framework KAN, andando oltre l'approccio basato solo su Gaussiane di FastKAN standard.
• Strategia di Inizializzazione Guidata dai Dati: Il metodo proposto fornisce un'inizializzazione basata su principi e guidata dai dati per la scala del kernel, riducendo la dipendenza da ricerche di iperparametri costose mentre permette un ulteriore affinamento durante l'addestramento.
• Benchmarks Completi: Lo studio valuta il metodo proposto contro MLP, KAN standard, EfficientKAN, Chebyshev KAN, KAF e FastKAN standard su quattro diverse funzioni di benchmark che rappresentano comportamenti lisci, discontinui, oscillatori e singolari.

Risultati
Gli esperimenti numerici sul dominio del quadrato unitario $[0, 1]^2$ rivelano quanto segue:

• La Selezione del Kernel è Importante: Nessun singolo kernel è ottimale per tutti i tipi di funzione.
  • Funzioni Lisce (Franke): Il kernel Gaussiano (GA) performa meglio, coerentemente con la sua infinita differenziabilità.
  • Discontinuità: Il kernel Matérn C2 (M2) supera significativamente il GA, catturando salti netti con errore inferiore e meno sfocatura.
  • Pattern Oscillatori: Il kernel Gaussiano non riesce a catturare le oscillazioni ad alta frequenza, mentre il kernel Wendland C2 (W2) ricostruisce accuratamente il pattern.
  • Singolarità: Il kernel Wendland C6 (W6) riduce l'errore di circa il 52% rispetto alla baseline GA per picchi localizzati.
• L'Adattività Migliora le Prestazioni: L'RBF-KAN adattivo supera costantemente FastKAN standard con un parametro di forma fisso. Ad esempio, sulla funzione oscillatoria, l'errore è sceso da $4.54 \times 10^{-1}$ (GA fisso) a $6.24 \times 10^{-2}$ (W2 adattivo).
• Compromesso Efficienza vs. Accuratezza: Sebbene KAN standard (basato su spline) offra alta accuratezza, è computazionalmente costoso (tempi di addestramento ~60s vs. ~3-5s per le varianti RBF). L'RBF-KAN adattivo mantiene l'efficienza computazionale di FastKAN raggiungendo un'accuratezza competitiva o superiore in tutti i casi di test. È stato rilevato che gli MLP sono computazionalmente efficienti ma faticano con l'accuratezza su pattern complessi, spesso livellando eccessivamente le caratteristiche ad alta frequenza.

Significato e Affermazioni
Il documento afferma che combinare l'inizializzazione basata su LOOCV con l'apprendimento adattivo del kernel fornisce una strategia pratica e flessibile per migliorare i modelli KAN basati su RBF. Gli autori sottolineano che il loro lavoro rappresenta il primo tentativo di collegare la stima della scala basata su LOOCV con l'addestramento di KAN profondi. Sostengono che il metodo proposto affronta le limitazioni delle scelte di kernel fisse e dei parametri di forma fissi, permettendo alla rete di adattare meglio la sua rappresentazione di base alle caratteristiche strutturali specifiche della funzione target (regolarità, discontinuità, oscillazione o singolarità). Lo studio conclude che, sebbene diversi kernel mostrino vantaggi per diverse classi di funzioni, il framework adattivo offre una soluzione robusta che bilancia l'efficienza computazionale di FastKAN con l'accuratezza richiesta per sfide di approssimazione diversificate. Si suggerisce un lavoro futuro per investigare applicazioni in problemi a dimensioni superiori, dataset reali rumorosi e compiti di calcolo scientifico come la risoluzione di equazioni differenziali alle derivate parziali.