Scaling of Gaussian Kolmogorov--Arnold Networks

Titolo: Scaling of Gaussian Kolmogorov–Arnold Networks (Scalatura delle Gaussian Kolmogorov–Arnold Networks)

Autori: Amir Noorizadegan (Hong Kong Baptist University) e Sifan Wang (Yale University).

1. Il Problema

Le Kolmogorov–Arnold Networks (KAN) rappresentano un'alternativa strutturata ai tradizionali Multilayer Perceptrons (MLP), sostituendo le funzioni di attivazione fisse sui nodi con funzioni univariate apprendibili posizionate sugli archi. Sebbene le KAN originali utilizzino basi B-spline, varianti recenti hanno introdotto funzioni di base Gaussiane (RBF - Radial Basis Functions) per la loro regolarità, località e semplicità analitica.

Tuttavia, un problema critico rimane irrisolto nella pratica delle KAN Gaussiane: la scelta del parametro di scala $\epsilon$ (il parametro di forma della funzione Gaussiana).

• Nella maggior parte dei lavori esistenti, $\epsilon$ è fissato euristicaamente, selezionato per tentativi ed errori, o reso apprendibile senza una comprensione teorica del suo ruolo.
• Nella letteratura classica sulle RBF, una scelta scorretta di $\epsilon$ porta a un compromesso tra potenza di approssimazione e stabilità numerica: valori troppo piccoli causano basi troppo localizzate (scarsa approssimazione), mentre valori troppo grandi portano a una matrice di Gram mal condizionata (instabilità numerica e collasso della rappresentazione).
• Non è chiaro come questo parametro si comporti all'interno di un'architettura profonda basata su archi e come guidi la progettazione del modello.

2. Metodologia

Gli autori analizzano il comportamento di $\epsilon$ attraverso una lente geometrica e di condizionamento numerico, focalizzandosi sulla prima layer della rete.

• Analisi Teorica: Dimostrano che la prima layer è l'unica costruita direttamente sul dominio degli input originali. Qualsiasi perdita di distinguibilità introdotta qui (ad esempio, se le feature diventano indistinguibili a causa di un $\epsilon$ troppo grande) non può essere recuperata dagli strati successivi.
• Diagnostica di Condizionamento: Invece di analizzare la matrice di Gram ($\Phi^\top\Phi$), gli autori si concentrano sulla matrice delle feature della prima layer ($\Phi$). Utilizzano il numero di condizione spettrale $\kappa(\Phi)$ e la perdita di rango numerico come indicatori di stabilità.
• Sperimentazione Estensiva:
  • Vengono testate diverse funzioni target (lisce, periodiche, con picchi acuti, discontinue).
  • Vengono variati la densità dei punti di collocazione ($N$), il numero di centri Gaussiani ($G$), l'architettura della rete (profondità e larghezza) e la dimensionalità degli input ($d$).
  • Viene incluso un problema fisico-informato (Helmholtz) per validare l'approccio in contesti di equazioni differenziali (PINN).
  • Viene utilizzato un riferimento Chebyshev con lo stesso budget di coefficienti per confrontare l'accuratezza.

3. Contributi Chiave

1. Dominanza della Prima Layer:
   È stato identificato che la selezione della scala è governata quasi esclusivamente dalla prima layer. Le variazioni di $\epsilon$ negli strati profondi hanno un impatto trascurabile sull'accuratezza finale rispetto alla prima layer. Se la prima layer collassa (diventa indistinguibile), l'intera rete fallisce.

2. Intervallo Operativo Pratico:
   Gli autori derivano un intervallo operativo semplice e robusto per il parametro di scala $\epsilon$, basato sul numero di centri $G$:
   $$\epsilon \in \left[ \frac{1}{G - 1}, \frac{2}{G - 1} \right]$$

   • Il limite inferiore ($\frac{1}{G-1}$) corrisponde alla spaziatura tra i centri uniformemente distribuiti.
   • Il limite superiore ($\frac{2}{G-1}$) è determinato empiricamente dal punto in cui il numero di condizione della matrice delle feature inizia a degradare significativamente (soglia di $\kappa \approx 3000$ per float32).

3. Validazione dell'Intervallo:
   L'intervallo proposto si è dimostrato efficace indipendentemente da:

   • Tipo di funzione target.
   • Densità dei dati ($N$).
   • Dimensionalità dell'input.
   • Architettura della rete (profondità e larghezza).
   • Problemi fisici (Helmholtz).

4. Strategie di Selezione Efficiente:

   • Ricerca basata sull'MSE di training: È stato dimostrato che l'MSE dopo poche epoche di training (es. 500) è sufficiente per localizzare la scala ottimale all'interno dell'intervallo ammissibile, riducendo drasticamente il costo computazionale della ricerca degli iperparametri.
   • Scale Variabili: L'uso di scale diverse per ciascun centro (ma condivise tra gli strati) all'interno di questo intervallo può migliorare ulteriormente l'accuratezza rispetto a una scala fissa.

4. Risultati Principali

• Accuratezza Competitiva: Una KAN Gaussiana con scala correttamente selezionata (secondo l'intervallo proposto) raggiunge un'accuratezza comparabile, e talvolta superiore, a una KAN basata su polinomi di Chebyshev con lo stesso numero di parametri apprendibili per arco.
• Comportamento a "U": L'errore di validazione mostra una dipendenza a forma di U rispetto a $\epsilon$: alto per $\epsilon$ troppo piccoli (basi troppo localizzate), minimo nell'intervallo proposto, e alto per $\epsilon$ troppo grandi (collasso numerico).
• Indipendenza dalla Dimensionalità: Aumentare la dimensionalità dell'input non cambia l'intervallo ottimale di $\epsilon$, che rimane determinato dalla geometria della prima layer.
• Stabilità: L'uso dell'intervallo proposto previene il collasso della rappresentazione e garantisce un training stabile, anche in problemi fisici complessi.

5. Significato e Implicazioni

Questo lavoro trasforma la selezione del parametro di scala $\epsilon$ da una scelta euristica ad un principio di progettazione pratico e fondato su basi teoriche.

• Ridefinizione del Ruolo delle RBF: Conferma l'idea (già espressa da Larsson e Schaback) che la forte dipendenza delle RBF dalla scalatura non è un difetto, ma una caratteristica che, se compresa, permette di controllare il comportamento di approssimazione.
• Guida per la Progettazione: Fornisce una regola semplice ($\epsilon \approx 1/(G-1)$ a $2/(G-1)$) che permette ai ricercatori e agli ingegneri di configurare le KAN Gaussiane senza costose ricerche iperparametriche.
• Efficienza Computazionale: Riduce il costo di ricerca della scala utilizzando l'MSE iniziale come proxy, rendendo le KAN Gaussiane più accessibili per applicazioni reali dove la soluzione esatta non è nota.

In sintesi, il paper stabilisce che la stabilità e l'accuratezza delle KAN Gaussiane dipendono criticamente dalla geometria della prima layer e che l'intervallo di scala derivato offre un punto di partenza robusto e universalmente applicabile per l'addestramento di questi modelli.