Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

Riassunto Tecnico: PU-GKAN

1. Il Problema (Problem Statement)

Le reti Kolmogorov-Arnold Networks (KAN) rappresentano un'alternativa strutturale ai classici Multi-Layer Perceptrons (MLP), sostituendo le attivazioni fisse nei nodi con funzioni univariate apprendibili sugli archi (edges). Recentemente, l'uso di funzioni di base Gaussiane (RBF - Radial Basis Functions) come attivazioni ha mostrato grande potenziale per la loro fluidità e località.

Tuttavia, le KAN basate su Gaussiane (GKAN) soffrono di un problema critico: l'estrema sensibilità al parametro di scala $\epsilon$.

• Se $\epsilon$ è troppo piccolo, le basi diventano eccessivamente localizzate, perdendo capacità di approssimazione.
• Se $\epsilon$ è troppo grande, le basi diventano quasi piatte, portando a problemi di ill-conditioning (cattivo condizionamento numerico) e instabilità durante l'addestramento.

2. Metodologia (Methodology)

L'autore introduce la PU-GKAN (Partition-of-Unity Gaussian KAN), una variante che applica una normalizzazione di tipo Shepard alle funzioni di base gaussiane su ogni arco.

Il meccanismo di normalizzazione:
Invece di utilizzare le gaussiane non normalizzate $\phi_g(t)$, la PU-GKAN utilizza una base che forma una "partizione dell'unità" (partition of unity). Per ogni centro fisso $c_g$, la funzione di base normalizzata è definita come:
$$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$$
dove $G$ è il numero di centri. Questa costruzione garantisce che la somma delle basi sia esattamente uguale a 1 per ogni $t$.

Caratteristiche chiave della metodologia:

• Riproduzione esatta delle costanti: Grazie alla proprietà di partizione dell'unità, la rete può rappresentare funzioni costanti in modo esatto a livello di arco.
• Interpretazione Kernel: L'autore formalizza la rete attraverso una prospettiva di finite-feature kernel, rendendo espliciti i kernel indotti e le matrici delle caratteristiche (feature matrices).
• Selezione della scala $\epsilon$: Viene proposto un intervallo di riferimento pratico per $\epsilon$ basato sull'analisi del condizionamento della matrice delle caratteristiche del primo strato, con un limite superiore suggerito come $\epsilon = 2/(G-1)$.

3. Contributi Principali (Key Contributions)

1. Introduzione della PU-GKAN: Un nuovo framework di normalizzazione Shepard-type che preserva l'architettura originale delle KAN pur migliorando la stabilità.
2. Formalismo Matematico: Una derivazione rigorosa che collega le KAN gaussiane alla teoria classica dell'approssimazione con kernel e metodi meshfree.
3. Strategia di Scale-Selection: Un metodo basato sul condizionamento numerico per scegliere un parametro $\epsilon$ che bilanci accuratezza e stabilità.
4. Versatilità: Dimostrazione che la normalizzazione non è limitata alle gaussiane, ma è applicabile anche a basi Matérn.

4. Risultati (Results)

Gli esperimenti numerici coprono diverse aree:

• Approssimazione di funzioni: La PU-GKAN riduce significativamente l'errore RMSE rispetto alla GKAN standard per funzioni smooth e moderatamente non-smooth. L'unico caso in cui il vantaggio è meno marcato è per funzioni con discontinuità (dove le basi smooth faticano intrinsecamente).
• Robustezza alla scala $\epsilon$: La PU-GKAN mostra una minore sensibilità alle variazioni di $\epsilon$, mantenendo un errore basso in un intervallo di scale più ampio.
• Dimensioni elevate: Il vantaggio persiste all'aumentare della dimensionalità ($d=1, 2, 3, 4$), con miglioramenti dell'accuratezza fino al 77%.
• Physics-Informed Learning (PINNs): Test su equazioni differenziali alle derivate parziali (PDE), come l'equazione di Helmholtz e l'equazione d'onda, confermano che la normalizzazione migliora la convergenza e l'accuratezza finale nelle simulazioni fisiche.
• Distribuzione delle feature: L'analisi mostra che la PU-GKAN produce una distribuzione più regolare e compatta degli input interni, evitando "escursioni estreme" che destabilizzano la rete.

5. Significato e Conclusioni (Significance)

Il lavoro dimostra che la normalizzazione di tipo Shepard è un meccanismo di stabilizzazione semplice ed efficace per le KAN basate su funzioni radiali (RBF).

A differenza di modifiche architettoniche puramente empiriche, la PU-GKAN è matematicamente fondata sulla teoria dell'approssimazione. Il suo impatto principale è la capacità di regolarizzare la rappresentazione interna delle caratteristiche, rendendo le reti più affidabili per il calcolo scientifico e l'apprendimento di modelli fisici, dove la stabilità numerica e la precisione sono fondamentali.