FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks

1. Il Problema

Le reti neurali per l'approssimazione di funzioni, come i tradizionali MLP (Multi-Layer Perceptrons) e le recenti Kolmogorov–Arnold Networks (KAN), operano su ipotesi implicite riguardanti la regolarità delle funzioni target.

• Limitazione delle basi attuali: I KAN utilizzano funzioni di base B-spline su una griglia fissa. Le B-spline sono ottimali per funzioni lisce (regolari, appartenenti a spazi di Sobolev o Besov con regolarità intera o frazionaria alta), poiché possono riprodurre polinomi e garantire tassi di convergenza elevati.
• La sfida: Molti fenomeni scientifici e ingegneristici (campi di velocità turbolenti, serie temporali finanziarie, superfici di frattura, segnali biomedici) presentano regolarità di Hölder non banale, autosimilarità frattale o caratteristiche non differenziabili.
• Il mismatch: Approssimare una funzione con una dimensione di box-counting $dim_B > 1$ (frattale) utilizzando basi lisce (come le B-spline) è fondamentalmente inefficiente. Richiede un numero esponenzialmente maggiore di elementi di base per raggiungere la stessa precisione, senza beneficiare delle proprietà di riproduzione polinomiale che rendono le spline efficienti per target lisci.

2. Metodologia: FI-KAN

Il paper introduce FI-KAN, un'architettura che integra Funzioni di Interpolazione Frattale (FIF) derivate dalla teoria dei Sistemi di Funzioni Iterate (IFS) all'interno del framework KAN. L'innovazione centrale è trattare i parametri di contrazione verticale dell'IFS come parametri addestrabili, conferendo a ogni funzione di attivazione un dimensione frattale differenziabile che si adatta alla regolarità del target durante l'allenamento.

Vengono proposte due varianti architetturali:

A. Pure FI-KAN (Framework di Barnsley)

• Concetto: Sostituisce completamente le B-spline con basi FIF.
• Meccanismo: Ogni bordo della rete utilizza una funzione di interpolazione frattale $\phi_m(x; d)$, dove $d$ sono i parametri di contrazione appresi.
• Comportamento: Quando $d=0$, le basi degenerano in funzioni "hat" lineari a tratti (spline di ordine 1). Quando $d \neq 0$, acquisiscono struttura frattale.
• Vantaggio/Svantaggio: Eccellente su target molto ruvidi, ma sottoperforma su target lisci perché le basi frattali non possono rappresentare efficientemente la curvatura polinomiale senza un'adeguata regolarizzazione.

B. Hybrid FI-KAN (Framework di Navascués)

• Concetto: Implementa una decomposizione $\alpha$-frattale all'interno della rete.
• Meccanismo: Mantiene il percorso delle B-spline (che agisce come l'approssimante classico $b$) e aggiunge un percorso parallelo di correzione frattale ($h$).
  • Formula: $f^\alpha_b(x) = b(x) + h(x; d)$.
• Flessibilità: Se i parametri frattali sono nulli, la rete si riduce a un KAN standard. Se il target è ruvido, la rete impara a usare il percorso frattale per catturare i dettagli multi-scala che la spline non riesce a rappresentare.
• Robustezza: Funziona bene sia su target lisci (dove la componente spline domina) che su target ruvidi (dove la correzione frattale è attiva).

C. Regularizzazione della Dimensione Frattale

Viene introdotto un regolarizzatore differenziabile basato sulla teoria IFS:
$$R_{fractal} = (\dim_B(d) - 1)^2$$
Questo agisce come un "Rasoio di Occam" geometrico: penalizza la complessità frattale non necessaria, spingendo la rete verso basi lisce ($\dim_B = 1$) a meno che i dati non richiedano esplicitamente una struttura frattale.

3. Contributi Chiave

1. Architetture basate sulla teoria: Introduzione di due varianti (Pure e Hybrid) rigorosamente fondate sulla teoria dell'approssimazione frattale, non su modifiche ad hoc.
2. Dimensione Frattale Apprendibile: I parametri di contrazione forniscono un "manopola" continua e differenziabile per passare da basi lisce a basi frattali, appresa direttamente dai dati.
3. Controllo della Complessità Geometrica: Il regolarizzatore della dimensione frattale permette di controllare la complessità della geometria della funzione (non solo il numero di parametri), rendendo il modello interpretabile.
4. Validazione Empirica della "Regularity-Matching": La differenza di performance tra Pure e Hybrid dimostra che la geometria della base deve corrispondere alla regolarità del target.
5. Applicazione a PDE Non Lisce: Validazione su soluzioni di Equazioni Differenziali alle Derivate Parziali (PDE) con singolarità agli angoli e coefficienti ruvidi, dove FI-KAN supera significativamente i metodi tradizionali.

4. Risultati Sperimentali

Gli esperimenti coprono un ampio spettro di regolarità (da $\alpha = 0.2$ a $\alpha = 2.0$) e includono benchmark su funzioni sintetiche e soluzioni di PDE.

• Benchmark di Regolarità di Hölder:
  • Hybrid FI-KAN supera i KAN standard a ogni livello di regolarità.
  • Su target lisci ($\alpha=2.0$), Hybrid è competitivo (grazie al percorso spline).
  • Su target ruvidi ($\alpha < 1$), Hybrid mostra miglioramenti da 1.3x a 33x rispetto ai KAN.
• Target Frattali:
  • Su funzioni di Weierstrass e Takagi-Landsberg, FI-KAN riduce l'errore MSE fino a 6.3 volte rispetto ai KAN.
  • Robustezza al rumore: Su target frattali con rumore (SNR 5 dB), Hybrid mantiene un vantaggio di 4.7x.
• Soluzioni di PDE Non Lisce (Scikit-fem):
  • Diffusione con coefficienti ruvidi: Hybrid FI-KAN ottiene miglioramenti fino a 79x rispetto ai KAN.
  • Singolarità a L (L-shaped domain): Miglioramento di 3.5x nella gestione della singolarità all'angolo ($r^{2/3}$).
• Analisi delle Dimensioni Frattali Apprese:
  • La rete "scopre" la regolarità del target: su funzioni lisce, la dimensione frattale appresa tende a 1.0 (basi lisce); su funzioni frattali, tende a valori $>1.1$, correlando positivamente con la vera regolarità del target.
• Pure vs Hybrid:
  • Pure FI-KAN fallisce su target lisci (perché le basi frattali non possono approssimare efficientemente la curvatura), ma domina su target molto ruvidi. Questo comportamento asimmetrico conferma l'ipotesi di adattamento della regolarità.

5. Significato e Implicazioni

Il lavoro stabilisce che il design delle basi adattato alla regolarità è una strategia fondamentale per l'approssimazione di funzioni neurali.

• Superamento dei limiti delle basi lisce: FI-KAN dimostra che le architetture neurali non devono essere limitate a funzioni lisce (come ReLU o B-spline) per gestire problemi scientifici complessi.
• Interpretabilità: La dimensione frattale appresa funge da indicatore diagnostico della regolarità del problema, offrendo un livello di interpretabilità geometrica precedentemente assente nelle reti neurali.
• Applicazioni Pratiche: L'architettura è particolarmente promettente per domini scientifici dove la struttura non liscia è la norma, come:
  • Flussi in mezzi porosi eterogenei.
  • PDE ellittiche su domini non convessi.
  • Soluzioni di PDE stocastiche.
  • Elaborazione di segnali geofisici e biomedici con scaling frattale.

In sintesi, FI-KAN non sostituisce i KAN come soluzione universale, ma offre un'estensione principale e teorica per classi di funzioni con regolarità geometrica non banale, colmando il divario tra la teoria dell'approssimazione frattale e l'apprendimento automatico profondo.