Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

1. Il Problema: Il Compromesso tra Interpretabilità e Scalabilità

Nel campo dell'Apprendimento Scientifico (Scientific Machine Learning - SciML), esiste un fondamentale compromesso tra l'interpretabilità e la scalabilità dei modelli.

• Regressione Simbolica Classica: Produce espressioni analitiche esplicite e leggibili dall'uomo, ma si basa su ricerche combinatorie che sono computazionalmente costose e non scalano bene con la dimensionalità dei dati.
• Reti Neurali (MLP e PINN): Scalano efficientemente con grandi volumi di dati e dimensioni elevate, ma producono rappresentazioni "opache" (scatole nere) difficili da interpretare o da integrare in pipeline di modellazione meccanistica.
• Limiti delle KAN Standard: Le recenti Kolmogorov-Arnold Networks (KAN) offrono una struttura più vicina alle formule analitiche rispetto alle MLP, ma le loro espressioni globali, ottenute componendo molte funzioni di base apprese (es. spline), diventano rapidamente lunghe e ingestibili, perdendo l'interpretabilità simbolica diretta.

L'obiettivo è sviluppare un'architettura che unisca la potenza di apprendimento scalabile delle reti neurali con la capacità di scoprire direttamente equazioni governative compatte e interpretabili.

2. Metodologia: Symbolic-KAN

Gli autori propongono Symbolic-KAN, un'architettura neurale che incorpora una struttura simbolica discreta direttamente all'interno di una rete profonda addestrabile.

A. Formulazione della Rete

Il modello si basa sul Teorema di Rappresentazione di Kolmogorov-Arnold (KART), ma introduce una decomposizione interna più flessibile:

• Invece di memorizzare una matrice completa di funzioni univariate fisse, ogni unità della rete apprende una proiezione scalare ($s_k$) delle caratteristiche in ingresso.
• Su questa proiezione viene applicata una singola funzione univaria appresa ($\psi_k(s_k)$).
• Le funzioni candidate provengono da una libreria di primitive analitiche (es. $x, x^2, \sin(x), \cos(x), \tanh(x), e^x$, ecc.).

B. Meccanismo di Gating Gerarchico e Discretizzazione

Il cuore dell'innovazione risiede nel meccanismo di selezione gerarchica che trasforma una miscela continua in una struttura simbolica discreta:

1. Gating delle Primitive: Per ogni "bordo" (edge) di un'unità, viene calcolata una distribuzione di probabilità sulle primitive della libreria. Inizialmente è una combinazione morbida (soft mixture), ma attraverso un processo di Gumbel-Softmax con temperatura decrescente e regolarizzazione dell'entropia, la distribuzione converge verso un vettore "one-hot" (selezionando una sola primitiva).
2. Gating dei Bordi (Edge Selection): Ogni unità seleziona una sola proiezione scalare tra quelle disponibili.
3. Gating delle Unità: Le unità stesse possono essere "potenziate" o "potenziate" (pruned) in base a un gate continuo, permettendo la rimozione di unità non necessarie.

C. Addestramento e Loss Function

L'addestramento avviene in due fasi:

• Fase I (Adattamento Rilassato): Si ottimizzano i parametri continui (pesi delle proiezioni, parametri delle primitive) e i gate morbidi. Si utilizza una loss composta da:
  • Loss Dati/Fisica: Fedeltà ai dati o rispetto delle equazioni differenziali (PDE).
  • Loss di Regolarizzazione Simbolica: Include termini di entropia (per spingere le distribuzioni verso l'one-hot) e soppressione dei picchi massimi (NMS) per evitare che bordi diversi scelgano la stessa primitiva.
• Fase II (Indurimento/Discretizzazione): Una volta raggiunta la convergenza, i gate vengono "induriti" (hardened) in scelte discrete (one-hot). I parametri continui rimanenti vengono rifiniti con ottimizzatori di secondo ordine (es. L-BFGS).

Il risultato finale è un'espressione chiusa compatta, senza bisogno di regressione simbolica post-hoc.

3. Contributi Chiave

1. Scoperta di Primitive Scalabile: Symbolic-KAN agisce come un meccanismo scalabile per scoprire le componenti analitiche più rilevanti, identificando automaticamente quali funzioni (es. seno, esponenziale, polinomi) sono necessarie per descrivere i dati.
2. Interpretabilità Nativa: A differenza delle KAN standard che richiedono una lettura complessa delle funzioni di base, Symbolic-KAN produce direttamente equazioni simboliche compatte e leggibili.
3. Selezione Pre-Libreria per SINDy: Il framework può fungere da selettore di librerie per metodi di apprendimento di equazioni sparse (come SINDy), suggerendo quali termini includere nella libreria candidata, risolvendo un limite chiave dei metodi basati su librerie fisse.
4. Apprendimento Fisico-Informato (Physics-Informed): Estensione efficace al forward e inverse learning di PDE, dove il modello apprende soluzioni accurate rispettando i vincoli fisici mentre costruisce rappresentazioni simboliche che riflettono la struttura analitica reale.

4. Risultati Sperimentali

Gli autori hanno valutato il modello su tre paradigmi principali:

• Regressione Guidata dai Dati:

  • Su funzioni 1D (es. polinomi, combinazioni trigonometriche), Symbolic-KAN ha recuperato con successo le espressioni simboliche corrette (es. identificando $x^2$ o $\sin(x)$) con errori relativi molto bassi.
  • Ha dimostrato capacità di generalizzazione ed estrapolazione oltre il dominio di addestramento.

• Identificazione di Sistemi Dinamici (Equazione di Van der Pol):

  • Il modello ha ricostruito con precisione le traiettorie di un oscillatore di Van der Pol con smorzamento non lineare e esponenti non interi ($x^{2.15}$).
  • Ha stimato con alta precisione i parametri sconosciuti del sistema ($a, \mu, c$) anche su orizzonti temporali lunghi, mantenendo un errore di traiettoria inferiore all'1%.

• Apprendimento di PDE (Fisica-Informato):

  • Equazione di Reazione-Diffusione: In un problema inverso, Symbolic-KAN ha identificato correttamente il coefficiente di reazione e la struttura simbolica (dominanza di funzioni trigonometriche) con errori di validazione significativamente inferiori rispetto a PINN standard e cPIKAN (KAN basate su polinomi di Chebyshev).
  • Equazione di Laplace: Il modello ha scoperto primitive (sin, cos, sinh, cosh) coerenti con la soluzione analitica esatta, ottenendo una riduzione dell'errore di validazione del 59% rispetto alle PINN e dell'87% rispetto alle cPIKAN.

In tutti i casi, Symbolic-KAN ha dimostrato una maggiore stabilità e precisione, specialmente quando il dominio spaziale o temporale veniva esteso, dove i metodi basati solo su approssimazione numerica tendevano a degradare.

5. Significato e Impatto

Symbolic-KAN rappresenta un passo significativo verso l'apprendimento meccanistico scalabile.

• Ponte tra Paradigmi: Colma il divario tra la flessibilità delle reti neurali e la trasparenza dei modelli simbolici.
• Scoperta di Leggi: Permette non solo di prevedere dati, ma di scoprire le leggi fisiche sottostanti (struttura delle equazioni) direttamente dai dati o dai vincoli fisici.
• Fondamento per il Futuro: Fornisce le basi per lo sviluppo di solver neurali robusti e interpretabili, essenziali per applicazioni scientifiche e ingegneristiche dove la comprensione del "perché" di una previsione è tanto importante quanto la previsione stessa.

In sintesi, il lavoro dimostra che è possibile addestrare reti neurali profonde che, al termine del processo, si "restringono" in formule matematiche concise e fisicamente significative, eliminando la necessità di fasi di post-processing complesse per l'interpretazione.