FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing

Il paper introduce FS-KAN, un approccio fondato sulla condivisione di funzioni che estende le reti Kolmogorov-Arnold per gestire in modo principiato le simmetrie di permutazione, offrendo una maggiore efficienza nei dati e mantenendo l'interpretabilità rispetto alle architetture tradizionali.

L'essenziale

🧠 FS-KAN: Il "Cervello Simmetrico" che Impara con Intelligenza

Immagina di dover insegnare a un bambino a riconoscere le forme. Se gli mostri una mela rossa, poi gli mostri la stessa mela girata di lato, capisce che è sempre la stessa mela. Non deve imparare due volte la stessa cosa! Questo è il concetto di simmetria nell'intelligenza artificiale: riconoscere che certi cambiamenti (come ruotare un oggetto o scambiare l'ordine di una lista) non cambiano la natura fondamentale del dato.

Fino a poco tempo fa, le reti neurali (i "cervelli" artificiali) erano come studenti un po' testardi: dovevano memorizzare ogni singola variante di un oggetto, sprecando tempo e memoria. Poi sono arrivate le KAN (Reti di Kolmogorov-Arnold), una nuova tecnologia che è più intelligente, interpretabile e capace di imparare meglio con meno dati. Ma c'era un problema: le KAN non sapevano ancora come gestire bene queste "regole di simmetria" in modo universale.

Il paper FS-KAN risolve questo problema. Ecco come funziona, spiegato con delle metafore.

1. Il Problema: La Festa degli Invitati

Immagina una festa dove gli ospiti sono seduti a un tavolo rotondo. Se tutti gli ospiti si spostano di un posto a destra, la festa è esattamente la stessa: l'atmosfera non cambia, solo le persone si sono spostate.

• Le reti neurali vecchie (MLP): Sono come un cameriere che deve imparare a servire ogni singolo posto a parte. Se l'ospite A si sposta al posto B, il cameriere deve imparare da capo come servirlo. È lento e spreca energia.
• Le reti "Equivarianti" (condivisione dei parametri): Sono come un cameriere che usa lo stesso menu per tutti. Se l'ospite A si sposta, il cameriere sa che deve usare le stesse regole. È meglio, ma il menu è fatto di numeri fissi (pesi).

2. La Soluzione: FS-KAN (La Condivisione delle "Ricette")

Gli autori propongono FS-KAN (Function Sharing KAN).
Invece di condividere solo i "numeri" (i pesi), FS-KAN condivide le funzioni, ovvero le ricette matematiche.

• L'Analogia della Cucina:
  Immagina che ogni neurone sia uno chef.
  • Nelle reti normali, ogni chef ha la sua ricetta segreta e la sua pila di ingredienti.
  • In FS-KAN, se due chef lavorano su ingredienti che sono "simmetrici" (come due ospiti che si scambiano di posto), devono usare la stessa identica ricetta.
  • Non solo: la ricetta non è un numero fisso, ma è una funzione adattabile (come una ricetta che cambia leggermente a seconda di quanto è affamato l'ospite).

Questo significa che la rete impara una sola ricetta per un tipo di situazione e la applica ovunque quella situazione si ripresenti, indipendentemente da come sono disposti gli elementi.

3. Perché è Geniale? (I Vantaggi)

• Impara con meno dati (Data Efficiency):
  Poiché la rete riutilizza le stesse "ricette" per situazioni simili, non ha bisogno di vedere milioni di esempi per capire il concetto. È come se imparasse a guidare una volta e sapesse guidare su tutte le strade simili, invece di dover fare pratica su ogni singola strada del mondo.

  • Risultato: Funziona benissimo anche quando hai pochi dati (il "regime a bassa quantità di dati").

• È Trasparente (Interpretabilità):
  Le vecchie reti neurali sono spesso "scatole nere": sai che funzionano, ma non sai perché. Le KAN, e quindi le FS-KAN, usano funzioni matematiche visibili.

  • Metafora: È come guardare il libro di cucina invece di assaggiare solo il piatto finito. Puoi vedere esattamente quale funzione (ricetta) la rete ha imparato per prendere una decisione. Nel paper, mostrano che la rete impara formule matematiche vere e proprie, rendendo il processo di pensiero della macchina leggibile per gli umani.

• È Universale:
  Gli autori hanno dimostrato matematicamente che FS-KAN è potente quanto le migliori reti esistenti. Non perde nulla in termini di capacità di risolvere problemi complessi, ma guadagna in efficienza.

4. Dove si usa? (Esperimenti)

Gli autori hanno testato FS-KAN su diversi scenari:

1. Classificazione di segnali: Riconoscere onde sonore o segnali periodici.
2. Punti 3D (Nuvole di punti): Riconoscere sedie o aerei in 3D, indipendentemente da come sono ruotati o da quanti punti li compongono.
3. Sistemi di raccomandazione: Prevedere cosa ti piacerà (film, musica) basandosi su chi sei tu e cosa hanno fatto gli altri, gestendo il fatto che l'ordine degli utenti non conta.

In tutti questi casi, FS-KAN ha battuto le reti tradizionali, specialmente quando i dati per l'addestramento erano scarsi.

In Sintesi

FS-KAN è come dare a un'intelligenza artificiale un "senso comune" matematico. Invece di memorizzare tutto a memoria, impara le regole di simmetria e le ricette flessibili per applicarle ovunque.

• Risparmia energia (meno dati necessari).
• È onesto (possiamo vedere come pensa).
• È potente (risolve problemi complessi).

È un passo avanti verso macchine che non solo "calcolano", ma "capiscono" la struttura del mondo che le circonda.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing", pubblicato come articolo di conferenza all'ICLR 2026.

1. Il Problema

Le reti neurali che rispettano le simmetrie dei dati (reti equivarianti) sono fondamentali per migliorare la generalizzazione e l'efficienza computazionale. Per dati con simmetrie di permutazione (come insiemi, grafi, o interazioni utente-item), l'approccio standard consiste nell'usare schemi di condivisione dei parametri (parameter-sharing) su strati lineari per garantire l'equivarianza.

Recentemente, le Kolmogorov-Arnold Networks (KAN) sono emerse come un'alternativa promettente ai tradizionali Multilayer Perceptrons (MLP), sostituendo i pesi scalari con funzioni univariate apprendibili. Le KAN offrono maggiore interpretabilità ed espressività, specialmente con un numero limitato di parametri. Tuttavia, esiste un vuoto nella letteratura: non esiste un framework principiato per costruire strati KAN equivarianti per gruppi di simmetria di permutazione arbitrari. Le soluzioni esistenti si concentrano su gruppi continui o casi specifici, ma non generalizzano bene a strutture complesse come interazioni multi-insieme o tensori di ordine superiore.

2. Metodologia: FS-KAN

Gli autori introducono FS-KAN (Function Sharing KAN), un framework generale per costruire strati KA (Kolmogorov-Arnold) sia invarianti che equivarianti rispetto a gruppi di permutazione arbitrari $G \leq S_n$.

Concetto Chiave: Condivisione di Funzioni (Function Sharing)

Invece di condividere i pesi scalari (come negli MLP equivarianti), FS-KAN impone che le funzioni univariate stesse siano condivise secondo l'azione del gruppo.

• Struttura dello Strato: Uno strato KA equivariante $\Phi$ è definito come $\Phi(x)_q = \sum_{p} \phi_{q,p}(x_p)$.
• Vincolo di Equivarianza: Per essere equivariante, le funzioni devono soddisfare la condizione:
  $$\phi_{q,p} = \phi_{\sigma(q), \sigma(p)} \quad \forall \sigma \in G$$
  Questo significa che tutte le funzioni posizionate nella stessa "orbita" rispetto all'azione del gruppo devono essere identiche.

Varianti e Ottimizzazioni

• Strati FS-KA Invarianti: Per l'output scalare, tutte le funzioni $\phi_p$ devono essere identiche per elementi nella stessa orbita ($\phi_p = \phi_{\sigma(p)}$).
• Canali Multipli: Il framework si estende a dati con più canali di feature, condividendo le funzioni tra i sottolivelli KA in modo coerente con la struttura del gruppo.
• Efficient FS-KA: Per ridurre il costo computazionale e di memoria (poiché applicare funzioni indipendentemente a tutte le coppie input-output è costoso), gli autori propongono una variante efficiente. Questa variante aggrega gli input (tramite pooling somma/media) prima di applicare le funzioni condivise, riducendo il numero di valutazioni non lineari senza perdere l'equivarianza.

Generalizzazioni

Il framework gestisce naturalmente:

• Simmetrie a Prodotto Diretto ($G \times H$): Utili per dati come matrici (es. raccomandazioni) o immagini 2D, dove le righe e le colonne hanno simmetrie diverse.
• Tensori di Ordine Superiore: Adatto a grafi, ipergrafi e mesh 3D, dove i dati sono rappresentati come tensori di ordine $k$.

3. Contributi Chiave

1. Framework Teorico Unificato: Propone FS-KAN come un approccio principiato per l'apprendimento equivariante su gruppi di permutazione arbitrari, unificando e estendendo lavori precedenti su KAN per grafi, insiemi e immagini.
2. Analisi dell'Espressività: Dimostrano teoricamente che le architetture FS-KAN hanno la stessa potenza espressiva degli MLP a condivisione di parametri (nel senso di approssimazione uniforme).
   • Teorema: Ogni MLP a condivisione di parametri può essere implementato da una FS-KAN (e viceversa, una FS-KAN può essere approssimata da un MLP a condivisione di parametri).
   • Implicazione: Questo permette di trasferire risultati noti sulla capacità espressiva delle GNN (come il test di Weisfeiler-Lehman) e teoremi di universalità direttamente alle FS-KAN.
3. Interpretabilità Migliorata: Grazie alla condivisione delle funzioni, le FS-KAN visualizzano strutture simmetriche in modo esplicito, rendendo più facile comprendere quali funzioni vengono apprese per quali relazioni simmetriche.
4. Efficienza nei Regimi a Pochi Dati: Sperimentazioni empiriche mostrano che FS-KAN superano significativamente gli MLP a condivisione di parametri quando i dati di addestramento sono scarsi.

4. Risultati Sperimentali

Gli autori hanno valutato FS-KAN su diversi compiti e domini:

• Classificazione di Segnali (Simmetria $S_n \times C_T$): Su dati sintetici con misurazioni rumorose, FS-KAN ha superato gli MLP basati su DeepSets (DSS) nel regime a pochi dati (60-1200 esempi), raggiungendo prestazioni comparabili con più dati. La variante efficiente ha ridotto i tempi di addestramento del 30% rispetto alla versione completa.
• Classificazione di Nuvole di Punti (ModelNet40, Simmetria $S_n$): FS-KAN ha mostrato una superiorità costante rispetto a DeepSets, Point Transformer e KAN non equivarianti, specialmente quando il numero di punti per oggetto o il numero di campioni di addestramento era limitato.
• Apprendimento Continuo (Continual Learning): In un compito di classificazione su nuvole di punti con trasformazioni geometriche progressive, FS-KAN ha mostrato una migliore resistenza all'oblio catastrofico (catastrophic forgetting) rispetto ai baseline, mantenendo meglio le conoscenze precedenti.
• Predizione di Valutazioni Semi-Supervisionata (Sistemi di Raccomandazione, Simmetria $S_n \times S_m$): Su dataset come MovieLens e Flixster, in scenari di estrema scarsità di dati (matrici di rating molto sparse), FS-KAN ha ottenuto errori RMSE inferiori rispetto ai modelli basati su condivisione di parametri (SSEM), dimostrando un'efficienza dei dati superiore.

Efficienza Computazionale: Sebbene FS-KAN offra migliori prestazioni in termini di dati, la variante "efficiente" è ancora più lenta degli MLP standard (DeepSets) a causa della natura delle funzioni apprendibili, ma il compromesso è giustificato nei casi di dati limitati.

5. Significato e Impatto

Il lavoro di FS-KAN è significativo perché:

• Colma un Gap Teorico: Fornisce le basi matematiche per l'uso delle KAN in contesti di simmetria di permutazione, un'area precedentemente inesplorata in modo sistematico.
• Unificazione: Dimostra che molte architetture equivarianti recenti (per grafi, insiemi, immagini) sono casi particolari di FS-KAN.
• Robustezza nei Dati Limitati: Conferma l'ipotesi che l'induzione di simmetrie tramite funzioni condivise, combinata con la flessibilità delle KAN, porta a modelli che generalizzano meglio quando i dati sono scarsi, un problema cruciale in molte applicazioni reali.
• Interpretabilità: Offre un nuovo modo per visualizzare e comprendere le relazioni simmetriche apprese dalle reti neurali, sfruttando la natura visuale delle funzioni univariate delle KAN.

In sintesi, FS-KAN rappresenta un passo avanti verso l'integrazione di architetture neurali moderne (KAN) con i principi dell'apprendimento geometrico profondo, offrendo un modello potente, interpretabile ed efficiente per dati strutturati con simmetrie complesse.