🤖 AI

TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions

Questo articolo introduce TruKAN, una nuova architettura di Kolmogorov-Arnold Network che sostituisce le basi B-spline con funzioni di potenza troncate per ottenere un equilibrio superiore tra accuratezza, efficienza computazionale e interpretabilità, dimostrando guadagni di prestazioni significativi rispetto alle varianti KAN esistenti quando integrata in framework EfficientNet-V2 per compiti di computer vision.

Autori originali: Ali Bayeh, Samira Sadaoui, Malek Mouhoub

Pubblicato 2026-02-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ali Bayeh, Samira Sadaoui, Malek Mouhoub

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot a riconoscere immagini di gatti, cani e auto. Per farlo, il robot ha bisogno di un "cervello" composto da strati matematici in grado di individuare schemi.

Per molto tempo, il cervello standard per questi compiti è stato chiamato MLP (Multi-Layer Perceptron). Pensa a un MLP come a una linea di montaggio di una fabbrica dove ogni lavoratore (neurone) usa lo stesso identico strumento preimpostato (una funzione di attivazione fissa come ReLU) per svolgere il proprio lavoro. È veloce e affidabile, ma è un po' rigido.

Poi, è arrivato un nuovo tipo di cervello chiamato KAN (Kolmogorov-Arnold Network). I KAN sono come una squadra di maestri artigiani. Invece di usare uno strumento preimpostato, ogni singolo lavoratore impara il proprio strumento unico e personalizzato (uno "spline") per risolvere il problema specifico che affronta. Questo rende i KAN incredibilmente intelligenti e facili da comprendere (interpretabili) perché puoi guardare i loro strumenti e vedere esattamente come funzionano.

Tuttavia, c'è un problema: imparare questi strumenti personalizzati è lento e costoso. È come chiedere a ogni lavoratore di intagliare a mano il proprio martello da zero ogni volta che inizia un nuovo lavoro. Il documento chiama questo fenomeno "collo di bottiglia computazionale".

Entra in scena TruKAN: La scorciatoia intelligente

Gli autori di questo articolo, Ali Bayeh, Samira Sadaoui e Malek Mouhoub, hanno introdotto una nuova architettura chiamata TruKAN. Il loro obiettivo era mantenere i vantaggi da "maestro artigiano" dei KAN, ma rendere il processo di addestramento veloce ed efficiente come quello della standard linea di montaggio di una fabbrica.

Ecco come ci sono riusciti, usando una semplice analogia:

1. Sostituire il "Legno Intagliato" con i "Mattoncini LEGO"

I KAN standard utilizzano qualcosa chiamato B-spline per costruire i loro strumenti personalizzati. Immagina le B-spline come complessi pezzi di legno curvi che richiedono un processo di intaglio ricorsivo molto specifico (l'algoritmo de Boor-Cox) per essere modellati. È preciso, ma lento.

TruKAN le sostituisce con le Funzioni di Potenza Troncate.

L'analogia: Pensa alle B-spline come a complessi giunti di legno intagliati a mano. Pensa alle Funzioni di Potenza Troncate come a mattoncini LEGO.
Invece di intagliare una curva da zero, TruKAN costruisce le sue curve incastrando semplici pezzi predefiniti (polinomi) e aggiungendo "nodi" (punti di connessione) dove la forma deve curvarsi.
Questo è matematicamente equivalente al vecchio metodo (possono costruire le stesse forme), ma è molto più veloce da assemblare perché non è necessario il complesso algoritmo di intaglio ricorsivo.

2. Il Progetto "Condiviso vs Individuale"

Il documento esplora due modi per disporre questi mattoncini LEGO:

Nodi Condivisi: Immagina un team di costruzione dove tutti usano lo stesso set di punti di connessione pre-misurati. È efficiente e mantiene il team coordinato.
Nodi Individuali: Immagina che ogni lavoratore riceva il proprio set personalizzato di punti di connessione. È più flessibile, ma richiede più spazio e tempo per l'organizzazione.

I ricercatori hanno scoperto che i Nodi Condivisi spesso funzionavano meglio, offrendo il punto di equilibrio ideale tra velocità e precisione.

3. Lo "Stabilizzatore" (Normalizzazione)

Poiché queste funzioni simili ai LEGO possono talvolta diventare un po' instabili (numericamente instabili) quando vengono impilate troppo in alto, i ricercatori hanno aggiunto uno "stabilizzatore" chiamato Normalizzazione del Layer (Layer Normalization).

L'analogia: È come aggiungere un ammortizzatore a un'auto. Smorza gli urti sulla strada (il processo di addestramento) in modo che l'auto non si schianti (esplosione dell'errore) quando va veloce. Hanno scoperto che l'aggiunta di questo stabilizzatore rendeva TruKAN significativamente più accurato.

I Risultati: Velocità e Intelligenza

Il team ha testato TruKAN su quattro famosi dataset di riconoscimento di immagini (CIFAR-10, CIFAR-100, Oxford-Pets e STL-10). Lo hanno confrontato con:

MLP: La standard linea di montaggio della fabbrica.
Standard KAN: I lenti maestri artigiani che intagliano a mano.
SineKAN: Una variante che utilizza onde sinusoidali (come un diverso tipo di strumento musicale).

Le scoperte:

Accuratezza: Truکان era spesso il vincitore o un molto vicino secondo. Ha eguagliato o superato gli MLP standard e ha schiacciato le altre varianti KAN.
Velocità: TruKAN si è addestrato molto più velocemente dei KAN standard. In alcuni test, è stato da 3 a 4 volte più veloce per passaggio.
Memoria: TruKAN ha utilizzato molta meno memoria del computer (RAM) rispetto ai KAN standard. Una versione utilizzava meno di 120 MB, mentre i KAN standard ne utilizzavano oltre 500 MB.
Interpretabilità: Proprio come l'originale KAN, TruKAN rimane "trasparente". Puoi ancora guardare il modello e vedere esattamente come sta curvando i dati per prendere una decisione, a differenza della natura "scatola nera" degli MLP standard.

In sintesi

Il documento sostiene che TruKAN è il meglio dei due mondi. Mantiene la natura "spiegabile" e "intelligente" dei KAN, ma sostituisce il lento calcolo manuale con un metodo di costruzione più veloce, simile ai LEGO.

Utilizzando le Funzioni di Potenza Troncate (i LEGO) e i Nodi Condivisi (il progetto efficiente), TruKAN consente ai computer di apprendere compiti visivi complessi (come identificare animali domestici o auto) molto più velocemente e con meno memoria, senza perdere la capacità di capire come il computer sta pensando.

Ciò che il documento NON afferma:

Non afferma che questo funzioni per la diagnosi medica o per le auto a guida autonoma (anche se menziona queste come potenziali aree future).
Non afferma che TruKAN sia perfetto per ogni singola attività; ha performato meglio sugli specifici dataset di immagini testati.
Non afferma di aver risolto tutti i problemi; notano che alcune variazioni (come i nodi individuali senza stabilizzazione) possono ancora avere difficoltà con la generalizzazione.

Riepilogo Tecnico di "TruKAN: Verso Kolmogorov-Arnold Networks più efficienti utilizzando funzioni di potenza troncata"

Problematica

Le Kolmogorov-Arnold Networks (KAN) sono emerse come un'alternativa promettente ai Multi-Layer Perceptrons (MLP), offrendo una superiore interpretabilità e la capacità di apprendere funzioni univariante lungo gli archi. Tuttavia, le KAN standard si affidano a funzioni di base B-spline per le loro attivazioni apprendibili. La valutazione di queste B-spline richiede l'algoritmo ricorsivo de Boor–Cox, che è computazionalmente costoso, causando spesso una velocità di addestramento delle KAN fino a 10 volte inferiore rispetto alle MLP equivalenti. Inoltre, la dipendenza da complessi algoritmi di spline e strutture di griglia fisse può portare a problemi di scalabilità in problemi ad alta dimensionalità e architetture profonde, caratterizzati da gradienti rumorosi e ottimizzazione instabile. Sebbene varianti recenti come SineKAN e FourierKAN tentino di affrontare questi problemi, esse introducono spesso nuovi compromessi riguardanti l'interpretabilità o rimangono limitate a benchmark sintetici e dataset semplici come MNIST.

Metodologia

Gli autori propongono TruKAN, una nuova architettura che mantiene la topologia canonica delle KAN e le attivazioni apprendibili, ma sostituisce la base B-spline con una famiglia di funzioni di potenza troncata derivate dalla teoria delle spline di ordine $k$ .

Componenti Architetturali Core:

Base di Potenza Troncata: Invece delle B-spline, TruKAN utilizza funzioni di potenza troncata della forma $(x - t_j)^k_+$ . Teoricamente, lo spazio spaziato da queste funzioni è identico a quello delle B-spline, ma la loro valutazione computazionale è distinta. Mentre le B-spline hanno un supporto compatto (richiedendo una complessità $O(k^2)$ per intervallo tramite ricorsione), le funzioni di potenza troncata hanno un supporto globale. Tuttavia, gli autori sostengono che in pratica non siano sempre necessarie griglie ad alta risoluzione, permettendo a TruKAN di operare efficientemente con un numero ridotto di nodi (knots).
Struttura a Livello Ibrida: Ogni livello TruKAN combina due componenti:
- Una componente di potenza troncata per catturare non-linearità locali e a tratti.
- Una componente polinomiale (trend globale) per sostituire l'attivazione ausiliaria SiLU utilizzata nelle KAN standard. Questo termine polinomiale fornisce una mappatura globale liscia e differenziabile, compensando la mancanza di una non-linearità globale esplicita come la SiLU.
Configurazioni dei Nodi: Il documento introduce due varianti riguardanti il posizionamento dei nodi:
- Nodi Condivisi (Shared Knots): Un singolo set di posizioni dei nodi è condiviso tra tutti i canali di output.
- Nodi Individuali (Individual Knots): Ogni canale di output ha il proprio set di posizioni dei nodi apprendibili.
- Sono esplorate sia le strategie di nodi fissi (intervalli predefiniti) che apprendibili (ottimizzati durante l'addestramento con vincoli di ordinamento e positività).
Framework di Addestramento:
- Ottimizzazione: Per affrontare l'instabilità dell'addestramento di reti profonde con funzioni di potenza troncata (che possono soffrire di esplosione del gradiente a causa della crescita/decadimento esponenziale), gli autori impiegano una strategia di ottimizzazione ibrida utilizzando AdamW avvolto da LookAhead. Questo sostituisce la standard L-BFGS utilizzata negli studi precedenti sulle KAN per adattarsi meglio all'addestramento stocastico a mini-batch.
- Normalizzazione: Lo studio indaga l'impatto della Layer Normalization (e della Batch Normalization) all'interno delle teste dei classificatori, poiché le tecniche di regolarizzazione tradizionali come il dropout hanno mostrato risultati misti nelle KAN.
- Backbone: I modelli sono integrati in un framework EfficientNet-V2, sostituendo la testa del classificatore standard con livelli MLP, KAN, SineKAN o TruKAN.

Contributi Chiave

Innovazione Architetturale: La sostituzione delle B-spline con funzioni di potenza troncata, accoppiata a un termine globale polinomiale, crea un modello che mantiene l'espressività delle KAN semplificando al contempo la valutazione della funzione di base.
Interpretabilità Migliorata: Utilizzando funzioni di potenza troncata, il contributo di ogni nodo diventa esplicito. Un coefficiente non nullo in un nodo $t_j$ indica direttamente una curvatura intenzionale di ordine $k$ in quel punto specifico, offrendo una maggiore trasparenza rispetto al supporto sovrapposto delle B-spline.
Scalabilità ed Efficienza: Il documento dimostra che TruKAN può essere scalato efficacemente a architetture profonde e compiti di visione complessi, andando oltre i limiti dei dati sintetici degli studi precedenti sulle KAN.
Benchmarking Completo: Gli autori forniscono una valutazione rigorosa su quattro dataset di computer vision (CIFAR-10, CIFAR-100, Oxford-IIIT Pets, STL-10) utilizzando configurazioni di rete piccole e profonde, garantendo confronti equi accoppiando il conteggio dei parametri.

Risultati Sperimentali

La valutazione è stata condotta su quattro dataset utilizzando backbone EfficientNet-V2 con diverse dimensioni di classificatore (architetture piccole e grandi).

Accuratezza e F1-Score:
- Piccole Architetture: Le varianti TruKAN, in particolare quelle con Layer Normalization e Nodi Condivisi (TruKAN-SN), hanno costantemente superato o eguagliato i modelli baseline KAN e SineKAN. Su CIFAR-10, TruKAN-IN ha ottenuto l'accuratezza più alta (0.8927), superando la migliore baseline MLP. Su STL-10, TruKAN-SN ha raggiunto un'accuratezza di 0.9341, seguendo solo la MLP normalizzata per un margine trascurabile.
- Grandi Architetture: I modelli TruKAN hanno dimostrato una scalabilità superiore. Su CIFAR-10, TruKAN-IN ha raggiunto un'accuratezza di 0.8932, superando la baseline MLP-N nonostante l'uso di meno parametri. Le varianti TruKAN hanno dominato costantemente le baseline KAN e SineKAN in tutti i dataset, ottenendo spesso risultati comparabili o migliori rispetto alle più forti MLP.
- Impatto della Normalizzazione: La Layer Normalization si è rivelata critica per le prestazioni di TruKAN, migliorando significativamente la generalizzazione, in particolare per le configurazioni a nodi individuali che altrimenti avrebbero sofferto di overfitting.
Efficienza Computazionale:
- Tempo di Addestramento: I modelli TruKAN a nodi condivisi (TruKAN-FS) hanno raggiunto tempi di step di addestramento di circa 0.0024s, rappresentando un miglioramento di 3-4 volte rispetto ai modelli KAN standard (0.0087s - 0.0099s).
- Utilizzo della Memoria: TruKAN-FS ha consumato solo 118.04 MB di memoria GPU di picco, significativamente meno di KAN-PBT (570.84 MB) e KAN-PBF (691.79 MB). Tuttavia, le varianti a nodi individuali (TruKAN-FI) hanno comportato costi di memoria elevati (~2.6 GB) a causa dell'espansione dello storage dei nodi.
- Parametri: I modelli TruKAN hanno generalmente ottenuto prestazioni comparabili o migliori con meno parametri addestrabili rispetto alle loro controparti KAN e SineKAN.

Significatività e Rivendicazioni

Il documento afferma che TruKAN affronta con successo il compromesso tra efficienza computazionale e adesione ai principi delle KAN. Sostituendo l'algoritmo ricorsivo delle B-spline con funzioni di potenza troncata e un termine globale polinomiale, TruKAN ottiene:

Efficienza Superiore: Riduzioni significative nei tempi di addestramento e nell'uso della memoria rispetto alle KAN standard, rendendole praticabili per compiti di visione complessi.
Espressività Preservata: Il modello preserva le capacità di approssimazione teoriche delle KAN migliorando al contempo l'accuratezza su dataset reali.
Interpretabilità Migliorata: La natura esplicita delle funzioni di potenza troncata consente un'ispezione più chiara delle funzioni di arco apprese e dei contributi dei nodi rispetto alle B-spline o ai metodi spettrali globali come SineKAN.

Gli autori concludono che TruKAN offre una strada pratica per il futuro delle KAN, dimostrando vantaggi che vanno oltre le impostazioni ristrette degli studi precedenti. Riconoscono che, sebbene il metodo migliori la stabilità, rimangono sfide riguardanti l'integrazione di altre tecniche di regolarizzazione (come il dropout) e il potenziale dell'addestramento a precisione mista per migliorare ulteriormente l'efficienza. Il lavoro futuro è proposto per esplorare queste aree e applicare TruKAN al reinforcement learning e alla previsione di serie temporali.