💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

Questo articolo introduce Dictionary-KAN (DKAN), un'architettura verificata tramite macchina che risolve il paradosso dell'ottimizzazione delle Kolmogorov-Arnold Networks impiegando dizionari RBF a coefficienti complessi e un raffinamento gerarchico discreto per ottenere una regressione multivariata, un recupero dei coefficienti delle PDE e un'interpretabilità efficiente dall'hardware superiori, evitando al contempo i problemi di memoria e convergenza delle KAN basate su spline continue.

Autori originali: Kiarash Mohammadi

Pubblicato 2026-08-25

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kiarash Mohammadi

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto panorama dell'intelligenza artificiale moderna, una sfida persistente tormenta da tempo i ricercatori: come costruire macchine che apprendano schemi complessi senza smarrirsi in un mare di confusione matematica. Per decenni, l'approccio standard si è basato su enormi e dense griglie di connessioni, dove ogni parte del sistema comunica con ogni altra parte. Sebbene potenti, questi sistemi spesso faticano a trovare il percorso più efficiente verso una soluzione, rimanendo intrappolati in vicoli ciechi locali o richiedendo così tanta memoria da non poter essere eseguiti sull'hardware disponibile. Un'idea più recente, nota come rappresentazione di Kolmogorov-Arnold, ha offerto una strada diversa. Suggeriva che qualsiasi relazione complessa e multidimensionale potesse essere scomposta in una serie di passaggi unidimensionali più semplici, sommati tra loro. Questo concetto prometteva un modo più elegante e interpretabile per modellare il mondo, ma quando gli scienziati hanno cercato di costruirlo, si sono imbattuti in un paradosso fondamentale. Gli strumenti matematici utilizzati per rendere queste reti flessibili erano troppo instabili, causando il collasso del processo di apprendimento o rendendolo impossibilmente costoso da calcolare.

Un ricercatore di nome Kiarash Mohammadi ha ora proposto una soluzione a questo paradosso con una nuova architettura chiamata Dictionary-KAN. Invece di cercare di deformare e distorcere una griglia continua di punti dati, il che spesso porta all'instabilità che ha afflitto i tentativi precedenti, questo nuovo sistema utilizza un insieme fisso e predefinito di blocchi costruttivi. Immaginate un dizionario di parole che non cambia mai; la rete impara semplicemente come mescolare queste parole per formare frasi, piuttosto che cercare di inventare nuove lettere al volo. Ancorando ogni connessione a questo dizionario stabile, il ricercatore assicura che il problema matematico risolto dal computer sia sempre fluido e prevedibile, evitando i crolli improvvisi e i progressi perduti che si verificano nei modelli più vecchi. Questo approccio consente al sistema di crescere in termini di dimensioni e dettaglio senza dimenticare ciò che ha già appreso, un traguardo che era precedentemente impossibile con questo tipo di reti.

L'innovazione va oltre la semplice stabilità. Il ricercatore ha elevato l'intero sistema in uno spazio matematico complesso, permettendo alla rete di comprendere naturalmente come diverse variabili si moltiplichino e interagiscano tra loro. Nelle versioni precedenti, il sistema doveva essere costretto ad apprendere queste interazioni attraverso calcoli pesanti ed inefficienti. Qui, la struttura stessa gestisce la moltiplicazione, rendendo il processo di apprendimento molto più efficiente. Questo design include anche un metodo unico di raffinamento. Quando la rete ha bisogno di diventare più precisa, può inserire nuovi strati di dettaglio tra quelli esistenti senza disturbare il lavoro già svolto. Le nuove parti iniziano con un'influenza pari a zero, garantendo che l'output della rete rimanga esattamente lo stesso prima e dopo l'espansione, eliminando efficacemente il problema dell' "oblio catastrofico", in cui l'apprendimento di nuove cose cancella le conoscenze precedenti.

Per garantire che queste affermazioni non fossero solo speranze teoriche, il ricercatore ha sottoposto la logica centrale a un rigoroso controllo verificato da una macchina. Utilizzando un programma informatico specializzato progettato per dimostrare verità matematiche, ogni passaggio della teoria dell'ottimizzazione è stato verificato come corretto sotto specifiche condizioni. Il computer ha confermato che il sistema possiede un'unica soluzione ottimale e che il metodo utilizzato per trovarla convergerà sempre verso tale soluzione senza bloccarsi. Questo livello di certezza è raro nel campo, dove molte teorie si basano su assunzioni difficili da dimostrare. I risultati di questa verifica sono stati poi messi alla prova in una serie di simulazioni del mondo reale. In compiti che coinvolgevano l'interazione di più variabili, il nuovo sistema ha superato i modelli densi standard di un fattore venti, raggiungendo un'accuratezza molto più elevata con molte meno risorse.

Il sistema ha anche dimostrato capacità straordinarie nella scoperta scientifica. Quando gli è stato chiesto di identificare le leggi che governano un pendolo oscillante con resistenza dell'aria, la rete è riuscita a isolare correttamente le variabili fisiche, incluse le sottili forze di smorzamento che altri modelli avevano trascurato. Allo stesso modo, quando gli è stato chiesto di scoprire le equazioni dietro un problema di dinamica dei fluidi noto come equazione di Burgers, ha ricostruito le relazioni matematiche corrette con un errore inferiore all'uno per cento, nonostante dovesse inventare da sola i termini di moltiplicazione necessari. In un'applicazione pratica, i ricercatori hanno addestrato la rete a modellare il modo in cui la luce si riflette su una superficie metallica ruvida, un compito critico per la grafica computerizzata realistica. Il modello risultante era così pulito e strutturato da poter essere tradotto direttamente in un breve programma per computer leggibile dall'uomo, eliminando del tutto la necessità del pesante software della rete neurale.

Tuttavia, la ricerca non è priva di limitazioni, e l'autore è attento a riportarle con la stessa chiarezza dei successi. Quando il sistema è stato testato su dati con salti bruschi e improvvisi, come una funzione a gradino, ha mostrato una debolezza nota chiamata "ringing", in cui l'output oscilla leggermente attorno al bordo netto. Sebbene il nuovo sistema abbia gestito questa situazione meglio delle versioni precedenti, non è riuscito a eguagliare la precisione di modelli più semplici e datati in questi casi specifici. Inoltre, le garanzie matematiche fornite dalla verifica della macchina dipendono dal soddisfacimento di certe condizioni, come il fatto che i dati abbiano una struttura specifica, il che significa che la teoria non è una garanzia universale per ogni possibile dataset. Il ricercatore nota esplicitamente che il sistema non è progettato per essere una memoria perfetta di ogni dettaglio, quanto piuttosto uno strumento per comprendere e raffinare relazioni complesse.

Il lavoro rappresenta un passo significativo verso il rendere l'intelligenza artificiale più affidabile ed efficiente. Sostituendo le instabili griglie continue con un dizionario fisso di funzioni, il ricercatore ha risolto un paradosso di ottimizzazione di lunga data che ha ostacolato lo sviluppo di queste reti. La capacità di far crescere la rete senza dimenticare, di scoprire leggi fisiche con alta precisiono e di compilare il risultato finale in codice semplice suggerisce un futuro in cui questi sistemi non siano solo potenti, ma anche comprensibili e pratici. Le scoperte non sono presentate come una risposta definitiva a tutti i problemi, ma come una base stabile su cui costruire versioni più avanzate, con la teoria centrale già verificata da una macchina come matematicamente fondata.

Riepilogo Tecnico: Dictionary-KAN

Definizione del Problema

Il documento affronta il "paradosso dell'ottimizzazione" inerente alle reti Kolmogorov-Arnold (KAN) continue. Sebbene il teorema di rappresentazione di Kolmogorov-Arnold garantisca che ogni funzione multivariata continua possa essere decomposta in funzioni 1D e addizioni, le implementazioni standard delle KAN continue (che utilizzano B-spline, polinomi di Chebyshev o centri gaussiani apprendibili) incontrano quattro fallimenti critici nella pratica:

Patologie delle Funzioni di Base: Le funzioni razionali limitate causano la scomparsa del gradiente (vanishing gradients), mentre i polinomi di alto grado creano paesaggi di perdita corrugati con attraversamenti dello zero erratici.
Instabilità della Griglia: La ricollocazione dinamica dei nodi delle spline porta a collassi di ordinamento non convessi e deformazioni del dominio, causando un oblio catastrofico durante gli aggiornamenti localizzati.
Violazione dei Vincoli KA: Modellare interazioni non lineari tra variabili (ad es. $x_1x_2$ ) richiede spesso proiezioni lineari dense o gating, reinserendo di fatto le matrici di peso dense dei Multi-Layer Perceptrons (MLP) e rompendo la struttura di sommatoria 1D.
Intrattabilità della Regolarizzazione: I penalizzatori standard di Sobolev $L_2$ sfumano le transizioni nette, mentre i vincoli di Lipschitz troppo stretti limitano eccessivamente l'espressività.

Inoltre, le KAN continue soffrono di una "maledizione della memoria della dimensionalità" in cui le attivazioni di griglia dense scalano male con la larghezza della rete, portando spesso a errori di memoria (OOM - Out-of-Memory).

Metodologia: Dictionary-KAN (DKAN)

L'autore propone Dictionary-KAN, un'architettura che sostituisce la deformazione della griglia continua e apprendibile con un approccio a dizionario discreto e fisso, basato sull'analisi funzionale. Gli impegni di progettazione centrale sono:

1. Dizionari RKHS Fissi con Coefficienti Complessi

Invece di centri apprendibili, ogni funzione di arco è definita come un dizionario Gaussian (magnitude-RBF) fisso in uno spazio di Hilbert con kernel riproducibile (RKHS). I coefficienti sono numeri complessi apprendibili.

Funzione di Arco: $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ , dove $c_m$ sono centri reali fissi e $w$ sono pesi complessi.
Routing Complesso: Gli input vengono elevati nel piano complesso ( $x_p \mapsto x_p + 0i$ ). I termini di base analitici ( $z, z^2$ ) isolano naturalmente i prodotti incrociati moltiplicativi (ad es. $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ ) senza richiedere proiezioni matriciali dense.

2. Raffinamento Gerarchico Discreto (DHR)

Per aumentare la capacità senza riaddestrare o interrompere le rappresentazioni esistenti, DKAN impiega il DHR. Questo processo inserisce centri medi tra i centri del dizionario esistenti. Fondamentalmente, i nuovi pesi sono inizializzati esattamente a zero, garantendo che l'output della rete rimanga bit-identico prima e dopo il raffinamento. Ciò garantisce lo "zero oblio catastrofico".

3. Regolarizzazione della Variazione Totale (TV) Discreta

Per imporre la sparsità e profili di peso lineari a tratti, viene applicata una penalità $\ell_1$ sulle seconde differenze discrete della sequenza di pesi: $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ .

4. Teoria Verificata da Macchina

Una caratteristica distintiva del lavoro è che la teoria dell'ottimizzazione centrale è formalmente verificata in Lean 4 / Mathlib. L'autore non si affida ad argomentazioni asintotiche informali; al contrario, fornisce prove verificate dalla macchina per:

Convessità Stretta: La perdita è strettamente convessa sotto assunzioni di dizionario a pieno rango.
Stazionarietà: La stazionarietà del gradiente discendente è equivalente alle equazioni normali ( $K^*(Kw-y)=0$ ).
Convergenza: La convergenza geometrica del gradiente discendente è provata sotto una derivata condizione Polyak–Lojasiewicz (PL).
Zero-Oblio: L'identità DHR è provata per preservare la funzione puntualmente.

Risultati Chiave

1. Stabilità di Ottimizzazione e Accuratezza

Su un compito di regressione multivariata accoppiata ( $f(x,y) = \sin(x)\cos(y) + xy$ ), DKAN supera i baseline RBF-KAN densi di circa 20 volte in termini di Test MSE.

Complesso vs. Reale: Il DKAN a valori complessi (C-DKAN) converge in modo fluido e monotono. Al contrario, il DKAN a valori reali (R-DKAN) mostra una grave instabilità della perdita e shock del gradiente, validando la fase complessa come stabilizzatore geometrico.
Zero-Oblio: Dopo l'espansione DHR, il cambiamento nell'output della rete è esattamente 0.0, confermando la garanzia teorica.

2. Limitazioni sulle Discontinuità

Il documento riporta risultati negativi riguardanti le discontinuità. In un compito di approssimazione di una funzione a gradino, i dizionari magnitude-RBF smooth mostrano oscillazioni di tipo Gibbs (overshoot/undershoot).

Sebbene il C-DKAN oscilli meno rispetto alle KAN dense, non può eguagliare l'approssimazione quasi esatta della funzione a gradino dei ReLU MLP.
Il regolarizzatore TV, che penalizza la curvatura nello spazio dei pesi, non riesce a sopprimere l'overshoot nello spazio delle funzioni perché i grandi picchi di overshoot hanno piccole seconde derivate discrete. L'autore afferma esplicitamente che la TV nello spazio dei pesi non controlla le oscillazioni nello spazio delle funzioni.

3. Scalabilità dell'Hardware

DKाN risolve il collo di bottiglia della memoria delle KAN continue.

Le KAN dense richiedono $O(BN^2G)$ di memoria per i tensori di attivazione degli archi, portando a errori OOM con larghezza $N=256$ .
DKAN scala con $O(BNM)$ di memoria. Con $N=128$ , DKAN utilizza 18,6 volte meno VRAM rispetto al baseline denso. Con $N=256$ , il modello denso fallisce, mentre DKAN completa l'operazione entro 2,66 GB.

4. Scoperta Scientifica (ODE e PDE)

Pendolo Smorzato: DKAN recupera con successo la struttura accoppiata dello spazio degli stati $\{\theta, \dot{\theta}\}$ e la non linearità $\sin(\theta)$ . Un baseline a valori reali non è riuscito a mantenere la coordinata di smorzamento $\dot{\theta}$ , sostituendola con un proxy monotono.
Equazione di Burgers: DKAN scopre i coefficienti della PDE di Burgers viscosa ( $u_t = -1.0024 u u_x + 0.0095 u_{xx}$ ) con un errore <1%. Fondamentalmente, sintetizza il prodotto non lineare $u u_x$ nativamente tramite la parte immaginaria di $z^2$ (dove $z = u + i u_x$ ), mentre il baseline richiedeva questo termine come feature di input esplicita.

5. Compilazione Simbolica

DKAN può essere compilato in uno shader GLSL a ~50 righe in forma chiusa per la compensazione dell'energia BRDF. Potendo potare i pesi piccoli e utilizzare centri fissi, la rete si converte direttamente in un albero di espressione simbolica, consentendo l'implementazione in tempo reale senza un runtime neurale.

Significato e Rivendicazioni

Il documento posiziona Dictionary-KAN non come un interpolatore universale (dove gli MLP non strutturati possono ancora raggiungere un MSE grezzo inferiore su griglie lisce), ma come un'alternativa stabile, interpretabile ed efficiente dal punto di vista dell'hardware sia agli MLP che alle KAN continue.

La sua importanza primaria risiede nel:

Risolvere il Paradosso dell'Ottimizzazione: Fissando il dizionario e utilizzando il routing complesso, elimina l'instabilità della griglia e la scomparsa del gradiente mantenendo i vincoli topologici del teorema KA.
Garanzie Verificate da Macchina: Fornisce le prime prove verificate dalla macchina per la convergenza, la convessità e il raffinamento a zero-oblio delle KAN, andando oltre le affermazioni teoriche informali.
Accoppiamento Moltiplicativo Nativo: Raggiunge la modellazione dell'interazione tra variabili attraverso le proprietà analitiche complesse piuttosto che tramite proiezioni dense.
Scalabilità: Rimuove la maledizione della memoria della dimensionalità associata alle KAN basate su griglie dense.

L'autore è modesto nelle sue rivendicazioni, riconoscendo esplicitamente che i dizionari smooth faticano con le discontinuità e che l'attuale teoria si basa su premesse condizionali (ad es. dizionari a pieno rango) che richiedono una certificazione dipendente dai dati in lavori futuri (V2). Il lavoro è presentato come una fondazione "V1", con versioni future che mirano all'unificazione della teoria dei kernel e alla scalabilità dei sistemi profondi.