📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

Questo articolo introduce le Reti di Kolmogorov-Arnold con Vincoli Geometrici (Banach-KANs), che sostituiscono le attivazioni degli archi fisse con funzioni apprendibili derivate da mappe di dualità di Banach controllate da un esponente scalare $p$ , ottenendo prestazioni superiori o competitive nella regressione simbolica e dimostrando una maggiore robustezza al rumore e ai piccoli campioni rispetto alle tradizionali KAN a base fissa.

Autori originali: K S Sesh Kumar

Pubblicato 2026-08-27

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: K S Sesh Kumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della scoperta scientifica, molte leggi naturali descrivono come una quantità cambi in risposta a un'altra. L'oscillazione di un pendolo dipende dal suo angolo; la velocità di un'auto dipende dalla densità del traffico; la luminosità di una stella dipende dalla sua temperatura. Per decenni, gli scienziati hanno utilizzato modelli matematici per catturare queste relazioni, ma è emersa un'approccio più recente che tratta il modello stesso come un'entità flessibile e capace di apprendimento. Questo approccio, noto come Rete di Kolmogorov–Arnold, funziona scomponendo un problema complesso in molti piccoli pezzi semplici. Invece di costringere l'intero sistema a imparare una singola regola rigida, costruisce una rete in cui ogni connessione tra due punti è governata dalla propria funzione unica e apprendibile. La sfida centrale per queste reti è sempre stata decidere quale forma debbano assumere tali funzioni. Tradizionalmente, i ricercatori hanno dovuto scegliere in anticipo una forma specifica — come una curva morbida o un'onda ripetitiva — e attenervisi per l'intero problema. Questo è un po' come cercare di riparare una macchina rotta con un solo tipo di chiave inglese: funziona bene per alcuni bulloni, ma fallisce miseramente su altri.

Un ricercatore dell'Imperial College London ha proposto un modo diverso di pensare a questo problema. Si è reso conto che il vero problema non è la forma della funzione in sé, ma la "geometria" sottostante o lo spazio in cui vive quella funzione. In matematica, la geometria determina come vengono misurate le distanze e quanto una curva possa essere netta o fluida. Il ricercatore ha sviluppato un nuovo tipo di rete in cui la geometria non è fissa prima dell'inizio dell'apprendimento. Inve compiere, la rete apprende la migliore geometria per ogni singola connessione direttamente dai dati. Ci è riuscito introducendo un singolo numero regolabile per ogni connessione nella rete. Questo numero agisce come una manopola che sposta il comportamento della connessione da uno netto e simile a una soglia a uno fluido e lineare, o addirittura piatto e saturo. Lasciando che i dati decidano dove impostare questa manopola, la rete può adattare la propria struttura interna per corrispondere alle peculiarità specifiche del problema che sta risolvendo.

Il ricercatore ha testato questa idea su cinquanta diversi problemi matematici, che spaziano da equazioni fisiche standard a sfide sintetiche progettate per testare la resistenza del sistema. Ha confrontato le sue nuove reti adattive alla geometria con modelli più vecchi che si affidano a forme fisse, come le spline (che sono simili a righelli flessibili usati per disegnare curve morbide) o i polinomi. I risultati hanno mostrato che i modelli a forma fissa faticavano quando i dati contenevano salti improvvisi o angoli acuti, producendo spesso risultati oscillanti e imprecisi perché le loro forme rigide non potevano curvarsi abbastanza per adattarsi ai dati. Al contrario, le nuove reti, che potevano regolare la propria geometria, hanno eguagliato o superato le prestazioni di ogni base a forma fissa. Su un nucleo centrale di diciotto equazioni difficili, il nuovo metodo ha ottenuto il miglior ranking medio e, sull'intero set di cinquanta, ha performato al pari dei più forti metodi tradizionali.

Forse il risultato più significativo è stato il modo in cui queste nuove reti gestiscono il rumore. Nel mondo reale, le misurazioni raramente sono perfette; spesso contengono errori casuali o "disturbi". Quando il ricercatore ha aggiunto quantità crescenti di rumore ai suoi dati, i modelli tradizionali sono crollati rapidamente. I loro tassi di errore sono aumentati di un fattore di ventuno o più all'aumentare del rumore. Le nuove reti adattive alla geometria erano molto più robuste. Anche all'aumentare del livello di rumore, i loro tassi di errore aumentavano di un fattore molto più piccolo, spesso meno di quattro volte l'errore originale. Ciò suggerisce che, imparando la giusta geometria, la rete può ignorare il disturbo casuale e concentrarsi sul segnale reale, una capacità di cui i modelli a forma fissa sono privi.

Lo studio ha anche rivelato che la rete non impara solo una singola geometria uniforme per tutto. Invece, diverse connessioni all'interno della stessa rete hanno imparato impostazioni diverse per la propria manopola geometrica. Alcune connessioni hanno imparato a essere molto nette per gestire cambiamenti improvvisi, mentre altre hanno imparato a essere morbide per tendenze graduali. Questa specializzazione è avvenuta costantemente attraverso diversi tipi di equazioni e dimensioni di input. Ad esempio, quando il problema coinvolgeva più variabili, la rete tendeva a imparare geometrie più nette più spesso. Questo comportamento fornisce una sorta di interpretabilità: guardando le impostazioni scelte dalla rete, i ricercatori possono vedere un segnale che riflette la struttura sottostante del problema. La rete dice essenzialmente: "Questa parte del problema richiede un bordo netto, mentre quella parte richiede una curva morbida".

Il ricercatore ha anche esplorato cosa accade quando c'è pochissima disponibilità di dati. In questi scenari con campioni ridotti, le nuove reti hanno nuovamente superato i modelli a forma fissa, che tipicamente richiedono grandi quantità di dati per apprendere efficacemente. La capacità di adattare la geometria ha permesso alle nuove reti di approssimare le risposte corrette con molti meno esempi. Tuttavia, lo studio ha anche evidenziato dei limiti a questo approccio. Sebbene il nuovo metodo eccella in problemi a bassa-media dimensionalità, non è un sostituto delle reti neurali profonde e massicce utilizzate in compiti come il riconoscimento di immagini. Infatti, quando testato su dataset di immagini, il nuovo metodo ha eguagliato le prestazioni delle reti standard solo se dotato di venti o trenta volte più parametri, suggerendo che la sua forza risieda nell'efficienza e nell'adattabilità per specifici tipi di problemi di regressione piuttosto che nella scala pura.

In definitiva, questo lavoro sposta l'attenzione dalla scelta dello strumento giusto alla costruzione di uno strumento che possa cambiare la propria forma. Il ricercatore ha dimostrato che la chiave per risolvere complessi problemi di regressione non è la specifica base matematica usata per rappresentare i dati, ma lo spazio geometrico in cui risiede tale rappresentazione. Rendendo quello spazio un parametro apprendibile, ha creato un sistema che è più robusto al rumore, più efficiente con piccoli dataset e più capace di catturare la vera natura delle relazioni che sta cercando di modellare. Le conclusioni suggeriscono che, in futuro, i modelli più efficaci potrebbero non essere quelli con le architetture fisse più complesse, ma quelli che possono apprendere la geometria stessa del problema che stanno risolvendo.

Riassunto Tecnico: Reti Kolmogorov–Arnold a Vincolo Geometrico

Definizione del Problema

Le Reti Kolmogorov–Arnold (KAN) sostituiscono le funzioni di attivazione fisse nelle architetture profonde con funzioni univariate di arco apprendibili. Sebbene le varianti esistenti di KAN (ad esempio, quelle che utilizzano B-spline, polinomi di Chebyshev o feature di Fourier) offrano flessibilità, esse si basano su espansioni di base fisse. Ciò impone una geometria dello spazio funzionale (ad esempio, regolarità, periodicità o località) a priori, prima dell'osservazione dei dati.

L'articolo sostiene che questa geometria fissa sia un limite fondamentale. Come dimostrato nell'introduzione, basi fisse differenti falliscono in modi distinti quando tentano di adattarsi a target con strutture discordanti (ad esempio, basi regolari che faticano con discontinuità come i gradini di Heaviside). Il problema centrale non è la capacità rappresentativa, ma il disallineamento geometrico: la geometria imposta dalla base non si allinea con la geometria intrinseca della funzione target.

Metodologia: KAN a Vincolo Geometrico

L'autore propone le KAN a vincolo geometrico, in cui l'attivazione di arco non è selezionata da un insieme discreto di basi, ma è derivata dalla mappa di dualità di una geometria di uno spazio di Banach apprendibile.

1. Fondamenti Teorici

L'approccio sfrutta la corrispondenza tra una norma, un potenziale convesso e il suo gradiente (l'attivazione):
$\text{norma} \implies \text{geometria} \implies \text{potenziale convesso } \Psi \implies \text{attivazione } \phi = \nabla \Psi$
Inveve di fissare la base, l'autore parametrizza la geometria utilizzando la famiglia $\ell_p$ . L'esponente $p$ controlla il comportamento qualitativo dell'arco:

$p \to 1$ : Produce un comportamento netto, simile a una soglia (ricordando la geometria $\ell_1$ ).
$p = 2$ : Recupera il regime lineare/euclideo.
$p > 2$ : Produce risposte più piatte vicino all'origine e una crescita a legge di potenza nelle code.

2. Varianti di Architettura

L'articolo definisce una famiglia controllata di tre architetture per isolare gli effetti di espressività e adattamento geometrico:

Tanh-KAN: Utilizza la funzione di attivazione $\tanh$ standard (derivata dalla dualità di Orlicz, $\Psi(z) = \log \cosh z$ ). Offre un'espressività limitata ma senza adattamento geometrico.
$\ell_p$ -KAN: Utilizza la mappa di dualità $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ . Permette l'adattamento geometrico tramite un esponente $p$ apprendibile, ma manca di saturazione limitata.
Banach-KAN: Il modello principale, che combina entrambi i rami:
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
Questa architettura unifica la saturazione limitata (dal $\tanh$ ) e la geometria adattiva a legge di potenza (da $J_p$ ), permettendo agli archi di coprire diversi regimi di risposta.

3. Dettagli di Implementazione

Esponente Apprendibile: L'esponente è parametrizzato come $p = 1 + \exp(\theta)$ , consentendo l'ottimizzazione non vincolata di $\theta$ .
Stabilità Numerica: La mappa di dualità esatta $J_p$ ha una derivata singolare in $z=0$ per $p < 2$ . L'autore implementa una mappa regolarizzata (smoothed) ovunque $C^1$ : $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ , che preserva l'interpretazione geometrica nelle code garantendo al contempo la differenziabilità all'origine.
Condizione di Profondità Addestrabile: L'analisi teorica (Proposizione 1) suggerisce che per uno stack feedforward con pre-attivazioni gaussiane, esiste una scala critica del peso solo se $p > 3/2$ . Al di sotto di questa soglia, la propagazione del segnale può diventare instabile senza connessioni residue.

Contributi Chiave

Parametrizzazione a Vincolo Geometrico: Introduzione di attivazioni di arco KAN derivate dalle mappe di dualità di Banach dove la geometria (controllata da $p$ ) viene appresa direttamente dai dati, anziché essere determinata dalla scelta di una base.
Interpretazione Unificata: Riformulazione delle funzioni di arco KAN non come espansioni di base, ma come mappature controllate dalla geometria.
Robustezza Empirica: Dimostrazione che l'apprendimento della geometria migliora la robustezza al rumore di misura e all'approssimazione in regimi con piccoli campioni rispetto alle KAN a base fissa e alla regolarizzazione spline esplicita.
Segnale Interpretabile: Dimostrazione che gli esponenti appresi forniscono un ordinamento geometrico coerente e dipendente dal target (ad esempio, target più netti producono un $p$ più basso) che è stabile attraverso i livelli di rumore e le dimensioni di input.
Ablazione della Flessibilità: Isolamento dell'effetto "geometria" dalla generica flessibilità parametrica confrontandolo con controlli a budget equivalente (ad esempio, attivazioni adattive della pendenza, funzioni razionali e modelli di miscela).

Risultati Sperimentali

I modelli sono stati valutati su 50 target di regressione simbolica (40 dal benchmark AI Feynman, 10 test di stress sintetici) e 12 dataset tabulari PMLB.

Prestazioni su Dati Puliti

NRMSE Mediano: Banach-KAN ha raggiunto un NRMSE mediano di 0,030 sul benchmark completo di 50 equazioni, pareggiando statisticamente con Chebyshev-KAN (0,030) e superando Spline-KAN (0,037).
Classifica: Banach-KAN ha ottenuto il miglior rango medio sul sottoinsieme "Core 18" (2,00) e si è classificato tra i migliori sul set completo (2,32 vs 2,34 per Spline).
Regime a Piccolo Campione: Banach-KAN ha vinto la maggior parte delle equazioni nel regime a piccolo campione ( $n=50$ e $n=100$ ), superando i modelli a base fissa che richiedono più dati per convergere.

Robustezza al Rumore

L'articolo evidenzia guadagni significativi sotto rumore di misura ( $\sigma$ che aumenta da 0 a 1):

Rapporto di Degradazione: All'aumentare del rumore, i modelli a base fissa sono degradati significativamente (Spline G=3 è degradato di 21,6 $\times$ , Cheby-KAN di 14,9 $\times$ ).
Stabilità a Vincolo Geometrico: Le varianti a vincolo geometrico sono degradate molto meno. La $\ell_p$ -KAN è degradata solo di 3,7 $\times$ , e Banach-KAN di 8,8 $\times$ . Notevolmente, anche una spline con cross-validazione è degradata di circa 11 $\times$ , rendendo la geometria appresa più robusta della regolarizzazione ottimizzata.
Spostamento del Regime di Rumore: Ad alto rumore ( $\sigma=1,0$ ), la variante $\ell_p$ ha superato Banach-KAN, suggerendo un compromesso in cui la pura geometria a legge di potenza è più robusta al rumore estremo rispetto all'architettura combinata.

Estrapolazione e Dati Tabulari

Estrapolazione: Su test fuori intervallo (addestramento sul 60% interno dello spazio di input), Banach-KAN e $\ell_p$ -KAN hanno ottenuto i NRMSE più bassi (0,35 e 0,42), superando significativamente le basi locali come le Spline (0,73) e le RBF (0,86).
Dati Tabulari: Sui 12 dataset PMLB, la famiglia a vincolo geometrico ha vinto in 10 casi su 12. Tanh-KAN è stato il modello singolo più forte (5 vittorie), mentre Banach-KAN ha ottenuto 1 vittoria. Spline G=3 ha ottenuto zero vittorie.

Significato e Rivendicazioni

L'articolo posiziona il proprio contributo come un principio di progettazione piuttosto che come un record di prestazioni allo stato dell'arte. L'autore afferma esplicitamente:

Ambito Modesto: Il metodo è progettato per la regressione a bassa o media dimensionalità. Non compete con le architetture profonde (come le ResNet) sul loro terreno nativo (ad esempio, la classificazione di immagini) dove le MLP eguagliano le prestazioni solo con 20–30 $\times$ più parametri.
Lo "Strumento Giusto" per il Regime: La tesi è che, a parità di budget per arco, sotto rumore di misura e nei regimi a piccoli campioni, la geometria indotta (appresa tramite $p$ ) governa il successo dell'apprendimento più della pura espressività.
Interpretabilità: L'esponente $p$ appreso funge da "lettura geometrica" della struttura della funzione target, fornendo un segnale interpretabile sulla regolarità richiesta (netta vs fluida) senza necessità di ottimizzazione manuale.
Limitazioni: L'autore riconosce che la forma per singolo arco ha un tetto di capacità all'aumentare della dimensione dei dati e che la valutazione è attualmente limitata alla regressione simbolica e ai dati tabulari, con la necessità di futuri lavori per modalità ad alta dimensionalità (sequenze, immagini).

In sintesi, l'articolo sostiene che la geometria è la scelta di modellazione primaria nelle KAN. Rendendo la geometria adattiva attraverso un esponente $p$ apprendibile, il modello può allineare il proprio bias induttivo con i dati, risultando in una robustezza e un'approssimazione superiori nei regimi in cui le basi fisse falliscono.