Hierarchical RBF-KAN and RBF-SKAN Architectures for Multidimensional Function Approximation and Random Field Learning

Riepilogo Tecnico: Architetture Hierarchical RBF-KAN e RBF-SKAN

Definizione del Problema
Il paper affronta le sfide dell'approssimazione di funzioni deterministiche ad alta dimensionalità e dell'apprendimento di modelli di campi casuali. Sebbene le Reti Neurali a Funzione di Base Radiale (RBFNN) abbiano fondamenti teorici consolidati per l'approssimazione universale e offrano proprietà di ottimizzazione favorevoli, le attuali architetture RBF multistrato spesso faticano a gestire la "maledizione della dimensionalità" in contesti multivariati complessi. Inoltre, le recenti architetture Kolmogorov–Arnold Network (KAN), che mirano a replicare il teorema di rappresentazione di Kolmogorov–Arnold, si sono concentrate principalmente su attivazioni basate su spline o strutture di strato uniformi. Gli autori identificano una lacuna nell'analisi rigorosa di come architetture basate su RBF gerarchiche e non uniformi possano apprendere efficacemente funzioni ad alta dimensionalità e campi stocastici, in particolare riguardo alla loro capacità di mitigare i problemi di dimensionalità e approssimare campi casuali sotto metriche Wasserstein.

Metodologia
Gli autori propongono due nuove architetture:

1. Hierarchical RBF-KAN: Progettata per l'approssimazione di funzioni deterministiche multidimensionali. A differenza delle RBFNN standard o dei precedenti modelli RBF-KAN che utilizzano strati completamente connessi con conteggi di neuroni uniformi, questa architettura impiega una struttura a "blocco gerarchico". Ogni blocco consiste di due distinti strati di attivazione in cui il numero di neuroni nel primo strato post-attivazione è $(2d+1)$ volte quello del secondo, imitando esplicitamente la struttura del teorema di rappresentazione di Kolmogorov–Arnold. La funzione di attivazione è un nucleo Gaussiano $B(x) = \exp(-x^2)$. Il framework supporta sia la propagazione feedforward standard che le connessioni skip in stile ResNet.
2. Hierarchical RBF-SKAN: Un'estensione stocastica della RBF-KAN progettata per l'apprendimento di campi casuali. Questa architettura integra due moduli RBF-KAN. Il primo modulo elabora gli input, mentre il secondo modulo introduce la casualità campionando i pesi ($w_{i,j}$) e i parametri di scala RBF da distribuzioni indipendenti. Ciò consente alla rete di produrre una distribuzione piuttosto che un singolo valore deterministico, consentendo l'apprendimento di modelli di campi casuali.

Contributi Teorici
Il paper stabilisce teoremi di approssimazione universale rigorosi per entrambe le architetture:

• Approssimazione Deterministica: Gli autori dimostrano che la RBF-KAN gerarchica può approssimare qualsiasi funzione multivariata continua con precisione arbitraria. Fondamentalmente, derivano limiti di errore quantitativi mostrando che, sotto specifiche condizioni di regolarità, il tasso di convergenza non si deteriora esplicitamente all'aumentare della dimensione dell'input $d$. Ciò suggerisce che l'architettura può parzialmente alleviare la maledizione della dimensionalità riducendo la dimensionalità effettiva del problema di approssimazione.
• Approssimazione Stocastica: Per la RBF-SKAN gerarchica, gli autori dimostrano un risultato di approssimazione universale asintotica sotto la metrica quadratica di Wasserstein-2 ($W_2$). Dimostrano che il framework può approssimare modelli di campi casuali a condizione che le misure di probabilità sottostanti soddisfino condizioni di continuità Lipschitz uniforme rispetto allo spazio di input.

Risultati Sperimentali
Gli autori validano i loro metodi attraverso tre esperimenti numerici primari:

1. Approssimazione di Funzioni Multidimensionali: La RBF-KAN gerarchica è stata testata su una funzione altamente oscillante (Eq. 23) con dimensioni di input da 1 a 6. I risultati indicano che, mentre le RBF-MLP standard e le RBF-KAN naive falliscono nel mantenere l'accuratezza all'aumentare della dimensionalità, la proposta RBF-KAN gerarchica mantiene un'alta accuratezza. L'incorporazione delle tecniche ResNet si è rivelata essenziale per la stabilità dell'addestramento e l'accuratezza in configurazioni a più blocchi.
2. Ricostruzione di Sistemi Dinamici Caotici: L'architettura è stata applicata per ricostruire il sistema di Lorenz. La RBF-KAN gerarchica (con due blocchi e ResNet) ha ottenuto gli errori relativi più bassi sia nelle traiettorie predette che nella dinamica appresa rispetto a varie varianti di MLP e KAN.
3. Apprendimento di Campi Casuali: La RBF-SKAN gerarchica è stata confrontata con i Conditional Normalizing Flows (CNF) e i Conditional Variational Autoencoders (CVAE) per la ricostruzione di un campo casuale multivariato. Il metodo proposto ha dimostrato prestazioni superiori nella predizione della deviazione standard del campo casuale, in particolare in dimensioni più elevate, mentre gli approcci CVAE e CNF hanno mostrato errori significativi nel catturare la stocasticità.

Significatività e Rivendicazioni
Il paper sostiene che il design gerarchico proposto è essenziale per riprodurre fedelmente la struttura di rappresentazione di Kolmogorov–Arnold, che è critica per l'apprendimento di funzioni multivariate. Le rivendicazioni chiave includono:

• La RBF-KAN gerarchica offre un percorso teorico per alleviare parzialmente la maledizione della dimensionalità nell'approssimazione di funzioni, una proprietà non esplicitamente garantita nelle esistenti architetture RBF multistrato o nelle standard KAN.
• La RBF-SKAN gerarchica fornisce un framework robusto per la quantificazione dell'incertezza nell'apprendimento di campi casuali, superando gli approcci di machine learning prevalenti come CNF e CVAE nel catturare le proprietà distributive (specificamente la deviazione standard).
• L'integrazione delle tecniche ResNet nelle RBF-KAN gerarchiche multi-blocco migliora significativamente l'accuratezza dell'approssimazione e la stabilità dell'addestramento.

Gli autori concludono che, sebbene i metodi proposti comportino costi computazionali più elevati rispetto alle MLP standard (a causa della struttura gerarchica e della valutazione della perdita $W_2$), essi offrono una precisione e un'espressività superiori per compiti di apprendimento stocastico e ad alta dimensionalità. Il lavoro futuro suggerisce di esplorare strutture a blocchi più profonde, l'integrazione in architetture transformer e l'estensione ai compiti di classificazione.