Geometry-Aware R-Structured Kolmogorov-Arnold Networks

Sintesi Tecnica: GRS-KAN (Kolmogorov–Arnold Networks con Struttura R-Aware per la Geometria)

Enunciato del Problema
Sebbene le reti Kolmogorov–Arnold (KAN) abbiano dimostrato un potenziale significativo nel calcolo scientifico, sostituendo le matrici di pesi con funzioni univariante apprendibili, esse rimangono una "scatola nera" nella gestione di vincoli geometrici espliciti. Le KAN standard devono inferire implicitamente strutture geometriche complesse — come regioni ammissibili, condizioni booleane e discontinuità — partendo dai dati di addestramento tramite basi spline lisce. Questa inferenza implicita porta spesso a un'accuratezza subottimale in prossimità dei confini e richiede un elevato numero di parametri per approssimare transizioni nette. Al contrario, le funzioni R (sviluppate da V. L. Rvachev) offrono un quadro analitico rigoroso per rappresentare operazioni logiche e forme geometriche complesse come singole equazioni differenziabili, ma non sono state integrate nelle moderne architetture neurali per l'apprendimento di relazioni funzionali lisce.

Metodologia
Il documento propone la GRS-KAN (Geometry-aware R-Structured Kolmogorov–Arnold Network), un'architettura ibrida che disaccoppia l'apprendimento delle strutture non lineari lisce dall'encoding di vincoli geometrici noti.

1. Integrazione Core: Il framework mantiene il ramo KAN standard, che apprende il comportamento funzionale liscio dai dati utilizzando funzioni di bordo apprendibili (composte da una base SiLU liscia e una correzione B-spline). Contemporaneamente, introduce un ramo a funzioni R che codifica analiticamente regioni geometriche note (ad esempio, rettangoli, cerchi o combinazioni booleane complesse) utilizzando congiunzioni R ($\land$) e disgiunzioni R ($\lor$) differenziabili.
2. Geometria Differenziabile: Le funzioni R mappano le condizioni logiche (ad esempio, "all'interno di un rettangolo") in funzioni a valori reali, dove il segno determina la regione. Queste vengono rese lisce tramite una sigmoide logistica ($\sigma(\kappa R(x)$) per creare gate differenziabili adatti alla backpropagation basata sul gradiente.
3. Varianti Architetturali: Gli autori introducono tre configurazioni specifiche:
   • GRS-KAN Additiva Mirata: Modella funzioni con uno sfondo liscio più un salto localizzato all'interno di una regione nota ($f_{smooth} + c \cdot \text{gate}$).
   • GRS-KAN Moltiplicativa Mirata: Modella funzioni che sono non nulle solo all'interno di un supporto geometrico noto ($f_{smooth} \cdot \text{gate}$).
   • GRS-KAN Agnostica: Un'architettura unificata che combina una KAN di base, un ramo additivo e un ramo moltiplicativo. Utilizza parametri di selezione della struttura apprendibili ($w_{KAN}, w_{add}, w_{mul}$) per determinare automaticamente il meccanismo di interazione dominante (puramente liscio, additivo o moltiplicativo) in base ai dati.

Contributi Chiave

• Framework Teorico: Un metodo per integrare le rappresentazioni analitiche delle funzioni R di vincoli geometrici e logici direttamente nel framework differenziabile delle KAN.
• Costruzioni Analitiche: Espressioni esplicite in forma chiusa per indicatori geometrici (ad esempio, rettangoli), complete di gradienti analitici per la backpropagation.
• Innovazione Architetturale: La proposta di varianti additive, multiplicative e agnostiche che permettono l'encoding geometrico esplicito senza sacrificare la differenziabilità necessaria per l'ottimizzazione.
• Scoperta Automatica della Struttura: Dimostrazione che i pesi dei rami apprendibili possono identificare se un prior geometrico è benefico per un compito specifico, eseguendo efficacemente la selezione della struttura.

Risultati Sperimentali
Sono stati condotti esperimenti numerici su benchmark liscio e problemi discontinui con supporti rettangolari.

• Benchmark Lisci: Sui benchmark standard delle KAN (ad esempio, $f(x,y) = \exp(\sin(\pi x) + y^2)$ e $f(x,y)=xy$), l'implementazione degli autori ha replicato con successo la capacità delle KAN di potare verso strutture sparse e recuperare espressioni simboliche esatte, validando la baseline.
• Benchmark Discontinui/Geometrici:
  • Discontinuità Additiva Rettangolare: La GRS-KAN additiva mirata ha ridotto l'RMSE di test del 67% e l'RMSE della banda di confine del 61% rispetto alle KAN standard. L'encoding geometrico esplicito ha permesso al modello di localizzare la discontinuità in modo netto, laddove le KAN standard producevano transizioni lisce e imprecise.
  • Prodotto Mascherato: Per funzioni definite solo all'interno di un rettangolo, la GRS-KAN moltiplicativa ha ridotto l'RMSE di test del 58% e l'RMSE del confine del 50%.
  • Performance Agnostica: La variante agnostica ha identificato con successo la struttura corretta per compiti specifici (ad esempio, sopprimendo i rami geometrici per $xy$ non vincolato e dando priorità ai pesi moltiplicativi per $xy$ mascherato). Sebbene non abbia sempre superato le varianti mirate specializzate, ha raggiunto un'accuratezza competitiva senza richiedere la conoscenza a priori della forma funzionale.

Significatività e Rivendicazioni
Il documento afferma che la GRS-KAN rappresenta una direzione distinta rispetto alle varianti KAN esistenti, che si concentrano principalmente sulla modifica dei meccanismi di approssimazione (ad esempio, funzioni di base o attenzione). Inveve, la GRS-KAN incorpora la geometria analitica esplicita direttamente nell'architettura della rete.

La principale significatività risiede nella capacità di:

1. Migliorare l'Accuratezza: L'encoding esplicito di vincoli geometrici noti migliora significativamente l'accuratezza predittiva e la localizzazione dei confini in problemi con discontinuità o domini ristretti.
2. Potenziare l'Interpretabilità: Il modello fornisce una rappresentazione analitica esplicita della struttura geometrica appresa, andando oltre le approssimazioni black-box per rivelare come la geometria interagisce con lo sfondo liscio.
3. Automatizzare la Selezione dei Prior: La variante agnostica dimostra che le reti neurali possono determinare automaticamente se i prior geometrici sono necessari, offrendo una soluzione robusta per problemi scientifici in cui il ruolo funzionale dei vincoli geometrici è sconosciuto.

Gli autori osservano che, sebbene gli esperimenti utilizzino rettangoli e cerchi semplici, il framework è teoricamente applicabile ad arbitrarie regioni implicite, inclusi domini non convessi e combinazioni booleane di vincoli, aprendo la strada ad applicazioni negli spazi di progettazione ingegneristica e nel controllo dei processi.