Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

Problema

La monotonicità è un bias induttivo critico in domini come i dati tabulari, la modellazione scientifica e l'economia, dove si sa che gli output rispondono monotonicamente a specifici input (ad esempio, un debito più elevato implica un rischio di insolvenza maggiore). Sebbene esistano reti neurali monotone (MNN) esistenti — che spaziano da architetture min-max a deep lattice networks e flussi autoregressivi — esse si basano tipicamente su Multi-Layer Perceptrons (MLP), lattice o flussi autoregressivi. Queste architetture mancano della trasparenza funzionale per singolo arco (per-edge functional transparency), un vantaggio chiave delle Kolmogorov–Arnold Networks (KAN), che espongono come ogni coppia coordinata input-output contribuisca all'output tramite spline univariate apprendibili.

Il precedente tentativo di combinare le KAN con la monotonicità, MonoKAN, impone vincoli solo su un sottoinsieme ristretto di parametri e richiede una procedura di addestramento di tipo proiezione. Inoltre, MonoKAN è stato valutato solo in contesti supervisionati. Esiste una lacuna nella letteratura per una variante KAN che:

1. Garantisca una monotonicità rigida (hard monotonicity) per tutti i valori dei parametri.
2. Sia addestrabile tramite il normale gradiente discendente non vincolato.
3. Sia supportata da una garanzia di teoria della rappresentazione riguardante il costo dell'imposizione della monotonicità.

Metodologia: MKAN

Gli autori propongono MKAN (Monotonic Kolmogorov–Arnold Network), una variante KAN che impone la monotonicità per costruzione attraverso tre meccanismi specifici:

1. Riparametrizzazione Esponenziale dei Coefficienti B-spline: Per garantire che ogni spline $\phi'_{ij}$ sia monotonicamente crescente, gli autori impongono un ordine rigoroso dei coefficienti B-spline ($\gamma^{(1)} < \gamma^{(2)} < \dots$). Invece di apprendere direttamente coefficienti vincolati, introducono parametri non vincolati $\omega$ e definiscono i coefficienti tramite una mappata esponenziale: $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$. Ciò garantisce che la condizione di ordinamento sia soddisfatta per ogni $\omega \in \mathbb{R}$.
2. Pesi degli Archi Positivi: I pesi di scala per gli output delle spline e le connessioni skip vengono esponenziati ($\exp(w)$) per garantire che rimangano strettamente positivi.
3. Attivazione Base Monotona: La connessione skip utilizza una funzione di attivazione monotonicamente crescente (ReLU).

L'output dello strato risultante è definito come:
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
Poiché la composizione di funzioni monotonicamente crescenti è monotonicamente crescente, l'impilamento di questi strati produce un estrattore di caratteristiche globalmente monotone. Fondamentalmente, questa formulazione permette l'addestramento tramite standard gradiente discendente non vincolato senza passaggi di proiezione.

Contributi Chiave

1. Monotonicità Rigida e Senza Proiezione nelle KAN (C1)
MKAN fornisce la prima variante KAN in cui la monotonicità è garantita per ogni valore dei parametri. Ciò elimina la necessità di complessi addestramenti basati su proiezioni o sottoinsiemi di parametri ristretti, colmando la lacuna lasciata da MonoKAN.

2. Teorema del Costo di Rappresentazione per la Monotonicità (C2)
Il documento presenta un risultato teorico (Teorema 3) che caratterizza il "costo" dell'imposizione della monotonicità.

• Teorema: Qualsiasi estrattore di caratteristiche $C^K$ $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ che induce una partizione di vicinato semantico a forma di sfera ammette una realizzazione monotona $F': [-1, 1]^N \to \mathbb{R}^{N'}$ che induce la stessa partizione.
• Limite (Bound): La dimensione dell'estrattore monotono è $N' = N^* + k$, dove $k$ è il numero di coordinate non monotone dell'estrattore originale. Poiché $0 \le k \le N^*$, il limite nel caso peggiore è $N' \le 2N^*$.
• Implicazione: Questo è un rule di dimensionamento indipendente dall'architettura, suggerendo che un encoder monotono ha bisogno al massimo del doppio delle dimensioni delle caratteristiche di uno non monotone per preservare le strutture di vicinato semantico.

3. Validazione Empirica (C3)
Gli autori validano MKAN attraverso regimi supervisionati e auto-supervisionati:

• Supervisionato: MKAN è competitivo con le reti monotone allo stato dell'arte (SMM, LMN) sulla suite di benchmark SMM/ICML-2024 (compiti di classificazione e regressione) offrendo unicamente la trasparenza funzionale per singolo arco.
• Auto-supervisionato:
  • Su un dataset sintetico controllato "monotone-generativo" (ellissi), MKAN recupera i fattori reali con un allineamento di Spearman sostanzialmente superiore rispetto a KAN, MLP e baselines lineari.
  • Su quattro dataset del mondo reale (MNIST, Fashion MNIST, Dry Bean, MAGIC), uno sweep della dimensione delle caratteristiche valida la previsione $2N^*$ del Teorema 3, mostrando che MKAN con $2N$ caratteristiche eguaglia o supera le prestazioni di KAN con $N$ caratteristiche.

Risultati

• Approssimazione di Funzioni: Su funzioni multivariate monotone sintetiche, MKAN raggiunge un MSE mediano comparabile alla baseline Smooth Min-Max (SMM) e supera significativamente la vanilla KAN (che soffre di overfitting catastrofico all'aumentare della dimensionalità).
• Benchmark Tabulari: Sulla suite SMM/ICML-2024, MKAN raggiunge prestazioni top o quasi top. Ad esempio, guida su COMPAS (69.6% contro SMM 69.5%) e LoanDefaulter (65.49% contro SMM-mini 65.47%).
• Allineamento Auto-supervisionato: Nel framework DIP-VAE sul dataset di ellissi sintetico, MKAN raggiunge una correlazione di Spearman di 83.0 con i fattori reali, superando significativamente KAN (49.4) e MLP (40.1). Sebbene i modelli non vincolati (KAN) ottengano un errore di ricostruzione inferiore, falliscono nel recuperare la struttura monotona dei dati.
• Validazione della Dimensione delle Caratteristiche: Gli esperimenti su dataset reali confermano che MKAN con $2N$ caratteristiche generalmente supera KAN con $N$ caratteristiche, e MKAN con $N$ caratteristiche spesso performa in modo comparabile a KAN con $N$ caratteristiche, validando il limite teorico.

Significatività e Rivendicazioni

Il documento sostiene che la monotonicità venga ridefinita non come una restrizione categorica che degrada le prestazioni, ma come un trade-off quantificabile del costo di rappresentazione. La principale significatività risiede nel fatto che:

1. Unicità: MKAN è l'unico metodo che combina la monotonicità rigida e non vincolata (garantita per tutti i parametri) con la trasparenza funzionale per singolo arco tipica delle KAN.
2. Fondamento Teorico: Fornisce il primo teorema del costo di rappresentazione per la monotonicità, offrendo una linea guida fondata per dimensionare gli encoder monotoni (al massimo un incremento di 2x nelle dimensioni).
3. Utilità Pratica: Abilitando il normale gradiente discendente, MKAN rende le KAN monotone più facili da addestrare e implementare rispetto ai precedenti approcci basati su proiezioni.

Gli autori segnalano alcune limitazioni, tra cui la mancanza di un intervallo di griglia adattivo in MKAN, il fatto che il Teorema 3 sia un risultato di esistenza piuttosto che una garanzia di apprendimento, e l'assunzione di vicinati a forma di sfera. Il lavoro futuro suggerito include la monotonicità parziale tramite maschere per singolo arco e l'estensione dei teoremi ai vicinati ellissoidali.