Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

Probleemstelling

Monotoniciteit is een cruciale inductieve bias in domeinen zoals tabulaire data, wetenschappelijke modellering en economie, waar outputs bekend staan als monotoon reagerend op specifieke inputs (bijv. hogere schulden impliceren een hoger risico op wanbetaling). Hoewel er bestaande monotone neurale netwerken (MNN's) zijn—variërend van min-max architecturen tot diepe lattice-netwerken en normalizing flows—leunen deze typisch op Multi-Layer Perceptrons (MLP's), lattices of autoregressieve flows. Deze architecturen missen per-edge functionele transparantie, een belangrijk voordeel van Kolmogorov–Arnold-netwerken (KAN's), die blootleggen hoe elk input–output coördinaatpaar bijdraagt aan de output via leerbare univariate splines.

De enige eerdere poging om KAN's te combineren met monotoniciteit, MonoKAN, dwingt beperkingen alleen af op een beperkte subset van parameters en vereist een projectie-achtige trainingsprocedure. Bovendien is MonoKAN alleen geëvalueerd in gesuperviseerde settings. Er is een gat in de literatuur voor een KAN-variant die:

1. Hard monotoniciteit garandeert voor alle parameterwaarden.
2. Trainbaar is via standaard ongeconstreerde gradiëntafdaling.
3. Wordt ondersteund door een representatie-theoretische garantie met betrekking tot de kosten van het opleggen van monotoniciteit.

Methodologie: MKAN

De auteurs stellen MKAN (Monotonic Kolmogorov–Arnold Network) voor, een KAN-variant die monotoniciteit afdwingt door constructie via drie specifieke mechanismen:

1. Exponentiële herparametrisatie van B-spline coëfficiënten: Om te garanderen dat elke spline $\phi'_{ij}$ monotoon stijgend is, dwingen de auteurs een strikte ordening van B-spline coëfficiënten af ($\gamma^{(1)} < \gamma^{(2)} < \dots$). In plaats van direct beperkte coëfficiënten te leren, introduceren ze ongeconstreerde parameters $\omega$ en definiëren ze de coëfficiënten via een exponentiële mapping: $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$. Dit garandeert dat de ordeningsconditie wordt voldaan voor alle $\omega \in \mathbb{R}$.
2. Positieve edge weights: De schaleringsgewichten voor de spline-outputs en de skip-verbindingen worden geëxponentieerd ($\exp(w)$) om te garanderen dat ze strikt positief blijven.
3. Monotone base activatie: De skip-verbinding gebruikt een monotoon stijgende activatiefunctie (ReLU).

De resulterende laag-output wordt gedefinieerd als:
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
Omdat de compositie van monotoon stijgende functies monotoon stijgend is, levert het stapelen van deze lagen een globaal monotone feature extractor op. Cruciaal is dat deze formulering toelaat om te trainen via standaard ongeconstreerde gradiëntafdaling zonder projectiestappen.

Belangrijkste Bijdragen

1. Harde, projectievrije monotoniciteit in KAN's (C1)
MKAN biedt de eerste KAN-variant waarbij monotoniciteit gegarandeerd is voor elke parameterwaarde. Dit elimineert de noodzaak van complexe projectie-gebaseerde training of beperkte parametersubsets, waardoor het gat dat MonoKAN liet liggen, wordt gedicht.

2. Representatie-kostenstelling voor monotoniciteit (C2)
Het artikel presenteert een theoretisch resultaat (Theorem 3) dat de "kosten" karakteriseert van het afdwingen van monotoniciteit.

• Theorem: Elke $C^K$ feature extractor $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ die een bolvormige semantische-nabijheidspartitie induceert, staat een monotone realisatie $F': [-1, 1]^N \to \mathbb{R}^{N'}$ toe die dezelfde partitie induceert.
• Bound: De dimensie van de monotone extractor is $N' = N^* + k$, waarbij $k$ het aantal niet-monotone coördinaten is in de oorspronkelijke extractor. Aangezien $0 \le k \le N^*$, is de worst-case bound $N' \le 2N^*$.
• Implicatie: Dit is een architectuur-agnostische groteringsregel, wat suggereert dat een monotone encoder maximaal twee keer de feature-dimensie nodig heeft van een niet-monotone om de semantische nabijheidsstructuren te behouden.

3. Empirische Validatie (C3)
De auteurs valideren MKAN over gesuperviseerde en zelf-gesuperviseerde regimes:

• Gesuperviseerd: MKAN is competitief met state-of-the-art monotone netwerken (SMM, LMN) op de SMM/ICML-2024 benchmark suite (classificatie- en regressietaken), terwijl het uniek per-edge functionele transparantie biedt.
• Zelf-gesuperviseerd:
  • Op een gecontroleerde synthetische "monotone-generatieve" dataset (ellipsen) herstelt MKAN de grondwaarheid factoren met een substantieel hogere Spearman-alignment dan KAN, MLP en lineaire baselines.
  • Op vier real-world datasets (MNIST, Fashion MNIST, Dry Bean, MAGIC) valideert een feature-size sweep de $2N^*$ voorspelling van Theorem 3, waarbij MKAN met $2N$ features de prestaties evenaart of overtreft van KAN met $N$ features.

Resultaten

• Functiebenadering: Op synthetische monotone multivariate functies bereikt MKAN een Median MSE die vergelijkbaar is met de Smooth Min-Max (SMM) baseline, en presteert het significant beter dan vanilla KAN (dat lijdt onder catastrofale overfitting naarmate de dimensionaliteit toeneemt).
• Tabulaire Benchmarks: Op de SMM/ICML-2024 suite behaalt MKAN top of bijna-top prestaties. Bijvoorbeeld, het leidt op COMPAS (69,6% vs SMM 69,5%) en LoanDefaulter (65,49% vs SMM-mini 65,47%).
• Zelf-gesuperviseerde Alignment: In het DIP-VAE framework op de synthetische ellips-dataset bereikt MKAN een Spearman correlatie van 83,0 met de grondwaarheid factoren, wat de KAN (49,4) en MLP (40,1) aanzienlijk overtreft. Hoewel ongeconstreerde modellen (KAN) een lagere reconstructiefout bereiken, falen ze in het herstellen van de monotone structuur van de data.
• Feature Size Validatie: Experimenten op echte datasets bevestigen dat MKAN met $2N$ features over het algemeen beter presteert dan KAN met $N$ features, en dat MKAN met $N$ features vaak vergelijkbaar presteert met KAN met $N$ features, wat de theoretische bound valideert.

Betekenis en Claims

Het artikel claimt dat monotoniciteit niet moet worden hergeformuleerd als een categorische restrictie die prestaties verslechtert, maar als een kwantificeerbare representatie-kosten-trade-off. De primaire betekenis ligt in:

1. Uniciteit: MKAN is de enige methode die harde, ongeconstreerde monotoniciteit (gegarandeerd voor alle parameters) combineert met de per-edge functionele transparantie van KAN.
2. Theoretische Onderbouwing: Het biedt de eerste representatie-kostenstelling voor monotoniciteit, wat een fundamentele richtlijn biedt voor het bepalen van de grootte van monotone encoders (maximaal een 2x toename in dimensie).
3. Praktisch Nut: Door standaard gradiëntafdaling mogelijk te maken, maakt MKAN monotone KAN's gemakkelijker trainbaar en inzetbaar dan eerdere projectie-gebaseerde benaderingen.

De auteurs vermelden beperkingen, waaronder het gebrek aan een adaptieve grid range in MKAN, het feit dat Theorem 3 een existentie-resultaat is en geen leergarantie, en de aanname van bolvormige nabijheden. Voorgesteld toekomstig werk omvat partiële monotoniciteit via per-edge masks en het uitbreiden van theorems naar ellipsoïdale nabijheden.