Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

Énoncé du problème

La monotonicité est un biais inductif critique dans des domaines tels que les données tabulaires, la modélisation scientifique et l'économie, où les sorties répondent de manière monotone à des entrées spécifiques (par exemple, une dette plus élevée implique un risque de défaut plus élevé). Bien qu'il existe des réseaux de neurones monotones (MNN) existants — allant des architectures min-max aux réseaux de treillis profonds et aux flux autoregressifs — ceux-ci reposent généralement sur des perceptrons multicouches (MLP), des treillis ou des flux autoregressifs. Ces architectures manquent de transparence fonctionnelle par arête, un avantage clé des réseaux Kolmogorov–Arnold (KAN), qui exposent comment chaque paire coordonnée entrée-sortie contribue à la sortie via des splines univariées apprenables.

La seule tentative antérieure de combiner les KAN avec la monotonicité, MonoKAN, impose des contraintes uniquement sur un sous-ensemble restreint de paramètres et nécessite une procédure d'entraînement de type projection. De plus, MonoKAN n'a été évalué que dans des contextes supervisés. Il existe une lacune dans la littérature pour une variante de KAN qui :

1. Garantit une monotonicité stricte (hard monotonicity) pour toutes les valeurs de paramètres.
2. Est entraînable via une descente de gradient standard non contrainte.
3. Est soutenue par une garantie de théorie de la représentation concernant le coût de l'imposition de la monotonicité.

Méthodologie : MKAN

Les auteurs proposent MKAN (Monotonic Kolmogorov–Arnold Network), une variante de KAN qui impose la monotonicité par construction à travers trois mécanismes spécifiques :

1. Reparamétrage exponentiel des coefficients de B-spline : Pour garantir que chaque spline $\phi'_{ij}$ est monotone croissante, les auteurs imposent un ordre strict des coefficients de B-spline ($\gamma^{(1)} < \gamma^{(2)} < \dots$). Au lieu d'apprendre directement des coefficients contraints, ils introduisent des paramètres non contraints $\omega$ et définissent les coefficients via une application exponentielle : $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$. Cela garantit que la condition d'ordre est satisfaite pour tout $\omega \in \mathbb{R}$.
2. Poids d'arêtes positifs : Les poids d'échelle pour les sorties de spline et les connexions de saut sont exponentiés ($\exp(w)$) pour garantir qu'ils restent strictement positifs.
3. Activation de base monotone : La connexion de saut utilise une fonction d'activation monotone croissante (ReLU).

La sortie de la couche résultante est définie par :
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
Parce que la composition de fonctions monotone croissantes est monotone croissante, l'empilement de ces couches produit un extracteur de caractéristiques globalement monotone. Crucialement, cette formulation permet un entraînement via une descente de gradient standard non contrainte sans étapes de projection.

Contributions clés

1. Monotonicité stricte et sans projection dans les KAN (C1)
MKAN fournit la première variante de KAN où la monotonicité est garantie pour chaque valeur de paramètre. Cela élimine le besoin de procédures d'entraînement complexes basées sur la projection ou de sous-ensembles de paramètres restreints, comblant ainsi la lacune laissée par MonoKAN.

2. Théorème du coût de représentation pour la monotonicité (C2)
L'article présente un résultat théorique (Théorème 3) caractérisant le « coût » de l'imposition de la monotonicité.

• Théorème : Tout extracteur de caractéristiques $C^K$ $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ qui induit une partition de voisinage sémantique de forme sphérique admet une réalisation monotone $F': [-1, 1]^N \to \mathbb{R}^{N'}$ qui induit la même partition.
• Borne : La dimension de l'extracteur monotone est $N' = N^* + k$, où $k$ est le nombre de coordonnées non monotones de l'extracteur original. Puisque $0 \le k \le N^*$, la borne du pire cas est $N' \le 2N^*$.
• Implication : Il s'agit d'une règle de dimensionnement agnostique à l'architecture, suggérant qu'un encodeur monotone a besoin d'au plus deux fois la dimension des caractéristiques d'un encodeur non monotone pour préserver les structures de voisinage sémantique.

3. Validation empirique (C3)
Les auteurs valident MKAN à travers des régimes supervisés et auto-supervisés :

• Supervisé : MK한 est compétitif avec les réseaux monotones de pointe (SMM, LMN) sur la suite de benchmarks SMM/ICML-2024 (tâches de classification et de régression) tout en offrant une transparence fonctionnelle par arête unique.
• Auto-supervisé :
  • Sur un ensemble de données synthétiques contrôlées de type « monotone-génératif » (ellipses), MKAN récupère les facteurs de vérité terrain avec un alignement de Spearman nettement supérieur à KAN, MLP et les bases linéaires.
  • Sur quatre ensembles de données réels (MNIST, Fashion MNIST, Dry Bean, MAGIC), un balayage de la taille des caractéristiques valide la prédiction $2N^*$ du Théorème 3, montrant que MKAN avec $2N$ caractéristiques égale ou dépasse les performances de KAN avec $N$ caractéristiques.

Résultats

• Approximation de fonction : Sur des fonctions multivariées monotones synthétiques, MKAN atteint une MSE médiane comparable à la base Smooth Min-Max (SMM) et surpasse significativement le KAN vanilla (qui souffre d'un surapprentissage catastrophique à mesure que la dimensionnalité augmente).
• Benchmarks tabulaires : Sur la suite SMM/ICML-2024, MK한 atteint des performances de premier plan ou proches du sommet. Par exemple, il mène sur COMPAS (69,6 % contre 69,5 % pour SMM) et LoanDefaulter (65,49 % contre 65,47 % pour SMM-mini).
• Alignement auto-supervisé : Dans le cadre DIP-VAE sur l'ensemble de données d'ellipses synthétiques, MKAN atteint une corrélation de Spearman de 83,0 avec les facteurs de vérité terrain, surpassant largement KAN (49,4) et MLP (40,1). Bien que les modèles non contraints (KAN) obtiennent une erreur de reconstruction plus faible, ils échouent à récupérer la structure monotone des données.
• Validation de la taille des caractéristiques : Les expériences sur des ensembles de données réels confirment que MKAN avec $2N$ caractéristiques surpasse généralement KAN avec $N$ caractéristiques, et que MKAN avec $N$ caractéristiques est souvent comparable à KAN avec $N$ caractéristiques, validant la borne théorique.

Signification et affirmations

L'article affirme que la monotonicité ne doit pas être perçue comme une restriction catégorique qui dégrade les performances, mais comme un compromis de coût de représentation quantifiable. La principale signification réside dans :

1. Unicité : MKAN est la seule méthode qui combine une monotonicité stricte et non contrainte (garantie pour tous les paramètres) avec la transparence fonctionnelle par arête de KAN.
2. Fondement théorique : Il fournit le premier théorème de coût de représentation pour la monotonicité, offrant une directive fondée sur la taille des encodeurs monotones (au plus un doublement de la dimension).
3. Utilité pratique : En permettant une descente de gradient standard, MKAN rend les KAN monotones plus faciles à entraîner et à déployer que les approches précédentes basées sur la projection.

Les auteurs notent des limites, notamment l'absence de plage de grille adaptative dans MKAN, le fait que le Théorème 3 est un résultat d'existence plutôt qu'une garantie d'apprentissage, et l'hypothèse de voisinages de forme sphérique. Les travaux futurs suggérés incluent la monotonicité partielle via des masques par arête et l'extension des théorèmes aux voisinages ellipsoïdaux.