Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

Planteamiento del problema

La monotonicidad es un sesgo inductivo crítico en dominios como los datos tabulares, el modelado científico y la economía, donde se sabe que las salidas responden de forma monótona a entradas específicas (por ejemplo, una mayor deuda implica un mayor riesgo de impago). Aunque existen redes neuronales monótonas (MNN) existentes —que van desde arquitecturas min-max hasta redes de teselas profundas (deep lattice networks) y flujos autoregresivos—, estas dependen típicamente de Perceptrones Multicapa (MLP), teselas o flujos autoregresivos. Estas arquitecturas carecen de transparencia funcional por arista, una ventaja clave de las Redes Kolmogorov–Arnold (KAN), que exponen cómo cada par de coordenadas de entrada-salida contribuye al resultado mediante splines univariantes aprendibles.

El único intento previo de combinar KAN con la monotonicidad, MonoKAN, impone restricciones solo a un subconjunto restringido de parámetros y requiere un procedimiento de entrenamiento de tipo proyección. Además, MonoKAN solo ha sido evaluado en entornos supervisados. Existe un vacío en la literatura para una variante de KAN que:

1. Garantice una monotonicidad estricta (hard monotonicity) para todos los valores de los parámetros.
2. Sea entrenable mediante el descenso de gradiente estándar sin restricciones.
3. Esté respaldada por una garantía de teoría de la representación respecto al costo de imponer la monotonicidad.

Metodología: MKAN

Los autores proponen MKAN (Monotonic Kolmogorov–Arnold Network), una variante de KAN que impone la monotonicidad por construcción a través de tres mecanismos específicos:

1. Reparametrización exponencial de los coeficientes de B-spline: Para asegurar que cada spline $\phi'_{ij}$ sea monótonamente creciente, los autores imponen un orden estricto de los coeficientes de B-spline ($\gamma^{(1)} < \gamma^{(2)} < \dots$). En lugar de aprender directamente coeficientes restringidos, introducen parámetros sin restricciones $\omega$ y definen los coeficientes mediante un mapeo exponencial: $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$. Esto garantiza que la condición de orden se cumpla para todo $\omega \in \mathbb{R}$.
2. Pesos de arista positivos: Los pesos de escala para las salidas de los splines y las conexiones de salto (skip connections) se exponentian ($\exp(w)$) para asegurar que permanezcan estrictamente positivos.
3. Activación base monótona: La conexión de salto utiliza una función de activación monótonamente creciente (ReLU).

La salida de la capa resultante se define como:
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
Debido a que la composición de funciones monótonamente crecientes es monótonamente creciente, la acumulación de estas capas produce un extractor de características globalmente monótono. Crucialmente, esta formulación permite el entrenamiento mediante el descenso de gradiente estándar sin restricciones sin necesidad de pasos de proyección.

Contribuciones clave

1. Monotonicidad estricta y libre de proyecciones en KANs (C1)
MKAN proporciona la primera variante de KAN donde la monotonicidad está garantizada para cada valor de los parámetros. Esto elimina la necesidad de complejos procedimientos de entrenamiento basados en proyecciones o subconjuntos de parámetros restringidos, cerrando la brecha dejada por MonoKAN.

2. Teorema del Costo de Representación para la Monotonicidad (C2)
El artículo presenta un resultado teórico (Teorema 3) que caracteriza el "costo" de imponer la monotonicidad.

• Teorema: Cualquier extractor de características $C^K$ $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ que induzca una partición de vecindad semántica con forma de bola, admite una realización monótona $F': [-1, 1]^N \to \mathbb{R}^{N'}$ que induce la misma partición.
• Límite: La dimensión del extractor monótono es $N' = N^* + k$, donde $k$ es el número de coordenadas no monótonas del extractor original. Dado que $0 \le k \le N^*$, el límite del peor caso es $N' \le 2N^*$.
• Implicación: Esta es una regla de dimensionamiento agnóstica a la arquitectura, lo que sugiere que un codificador monótono necesita, como máximo, el doble de la dimensión de características de uno no monótono para preservar las estructuras de vecindad semántica.

3. Validación empírica (C3)
Los autores validan MKAN en regímenes supervisados y de autoaprendizaje (self-supervised):

• Supervisado: MKAN es competitivo con las redes monótonas de última generación (SMM, LMN) en la suite de benchmarks SMM/ICML-2024 (tareas de clasificación y regresión), ofreciendo además la transparencia funcional por arista de forma única.
• Autoaprendizaje (Self-Supervised):
  • En un conjunto de datos sintético controlado de "generación monótona" (elipses), MKAN recupera los factores reales con una alineación de Spearman sustancialmente mayor que KAN, MLP y las líneas base lineales.
  • En cuatro conjuntos de datos del mundo real (MNIST, Fashion MNIST, Dry Bean, MAGIC), un barrido de tamaño de características valida la predicción de $2N^*$ del Teorema 3, mostrando que MKAN con $2N$ características iguala o supera el rendimiento de KAN con $N$ características.

Resultados

• Aproximación de funciones: En funciones multivariantes monótonas sintéticas, MKAN logra un MSE de la mediana comparable al de la línea base Smooth Min-Max (SMM) y supera significativamente a la KAN vanilla (que sufre de sobreajuste catastrófico a medida que aumenta la dimensionalidad).
• Benchmarks de datos tabulares: En la suite SMM/ICML-2024, MKAN logra un rendimiento superior o cercano al máximo. Por ejemplo, lidera en COMPAS (69.6% frente a SMM 69.5%) y LoanDefaulter (65.49% frente a SMM-mini 65.47%).
• Alineación en autoaprendizaje: En el marco DIP-VAE sobre el conjunto de datos de elipses sintéticas, MKOKAN logra una correlación de Spearman de 83.0 con los factores reales, superando significativamente a KAN (49.4) y MLP (40.1). Aunque los modelos sin restricciones (KAN) logran un menor error de reconstrucción, fallan en recuperar la estructura monótona de los datos.
• Validación del tamaño de características: Los experimentos en conjuntos de datos reales confirman que MKAN con $2N$ características generalmente supera a KAN con $N$ características, y que MKAN con $N$ características suele tener un rendimiento comparable a KAN con $N$ características, validando el límite teórico.

Significancia y Reivindicaciones

El artículo afirma que se debe redefinir la monotonicidad no como una restricción categórica que degrada el rendimiento, sino como un intercambio cuantificable de costo de representación. La principal significancia radica en:

1. Unicidad: MKOK es el único método que combina la monotonicidad estricta y sin restricciones (garantizada para todos los parámetros) con la transparencia funcional por arista de KAN.
2. Fundamentación teórica: Proporciona el primer teorema de costo de representación para la monotonicidad, ofreciendo una guía fundamentada para el dimensionamiento de codificadores monótonos (máximo un aumento de 2x en la dimensión).
3. Utilidad práctica: Al permitir el descenso de gradiente estándar, MKAN hace que las KAN monótonas sean más fáciles de entrenar y desplegar que los enfoques previos basados en proyecciones.

Los autores señalan limitaciones, incluyendo la falta de un rango de rejilla (grid range) adaptativo en MKAN, el hecho de que el Teorema 3 es un resultado de existencia y no una garantía de aprendizaje, y la suposición de vecindades con forma de bola. El trabajo futuro sugerido incluye la monotonicidad parcial mediante máscaras por arista y la extensión de los teoremas a vecindades elipsoidales.