Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

Enunciado do Problema

A monotonicidade é um viés indutivo crítico em domínios como dados tabulares, modelagem científica e economia, onde se sabe que os outputs respondem monotonicamente a entradas específicas (ex: uma dívida maior implica um risco de inadimplência maior). Embora existam redes neurais monotônicas (MNNs) existentes — variando de arquiteturas min-max a redes de lattice profundas e fluxos autorregressivos — elas tipicamente dependem de Perceptrons de Camada Multicamadas (MLPs), lattices ou fluxos autorregressivos. Essas arquiteturas carecem de transparência funcional por aresta, uma vantagem fundamental das Redes Kolmogorov–Arnold (KANs), que expõem como cada par de coordenadas entrada-saída contribui para o output via splines univariadas aprendíveis.

A única tentativa anterior de combinar KANs com monotonicidade, a MonoKAN, impõe restrições apenas a um subconjunto restrito de parâmetros e requer um procedimento de treinamento do tipo projeção. Além disso, a MonoKAN foi avaliada apenas em configurações supervisionadas. Existe uma lacuna na literatura para uma variante de KAN que:

1. Garanta monotonicidade rígida (hard monotonicity) para todos os valores de parâmetros.
2. Seja treinável via gradiente descendente padrão não restrito.
3. Seja suportada por uma garantia de teoria da representação referente ao custo de impor a monotonicidade.

Metodologia: MKAN

Os autores propõem a MKAK (Rede Kolmogorov–Arnold Monotônica), uma variante de KAN que impõe a monotonicidade por construção através de três mecanismos específicos:

1. Reparametrização Exponencial de Coeficientes de B-spline: Para garantir que cada $\phi'_{ij}$ seja monotonicamente crescente, os autores impõem uma ordenação estrita dos coeficientes de B-spline ($\gamma^{(1)} < \gamma^{(2)} < \dots$). Em vez de aprender coeficientes restritos diretamente, eles introduzem parâmetros não restritos $\omega$ e definem os coeficientes via um mapeamento exponencial: $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$. Isso garante que a condição de ordenação seja satisfeita para todo $\omega \in \mathbb{R}$.
2. Pesos de Aresta Positivos: Os pesos de escala para as saídas das splines e para as conexões de salto (skip connections) são exponencializados ($\exp(w)$) para garantir que permaneçam estritamente positivos.
3. Ativação de Base Monotônica: A conexão de salto utiliza uma função de ativação monotonicamente crescente (ReLU).

O output da camada resultante é definido como:
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
Como a composição de funções monotonicamente crescentes é monotonicamente crescente, o empilhamento dessas camadas produz um extrator de características globalmente monótono. Crucialmente, esta formulação permite o treinamento via gradiente descendente padrão não restrito sem etapas de projeção.

Principais Contribuições

1. Monotonicidade Rígida e Livre de Projeção em KANs (C1)
A MKAK fornece a primeira variante de KAN onde a monotonicidade é garantida para cada valor de parâmetro. Isso elimina a necessidade de treinamentos complexos baseados em projeção ou subconjuntos de parâmetros restritos, fechando a lacuna deixada pela MonoKAN.

2. Teorema de Custo de Representação para Monotonicidade (C2)
O artigo apresenta um resultado teórico (Teorema 3) caracterizando o "custo" de impor a monotonicidade.

• Teorema: Qualquer extrator de características $C^K$ $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ que induza uma partição de vizinhança semântica em forma de bola admite uma realização monótona $F': [-1, 1]^N \to \mathbb{R}^{N'}$ que induz a mesma partição.
• Limite: A dimensão do extrator monótono é $N' = N^* + k$, onde $k$ é o número de coordenadas não monótonas do extrator original. Como $0 \le k \le N^*$, o limite de pior caso é $N' \le 2N^*$.
• Implicação: Este é uma regra de dimensionamento agnóstica à arquitetura, sugerindo que um codificador monótono precisa de, no máximo, o dobro da dimensão de características de um não monótono para preservar estruturas de vizinhança semântica.

3. Validação Empírica (C3)
Os autores validam a MKAK em regimes supervisionados e autossupervisionados:

• Supervisionado: A MKAK é competitiva com redes monotônicas de estado da arte (SMM, LMN) no conjunto de benchmarks SMM/ICML-2024 (tarefas de classificação e regressão), oferecendo unicamente a transparência funcional por aresta.
• Autossupervisionado:
  • Em um conjunto de dados sintético controlado de "geração monótona" (elipses), a MKAK recupera fatores de verdade fundamental com alinhamento de Spearman substancialmente superior aos modelos KAN, MLP e baselines lineares.
  • Em quatro conjuntos de dados do mundo real (MNIST, Fashion MNIST, Dry Bean, MAGIC), um varrimento de tamanho de característica valida a previsão de $2N^*$ do Teorema 3, mostrando que a MKAK com $2N$ características iguala ou supera o desempenho de uma KAN com $N$ características.

Resultos

• Aproximação de Função: Em funções multivariadas monotônicas sintéticas, a MKAK alcança um MSE Mediano comparável ao baseline Smooth Min-Max (SMM) e supera significativamente a KAN vanilla (que sofre de overfitting catastrófico conforme a dimensionalidade aumenta).
• Benchmarks Tabulares: No conjunto SMM/ICML-2024, a MKAK atinge desempenho de topo ou próximo do topo. Por exemplo, lidera no COMPAS (69,6% vs SMM 69,5%) e no LoanDefaulter (65,49% vs SMM-mini 65,47%).
• Alinhamento Autossupervisionado: No framework DIP-VAE no conjunto de dados de elipse sintética, a MKAK alcança uma correlação de Spearman de 83,0 com os fatores reais, superando significativamente KAN (49,4) e MLP (40,1). Embora modelos não restritos (KAN) alcancem menor erro de reconstrução, eles falham em recuperar a estrutura monótona dos dados.
• Validação de Tamanho de Característica: Experimentos em dados reais confirmam que a MKAK com $2N$ características geralmente supera a KAN com $N$ características, e a MKAK com $N$ características frequentemente performa de forma comparável à KAN com $N$ características, validando o limite teórico.

Significância e Alegações

O artigo afirma redefinir a monotonicidade não como uma restrição categórica que degrada o desempenho, mas como um trade-off quantificável de custo de representação. A principal significância reside em:

1. Unicidade: A MKAK é o único método que combina monotonicidade rígida e não restrita (garantida para todos os parâmetros) com a transparência funcional por aresta da KAN.
2. Fundamentação Teórica: Fornece o primeiro teorema de custo de representação para monotonicidade, oferecendo uma diretriz fundamentada para o dimensionamento de codificadores monotônicos (no máximo um aumento de 2x na dimensão).
3. Utilidade Prática: Ao permitir o gradiente descendente padrão, a MKAK torna as KANs monotônicas mais fáceis de treinar e implantar do que as abordagens anteriores baseadas em projeção.

Os autores observam limitações, incluindo a falta de um intervalo de grade adaptativo na MKAK, o fato de o Teorema 3 ser um resultado de existência e não uma garantia de aprendizado, e a suposição de vizinhanças em forma de bola. Trabalhos futuros sugeridos incluem monotonicidade parcial via máscaras por aresta e extensão dos teoremas para vizinhanças elipsoidais.