Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

문제 정의

단조성(Monotonicity)은 부채가 높을수록 채무 불이행 위험이 높아지는 것과 같이, 출력이 특정 입력에 대해 단조적으로 반응하는 것이 알려진 도메인(예: 정형 데이터, 과학적 모델링, 경제학)에서 매우 중요한 귀납적 편향(inductive bias)입니다. 최소-최대 구조(min-max architectures), 딥 래티스 네트워크(deep lattice networks), 정규화 흐름(normalizing flows) 등 기존의 단조 신경망(MNN)들이 존재하지만, 이들은 일반적으로 다층 퍼셉트론(MLP), 래티스 또는 자기회귀 흐름(autoregressive flows)에 의존합니다. 이러한 구조들은 학습 가능한 일변수 스플라인(univariate splines)을 통해 모든 입력-출력 좌표 쌍이 출력에 어떻게 기여하는지를 드러내는 KAN(Kolmogorov–Arnold Networks)의 핵심 장점인 **에지별 기능적 투명성(per-edge functional transparency)**이 결여되어 있습니다.

KAN과 단조성을 결합하려는 유일한 이전 시도인 MonoKAN은 제한된 하위 파라미터 집합에 대해서만 제약을 가하며, 투영 방식(projection-style)의 훈련 절차를 요구합니다. 또한, MonoKAN은 지도 학습 설정에서만 평가되었습니다. 따라서 다음과 같은 KAN 변형 모델에 대한 문헌적 공백이 존재합니다:

1. 모든 파라미터 값에 대해 엄격한 단조성을 보장한다.
2. 표준적인 비제약 경사 하강법(unconstrained gradient descent)으로 훈련 가능하다.
3. 단조성을 부과하는 비용에 관한 표현론적(representation-theoretic) 보증을 지원한다.

방법론: MKAN

저자들은 세 가지 특정 메커니즘을 통해 구조적으로 단조성을 강제하는 KAN의 변형인 MKAN(Monotonic Kolmogorov–Arnold Network)을 제안합니다:

1. B-스플라인 계수의 지수적 재매개변수화(Exponential Reparameterization): 각 스플라인 $\phi'_{ij}$가 단조 증가하도록 하기 위해, 저자들은 B-스플라인 계수의 엄격한 순서($\gamma^{(1)} < \gamma^{(2)} < \dots$)를 강제합니다. 제약이 있는 계수를 직접 학습하는 대신, 비제약 파라미터 $\omega$를 도입하고 지수 매핑을 통해 계수를 정의합니다: $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$. 이는 모든 $\omega \in \mathbb{R}$에 대해 순서 조건이 충족됨을 보장합니다.
2. 양의 에지 가중치(Positive Edge Weights): 스플라인 출력 및 스킵 연결(skip connections)에 대한 스케일링 가중치는 $\exp(w)$를 사용하여 엄격하게 양수를 유지하도록 합니다.
3. 단조 베이스 활성화 함수(Monotone Base Activation): 스킵 연결은 단조 증가하는 활성화 함수인 ReLU를 사용합니다.

결과적인 레이어 출력은 다음과 같이 정의됩니다:
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
단조 증가하는 함수들의 합성은 단조 증가하는 함수이므로, 이러한 레이어들을 쌓으면 전역적으로 단조인 특징 추출기(feature extractor)를 얻을 수 있습니다. 결정적으로, 이 공식은 투영 단계 없이 표준적인 비제약 경사 하강법을 통한 훈련을 가능하게 합니다.

주요 기여

1. KAN에서의 하드(Hard), 투영 불필요(Projection-Free) 단조성 (C1)
MKAN은 모든 파라미터 값에 대해 단조성이 보장되는 최초의 KAN 변형 모델을 제공합니다. 이는 복잡한 투영 기반 훈련이나 제한된 파라미터 집합의 필요성을 제거하여, MonoKAN이 남긴 공백을 메웁니다.

2. 단조성을 위한 표현 비용 정리 (Representation-Cost Theorem) (C2)
본 논문은 단조성을 강제하는 "비용"을 규명하는 이론적 결과(정리 3)를 제시합니다.

• 정리: 구형(ball-shaped) 의미적 이웃 분할을 유도하는 $C^K$ 특징 추출기 $F: [-1, 1]^N \to \mathbb{R}^{N^*}$는 동일한 분할을 유도하는 단조 실현체 $F': [-1, 1]^N \to \mathbb{R}^{N'}$를 갖는다.
• 경계값: 단조 추출기의 차원은 $N' = N^* + k$이며, 여기서 $k$는 원래 추출기의 비단조 좌표 수이다. $0 \le k \le N^*$이므로, 최악의 경우 경계값은 $N' \le 2N^*$이다.
• 시사점: 이는 아키텍처에 무관한 크기 규칙(sizing rule)으로, 단조 인코더가 비단조 인코더보다 의미적 이웃 구조를 보존하기 위해 최대 2배의 특징 차원이 필요함을 시사합니다.

3. 경험적 검증 (C3)
저자들은 지도 학습 및 자기지도 학습 체제 모두에서 MKAN을 검증했습니다:

• 지도 학습: MKAN은 SMM/ICML-2024 벤치마크 제품군(분류 및 회귀 작업)에서 상태 최고 수준(SOTA)의 단조 네트워크(SMM, LMN)와 경쟁하면서도, 고유하게 에지별 기능적 투명성을 제공합니다.
• 자기지도 학습:
  • 통제된 합성 "단조 생성형(monotone-generative)" 데이터셋(타원형)에서, MKAN은 KAN, MLP, 선형 베이스라인보다 실질적으로 높은 Spearman 정렬을 보이며 실제 요인(ground-truth factors)을 복구합니다.
  • 네 가지 실제 데이터셋(MNIST, Fashion MNIST, Dry Bean, MAGIC)에 대해, 특징 크기 탐색(feature-size sweep)을 통해 정리 3의 $2N^*$ 예측을 검증하였으며, $2N$개의 특징을 가진 MKAN이 $N$개의 특징을 가진 KAN보다 성능이 우수하거나 대등함을 보여주었습니다.

결과

• 함수 근사(Function Approximation): 합성 단조 다변량 함수에서, MKAN은 Smooth Min-Max (SMM) 베이스라인과 유사한 중앙값 MSE를 달성했으며, 차원이 증가함에 따라 파괴적인 과적합(catastrophic overfitting)을 겪는 vanilla KAN을 크게 압도했습니다.
• 정형 데이터 벤치마크: SMM/ICML-2024 제품군에서 MKAN은 최고 또는 최상위 수준의 성능을 달升했습니다. 예를 들어, COMPAS(69.6% vs SMM 69.5%)와 LoanDefaulter(65.49% vs SMM-mini 65.47%)에서 앞섰습니다.
• 자기지도 학습 정렬: 합성 타원 데이터셋에 대한 DIP-VAE 프레임워크에서, MKAN은 실제 요인과 83.0의 Spearman 상관관계를 달성하여 KAN(49.4)과 MLP(40.1)를 크게 능가했습니다. 비제약 모델(KAN)은 더 낮은 재구성 오차(reconstruction error)를 달성할 수는 있지만, 데이터의 단조 구조를 복구하는 데는 실패했습니다.
• 특징 크기 검증: 실제 데이터셋에 대한 실험은 $2N$개의 특징을 가진 MKAN이 $N$개의 특징을 가진 KAN보다 일반적으로 더 우수하며, $N$개의 특징을 가진 MKAN은 $N$개의 특징을 가진 KAN과 대등한 성능을 보임을 확인하여 정리 3의 이론적 경계를 검증했습니다.

의의 및 주장

본 논문은 단조성을 성능을 저하시키는 범주적 제한이 아니라, **정량화 가능한 표현 비용 트레이드오프(quantifiable representation-cost trade-off)**로 재정의한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 독창성: MKAN은 하드하고 비제약적인 단조성(모든 파라미터에 대해 보장됨)과 KAN의 에지별 기능적 투명성을 결합한 유일한 방법입니다.
2. 이론적 근거: 단조성을 위한 최초의 표현 비용 정리를 제공하여, 단조 인코더의 크기를 결정하는(최대 2배의 차원 증가) 원칙적인 가이드라인을 제시합니다.
3. 실용적 유용성: 표준 경사 하강법을 가능하게 함으로써, MKAN을 이전의 투영 기반 접근 방식보다 더 쉽게 훈련하고 배포할 수 있게 합니다.

저자들은 적응형 그리드 범위(adaptive grid range)의 부재, 정리 3이 학습 보증이 아닌 존재성 결과라는 점, 그리고 구형 이웃(ball-shaped neighborhoods) 가정 등의 한계점을 언급했습니다. 향-후 연구로는 에지별 마스크를 통한 부분적 단조성 구현 및 타원형 이웃으로의 정리 확장이 제안되었습니다.