FI-KAN: 프랙탈 보간 콜모고로프-아르놀드 네트워크 (Fractal Interpolation Kolmogorov–Arnold Networks)

이 논문은 콜모고로프-아르놀드 네트워크 (KAN) 의 한계를 극복하고, 비매끄러운 (non-smooth) 함수와 프랙탈 구조를 가진 타겟을 더 정확하게 근사하기 위해 **FI-KAN (Fractal Interpolation KAN)**을 제안합니다.

1. 문제 제기 (Problem)

기존의 신경망 기반 함수 근사 기법들은 타겟 함수의 정칙성 (regularity) 에 대한 암묵적인 가정을 내포하고 있습니다.

• MLP (Multi-Layer Perceptron): ReLU, SiLU 등 매끄러운 활성화 함수를 사용하여 조각별 매끄러운 함수를 근사합니다.
• KAN (Kolmogorov–Arnold Networks): 고정된 그리드 위의 B-스플라인 (B-spline) 기저 함수를 학습 가능한 단변수 함수로 대체합니다. B-스플라인은 정수 또는 높은 분수 차수의 매끄러운 함수 (Sobolev, Besov 공간) 에 대해 최적의 근사 속도를 제공하지만, 비매끄러운 함수에는 적합하지 않습니다.
• 한계: 난류 속도장, 금융 시계열, 균열 표면, 자연 지형 등 많은 과학적·공학적 문제들은 비자명한 Hölder 정칙성, 프랙탈 자기유사성, 또는 미분 불가능한 특성을 가집니다. 이러한 타겟을 매끄러운 기저 함수 (B-스플라인 등) 로 근사할 때, 다항식 재생산 (polynomial reproduction) 의 이점이 사라지고 근사 오차가 크게 발생합니다. 즉, 기저 함수의 기하학적 구조가 타겟 함수의 정칙성과 불일치하는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 KAN 의 에지 (edge) 에 있는 B-스플라인 기저를 반복 함수계 (Iterated Function System, IFS) 이론에서 유래한 학습 가능한 프랙탈 보간 함수 (Fractal Interpolation Function, FIF) 기저로 대체하거나 보완하는 두 가지 아키텍처를 제안합니다.

핵심 아이디어

• 학습 가능한 프랙탈 차원: IFS 의 수직 축소 파라미터 (contraction parameters, $d_i$) 를 학습 가능한 파라미터로 취급합니다. 이를 통해 각 에지 활성화 함수는 **미분 가능한 프랙탈 차원 (differentiable fractal dimension)**을 가지며, 훈련 과정에서 타겟 함수의 정칙성 구조에 맞춰 적응합니다.
  • $d_i = 0$: 매끄러운 조각별 선형 함수 (hat function, 차원 1)
  • $d_i > 0$: 프랙탈 구조를 가진 거친 함수 (차원 > 1)

두 가지 변형 아키텍처

1. Pure FI-KAN (Barnsley 프레임워크):
   • B-스플라인을 완전히 제거하고 FIF 기저만으로 구성됩니다.
   • 거친 (rough) 타겟에 특화되어 있으며, 매끄러운 타겟에서는 성능이 떨어집니다. 이는 기하학적 정합의 중요성을 검증하기 위한 것입니다.
2. Hybrid FI-KAN (Navascués 프레임워크):
   • 기존 KAN 의 B-스플라인 경로 (기저) 를 유지하면서, 병렬로 프랙탈 보정 (fractal correction) 경로를 추가합니다.
   • 수식적으로 $f^\alpha_b = b + h$ 형태로, $b$는 고전적인 근사 (스플라인), $h$는 프랙탈 교란 (fractal perturbation) 입니다.
   • 매끄러운 타겟에서는 스플라인이 주 역할을 하고, 거친 타겟에서는 프랙탈 경로가 비선형 구조를 포착하여 성능을 극대화합니다.

프랙탈 차원 정규화 (Fractal Dimension Regularization)

• 불필요한 프랙탈 복잡성을 억제하기 위해 프랙탈 차원 ($dim_B$) 을 1 로 되돌리려는 정규화 항을 도입합니다.
• 이는 파라미터 수 기반이 아닌 함수 기하학 (function geometry) 기반의 오컴의 면도날 (Occam's razor) 을 구현하여, 데이터가 프랙탈 구조를 요구할 때만 프랙탈성을 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 프랙탈 근사 이론에 기반한 아키텍처: 순수한 수학적 프레임워크 (Barnsley, Navascués) 에서 도출된 두 가지 KAN 변형 제시.
2. 학습 가능한 프랙탈 차원: 매끄러운 함수에서 프랙탈 함수까지 연속적으로 변형 가능한 학습 가능한 기저 설계.
3. 정합성 가설의 실증: Pure 와 Hybrid FI-KAN 의 성능 차이를 통해 "기저 함수의 기하학적 구조가 타겟 정칙성과 일치해야 한다"는 가설을 실험적으로 증명.
4. 비매끄러운 PDE 해에 대한 검증: 모서리 특이점 (corner singularities) 이나 거친 계수 (rough coefficients) 를 가진 편미분방정식 (PDE) 해에서 기존 KAN 대비 획기적인 성능 향상 달성.
5. 해석 가능한 복잡도 제어: 학습된 프랙탈 차원이 타겟 함수의 실제 정칙성을 반영하는 진단 도구로 작용함을 보임.

4. 실험 결과 (Results)

실험은 다양한 Hölder 정칙성 ($\alpha \in [0.2, 2.0]$) 을 가진 함수, 프랙탈 함수, 그리고 실제 PDE 해에 대해 수행되었습니다.

• Hölder 정칙성 벤치마크:
  • Hybrid FI-KAN 은 모든 정칙성 수준 ($\alpha=0.2$ 부터 $2.0$까지) 에서 기존 KAN 보다 1.3 배에서 33 배까지 더 낮은 MSE 를 기록했습니다.
  • 특히 $\alpha=1.5$ (매끄러운 영역) 에서 32.9 배, $\alpha=0.6$ (거친 영역) 에서 6.1 배의 개선을 보였습니다.
• 프랙탈 타겟 (Weierstrass, Sawtooth):
  • 프랙탈 차원 $dim_B=1.5$ 인 Sawtooth 함수에서 Hybrid FI-KAN 은 KAN 대비 6.3 배의 MSE 감소를 달성했습니다.
  • Pure FI-KAN 은 거친 타겟에서는 KAN 을 능가했으나, 매끄러운 타겟 (다항식 등) 에서는 B-스플라인보다 성능이 현저히 낮아 정합성 가설을 입증했습니다.
• 비매끄러운 PDE 해:
  • 거친 계수 확산 방정식 (Rough-coefficient diffusion): Hybrid FI-KAN 이 KAN 대비 최대 79 배의 성능 향상을 보였습니다.
  • L-모양 영역의 모서리 특이점: Hölder 2/3 특이점을 가진 문제에서 3.5 배 개선.
  • 확률적 열 방정식: 잡음 수준에 따라 6.5 배에서 25 배까지 개선.
• 노이즈 강건성:
  • 프랙탈 타겟에서 5 dB 의 극심한 잡음 환경에서도 Hybrid FI-KAN 은 KAN 대비 4.7 배의 우위를 유지했습니다.
• 파라미터 매칭 비교:
  • 파라미터 수를 동일하게 맞췄을 때 (KAN 그리드 크기 증가), FI-KAN 이 여전히 우수한 성능을 보여 단순한 파라미터 증가가 아님을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 신경망 함수 근사 분야에서 **정규성 일치 (Regularity-matching)**가 핵심 설계 원리임을 입증했습니다.

• 이론적 기여: 매끄러운 기저 함수만으로는 프랙탈이나 비매끄러운 구조를 효율적으로 표현할 수 없으며, 기저 함수의 기하학적 구조 (프랙탈 차원) 를 학습 가능하게 함으로써 이 한계를 극복할 수 있음을 보였습니다.
• 실용적 가치: 지하수 흐름, 비볼록 영역의 PDE, 지질 신호 처리, 생체 신호 등 비매끄러운 구조가 규칙인 과학 및 공학 분야에서 기존 신경망 (MLP, KAN) 보다 훨씬 정확한 모델링이 가능해집니다.
• 해석 가능성: 학습된 프랙탈 차원이 타겟 함수의 실제 정칙성을 추정하는 지표로 사용될 수 있어, 모델의 내부 작동 원리에 대한 해석 가능성을 높였습니다.

결론적으로, FI-KAN 은 단순한 아키텍처 변경을 넘어, 문제에 맞는 기하학적 구조를 학습할 수 있는 원리 기반 (principled) 접근법을 제시하여 비매끄러운 함수 근사의 새로운 표준을 제시합니다.