Gaussian Kolmogorov–Arnold Networks (KAN) 의 스케일링에 관한 기술적 요약

이 논문은 Gaussian Kolmogorov–Arnold Networks (Gaussian KAN) 에서 핵심적인 역할을 하는 **가우스 스케일 파라미터 (scale parameter, $\epsilon$)**의 선택이 네트워크의 성능에 미치는 영향을 체계적으로 연구하고, 이를 위한 실용적인 설계 원칙을 제시합니다. 기존 연구들에서 $\epsilon$이 휴리스틱하게 고정되거나 경험적으로 선택되었던 것과 달리, 본 논문은 **첫 번째 층 (first layer) 의 기하학적 구조와 조건수 (conditioning)**를 분석하여 $\epsilon$의 최적 작동 구간을 도출했습니다.

1. 연구 배경 및 문제 정의

• 배경: KAN 은 기존의 다층 퍼셉트론 (MLP) 과 달리 에지 (edge) 에 학습 가능한 일변수 함수를 배치하여 구성됩니다. 최근 B-스플라인 대신 **가우스 방사형 기저 함수 (RBF)**를 사용하는 Gaussian KAN 이 제안되었으며, 이는 매끄러움, 국소성, 계산 효율성 등의 장점을 가집니다.
• 문제: 가우스 RBF 보간법에서 스케일 파라미터 $\epsilon$은 근사 능력과 수치적 안정성 사이의 균형을 결정합니다. $\epsilon$이 너무 작으면 국소화가 과도해지고, 너무 크면 기저 함수들이 서로 구별되지 않아 행렬이 심하게 조건이 나빠지거나 (ill-conditioning) 표현이 붕괴 (collapse) 됩니다.
• 현재의 한계: 기존 Gaussian KAN 연구들에서는 $\epsilon$을 고정하거나 무작위로 탐색하는 방식이 주를 이루었으며, 깊은 신경망 구조 내에서 $\epsilon$이 어떻게 작용하는지에 대한 체계적인 분석이 부족했습니다. 특히, 어떤 층에서 스케일 선택이 가장 중요한지, 그리고 이를 어떻게 안정적으로 설정할지에 대한 명확한 가이드라인이 부재했습니다.

2. 방법론 및 핵심 분석

2.1 첫 번째 층의 지배적 역할 (First-Layer Dominance)

• 이론적 분석: KAN 의 구조상 첫 번째 층만이 원래 입력 도메인 ($[0, 1]^d$) 에 직접 작용합니다. 이후 층들은 학습된 중간 표현에 작용합니다.
• Proposition 2 (병목 현상): 만약 첫 번째 층의 특징 매핑 (feature map) 에서 두 입력 $x, x'$이 구별 불가능해지면 (즉, $\Phi(x) = \Phi(x')$), 이후 모든 층이 아무리 복잡하더라도 이 두 입력을 구별할 수 없습니다.
• 수치적 검증: 다양한 층에서 $\epsilon$을 개별적으로 변화시켰을 때, 첫 번째 층의 $\epsilon$ 변화가 전체 네트워크의 오차에 가장 큰 영향을 미침을 확인했습니다. 깊은 층의 스케일 변경은 첫 번째 층에 비해 영향력이 미미했습니다. 이는 첫 번째 층이 표현의 병목 (bottleneck) 이며, 여기서 발생하는 정보 손실은 복구 불가능함을 의미합니다.

2.2 조건수 기반 진단 (Conditioning Diagnostics)

• 특징 행렬 (Feature Matrix) 분석: 가중치 행렬이 적용되기 전의 첫 번째 층 특징 행렬 $\Phi$의 조건수 $\kappa(\Phi)$를 분석 대상으로 삼았습니다. 그램 행렬 (Gram matrix) 의 조건수는 $\Phi$의 조건수의 제곱이므로, $\Phi$의 안정성이 전체 안정성을 결정합니다.
• 작동 구간 도출:
  • 하한: 인접한 가우스 중심 (center) 간의 간격인 $1/(G-1)$ ($G$는 중심 개수) 보다 작으면 기저 함수가 너무 국소화됩니다.
  • 상한: 조건수가 임계값 (약 $3 \times 10^3$) 을 넘거나 수치적 랭크 손실이 발생하는 지점까지입니다.
  • 실용적 구간: 실험을 통해 이 상한이 $2/(G-1)$로 근사됨을 발견했습니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 층의 중요성 규명: Gaussian KAN 에서 스케일 선택은 전적으로 첫 번째 층에 의해 결정된다는 것을 이론적 및 실험적으로 증명했습니다.
2. 실용적인 스케일 구간 제시: 현재 널리 사용되는 공유 중심 (shared-center) Gaussian KAN 에 대해 다음과 같은 단순하고 효과적인 작동 구간을 제안했습니다.
   $$\epsilon \in \left[ \frac{1}{G - 1}, \frac{2}{G - 1} \right]$$
   여기서 $G$는 각 차원당 가우스 중심의 개수입니다. 이 구간은 샘플 수 ($N$), 네트워크 구조, 입력 차원, 그리고 물리 정보 신경망 (PINN) 문제 등 다양한 조건에서 유효함이 입증되었습니다.
3. Chebyshev KAN 과의 비교: 동일한 수의 학습 가능 계수를 가진 Chebyshev KAN 을 기준 (reference) 으로 설정하여, 적절히 스케일링된 Gaussian KAN 이 동등하거나 더 나은 정확도를 달성할 수 있음을 보였습니다.
4. 실용적 적용 전략:
   • 가변 스케일 (Variable Scale): 모든 층에 동일한 $\epsilon$을 공유하는 것이 효율적임을 보였으며, 중심별로 다른 스케일을 부여하는 변형 모델이 고정 스케일 모델보다 정확도를 향상시킬 수 있음을 제시했습니다.
   • 초기 학습 MSE 활용: 전체 학습을 수행하기 전에 초기 에포크 (예: 500 에포크) 의 학습 MSE 만으로도 최적의 $\epsilon$ 구간을 효과적으로 탐색할 수 있음을 증명하여 하이퍼파라미터 탐색 비용을 절감했습니다.

4. 실험 결과

• 다양한 벤치마크: 매끄러운 함수, 주기적 진동, 급격한 변화, 불연속 함수 등 4 가지 다른 특성을 가진 타겟 함수에 대해 실험을 수행했습니다.
• 조건수 및 오차 관계: 모든 실험에서 $\epsilon$에 대한 검증 오차 (Validation RMSE) 는 U 자형 곡선을 보였습니다. 제안된 구간 $[1/(G-1), 2/(G-1)]$ 내에서 최소 오차가 발생했습니다.
• 매개변수 영향:
  • 샘플 수 ($N$) 증가: 전체 오차 수준을 낮추지만, 최적 $\epsilon$의 위치는 크게 변하지 않습니다.
  • 중심 개수 ($G$) 증가: 최적 $\epsilon$ 구간을 더 작은 값 쪽으로 이동시키고 구간을 넓히지만, $N$의 증가만큼 오차를 획기적으로 줄이지는 않습니다.
  • 입력 차원 및 아키텍처: 입력 차원이나 네트워크 깊이가 변해도 첫 번째 층의 기하학적 구조에 기반한 스케일 규칙은 유효하게 유지되었습니다.
• 물리 정보 신경망 (PINN) 검증: Helmholtz 방정식과 같은 PDE 문제에서도 제안된 스케일 구간이 유효함을 확인했습니다.

5. 의의 및 결론

이 논문은 Gaussian KAN 에서 스케일 파라미터 $\epsilon$을 단순한 임의의 하이퍼파라미터가 아닌, 수치적 안정성과 근사 정확도를 동시에 제어하는 설계 원칙으로 재정의했습니다.

• 실용성: 복잡한 그리드 탐색 없이도 $G$ 값만 알면 쉽게 $\epsilon$의 유효 구간을 설정할 수 있어 모델 설계가 간소화되었습니다.
• 이론적 통찰: RBF 방법론의 고전적인 "스케일링에 대한 강한 의존성은 버그가 아닌 기능 (feature)"이라는 관점을 딥러닝 아키텍처에 성공적으로 적용했습니다.
• 향후 전망: 제안된 구간을 학습 가능한 $\epsilon$의 제약 영역으로 사용하거나, 가변 스케일 (variable-scale) 모델의 성능을 더 깊이 연구하는 방향으로 확장 가능성이 열려 있습니다.

결론적으로, 이 연구는 Gaussian KAN 의 성능을 극대화하기 위해 첫 번째 층의 조건수를 기반으로 한 체계적인 스케일 선택이 필수적임을 입증했습니다.