Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

기술 요약: 적응형 RBF-KAN

문제 제기
콜모고로프-아른홀트 네트워크 (KAN) 는 고정된 활성화 함수를 노드에 사용하는 대신 네트워크 에지에 학습 가능한 단변수 함수를 배치함으로써 다층 퍼셉트론 (MLP) 에 대한 대안을 제시합니다. 원래 KAN 구현은 B-스플라인 기저를 사용하지만, 이 접근법은 훈련 중 상당한 계산 비용을 초래합니다. FastKAN 은 스플라인을 가우시안 방사형 기저 함수 (RBF) 로 대체하여 이 문제를 해결함으로써 효율성을 크게 향상시켰습니다. 그러나 표준 FastKAN 은 고정된 커널 모양 매개변수 ($h$) 에 의존합니다. 이 매개변수의 선택은 결정적입니다: 작은 값은 과적합을 초래할 수 있고, 큰 값은 과도한 평활화를 유발합니다. 고정된 매개변수는 다양한 함수 유형 (예: 매끄러운 표면, 불연속성, 진동 패턴, 특이점) 에 대한 모델의 적응력을 제한합니다. 또한, 표준 FastKAN 공식은 가우시안 커널로 제한되어 있어 비매끄럽거나 매우 국소화된 함수에 대한 표현 유연성이 제한될 수 있습니다.

방법론
저자들은 기존 프레임워크에 두 가지 주요 개선을 도입한 적응형 RBF-KAN(적응형 FastKAN 으로도 불림) 을 제안합니다:

1. LOOCV 기반 초기화: 고정되거나 무작위로 초기화된 모양 매개변수를 사용하는 대신, 저자들은 입력 데이터로 구성된 보조 1 차원 RBF 보간 모델을 사용하여 초기 커널 스케일 ($h_{opt}$) 을 추정합니다. 수치적 안정성을 보장하기 위해 보간 행렬에 작은 정규화 항 ($\lambda = 10^{-9}$) 을 추가합니다. 최적의 $h$는 최대 LOOCV 오차를 최소화하는 2 단계 검색 (거친 검색 및 정밀 검색) 을 통해 찾습니다.
2. 적응형 모양 매개변수 학습: 훈련 중 커널 스케일을 정제할 수 있도록 모양 매개변수를 로그 공간 ($\theta = \ln(h)$) 에서 재매개변수화합니다. 이는 $h = e^\theta$가 엄격히 양수로 유지되도록 하여 그라디언트 기반 최적화 중 수치적 불안정성 (0 으로 나누기 또는 지수적 증가) 을 방지합니다. 매개변수 $\theta$는 스플라인 계수와 함께 역전파를 통해 업데이트됩니다.
3. 확장된 커널 패밀리: 프레임워크를 가우시안 커널을 넘어 더 넓은 범위의 방사형 기저 함수를 포함하도록 확장합니다. 구체적으로, 저자들은 KAN 아키텍처에 Matérn(M2, M4, M6) 및 Wendland(W2, W4, W6) 커널을 최초로 도입합니다. 이러한 커널은 다양한 정도의 매끄러움과 컴팩트한 지지를 제공하여 네트워크가 서로 다른 구조적 특성을 가진 함수에 더 잘 적응할 수 있게 합니다.

주요 기여

• LOOCV 와 심층 KAN 의 최초 통합: 저자들의 지식 범위 내에서, LOOCV 기반 커널 스케일 추정을 심층 KAN 아키텍처 훈련과 통합한 최초의 연구입니다.
• 새로운 커널 통합: 이 논문은 표준 FastKAN 의 가우시안 전용 접근법을 넘어 KAN 프레임워크에 Matérn 및 Wendland 커널을 도입합니다.
• 데이터 기반 초기화 전략: 제안된 방법은 커널 스케일에 대한 원칙적이고 데이터 기반의 초기화를 제공하여, 값비싼 하이퍼파라미터 검색에 대한 의존성을 줄이면서도 훈련 중 추가 정제를 가능하게 합니다.
• 종합적 벤치마킹: 이 연구는 매끄러운, 불연속적인, 진동하는, 그리고 특이점을 가진 행동을 나타내는 4 가지 고유한 벤치마크 함수에 대해 제안된 방법을 MLP, 표준 KAN, EfficientKAN, Chebyshev KAN, KAF, 그리고 표준 FastKAN 과 비교 평가합니다.

결과
단위 정사각형 영역 $[0, 1]^2$에 대한 수치 실험은 다음과 같은 사실을 보여줍니다:

• 커널 선택의 중요성: 모든 함수 유형에 대해 단일 커널이 최적일 수는 없습니다.
  • 매끄러운 함수 (Franke): 무한 미분 가능성과 일치하게 가우시안 (GA) 커널이 가장 좋은 성능을 발휘합니다.
  • 불연속성: Matérn C2 (M2) 커널은 GA 를 크게 능가하여 낮은 오차와 덜 흐려진 상태로 날카로운 점프를 포착합니다.
  • 진동 패턴: 가우시안 커널은 고주파 진동을 포착하지 못하지만, Wendland C2 (W2) 커널은 패턴을 정확하게 재구성합니다.
  • 특이점: Wendland C6 (W6) 커널은 국소화된 피크에 대해 GA 기준 대비 약 52% 의 오차 감소를 달성합니다.
• 적응성의 성능 향상: 적응형 RBF-KAN 은 고정된 모양 매개변수를 가진 표준 FastKAN 보다 일관되게 우수한 성능을 보입니다. 예를 들어, 진동 함수에서 오차는 고정 GA 의 $4.54 \times 10^{-1}$에서 적응형 W2 의 $6.24 \times 10^{-2}$로 감소했습니다.
• 효율성과 정확성의 트레이드오프: 표준 KAN(스플라인 기반) 은 높은 정확도를 제공하지만 계산 비용이 많이 듭니다 (훈련 시간 약 60 초 vs RBF 변형의 약 3~5 초). 적응형 RBF-KAN 은 FastKAN 의 계산 효율성을 유지하면서 모든 테스트 사례에서 경쟁력 있거나 우수한 정확도를 달성합니다. MLP 는 계산적으로 효율적이지만 복잡한 패턴에 대한 정확도에서 어려움을 겪으며, 고주파 특성을 과도하게 평활화하는 경향이 있었습니다.

의의 및 주장
이 논문은 LOOCV 기반 초기화와 적응형 커널 학습을 결합하는 것이 RBF 기반 KAN 모델을 개선하기 위한 실용적이고 유연한 전략을 제공한다고 주장합니다. 저자들은 그들의 작업이 LOOCV 기반 스케일 추정과 심층 KAN 훈련을 연결하려는 최초의 시도임을 강조합니다. 제안된 방법은 고정된 커널 선택과 고정된 모양 매개변수의 한계를 해결하여 네트워크가 기저 표현을 목표 함수의 특정 구조적 특성 (매끄러움, 불연속성, 진동, 또는 특이점) 에 더 잘 적응하도록 한다고 주장합니다. 이 연구는 서로 다른 커널이 서로 다른 함수 클래스에 대해 장점을 보이지만, 적응형 프레임워크는 FastKAN 의 계산 효율성과 다양한 근사 과제에 필요한 정확도 사이의 균형을 잡는 견고한 솔루션을 제공한다고 결론지었습니다. 향후 연구는 고차원 문제, 노이즈가 있는 실제 데이터셋, 그리고 편미분 방정식 풀이와 같은 과학적 컴퓨팅 작업에 대한 응용을 조사할 것을 제안합니다.