Hierarchical RBF-KAN and RBF-SKAN Architectures for Multidimensional Function Approximation and Random Field Learning

기술 요약: 계층적 RBF-KAN 및 RBF-SKAN 아키텍처

문제 정의
본 논문은 고차원 결정론적 함수 근사와 확률장(random field) 모델 학습의 과제를 다룹니다. 방사 기저 함수 신경망(RBFNN)은 보편적 근사(universal approximation)를 위한 확립된 이론적 토대를 갖추고 있으며 유리한 최적화 특성을 제공하지만, 기존의 다층 RBF 아키텍처는 복잡한 다변량 설정에서 "차원의 저주"를 극복하는 데 어려움을 겪는 경우가 많습니다. 또한, 콜모고로프-아놀드(Kolmogorov–Arnold) 표현 정리를 재현하고자 하는 최근의 콜모고로프-아놀드 네트워크(KAN) 아키텍처들은 주로 스플라인 기반 활성화 함수나 균일한 레이어 구조에 집중해 왔습니다. 저자들은 계층적이고 비균일한 RBF 기반 아키텍처가 어떻게 고차원 함수와 확률장을 효과적으로 학습할 수 있는지, 특히 차원 문제를 완화하고 와서슈타인(Wasserstein) 메트릭 하에서 확률장을 근사하는 능력에 관한 엄밀한 분석의 공백을 확인하였습니다.

방법론
저자들은 두 가지 새로운 아키텍처를 제안합니다:

1. 계층적 RBF-KAN: 다차원 결정론적 함수 근사를 위해 설계되었습니다. 균일한 뉴런 수를 사용하는 표준 RBFNN이나 이전의 RBF-KAN 모델과 달리, 이 아키텍처는 "계층적 블록" 구조를 채택합니다. 각 블록은 두 개의 구별된 활성화 레이어로 구성되며, 첫 번째 포스트-활성화 레이어의 뉴리학자 수는 두 번째 레이어의 $(2d+1)$ 배가 되어 콜모고로프-아놀드 표현 정리의 구조를 명시적으로 모방합니다. 활성화 함수는 가우시안 커널 $B(x) = \exp(-x^2)$를 사용합니다. 이 프레임워크는 표준 피드포워드 전파와 ResNet 스타일의 스킵 연결(skip connection)을 모두 지원합니다.
2. 계층적 RBF-SKAN: 확률장 학습을 위해 설계된 RBF-KAN의 확률적 확장판입니다. 이 아키텍처는 두 개의 RBF-KAN 모듈을 통합합니다. 첫 번째 모듈은 입력을 처리하며, 두 번째 모듈은 독립적인 분포로부터 가중치($w_{i,j}$)와 RBF 스케일 파라미터를 샘플링함으로써 무작위성을 도입합니다. 이를 통해 네트워크는 단일 결정론적 값이 아닌 분포를 출력할 수 있게 되어, 확률장 모델의 학습을 가능하게 합니다.

이론적 기여
본 논문은 두 아키텍처 모두에 대해 엄밀한 보편적 근사 정리를 확립합니다:

• 결정론적 근사: 저자들은 계층적 RBF-KAN이 임의의 연속 다변량 함수를 임의의 정밀도로 근사할 수 있음을 증명합니다. 결정적으로, 특정 매끄러움(smoothness) 조건 하에서 수렴 속도가 입력 차원 $d$가 증가함에 따라 명시적으로 악화되지 않음을 보여주는 정량적 오차 범위를 도출했습니다. 이는 이 아키텍처가 근사 문제의 유효 차원을 줄임으로써 차원의 저주를 부분적으로 완화할 수 있음을 시사합니다.
• 확률적 근사: 계층적 RBF-SKAN에 대하여, 저자들은 제곱 와서슈타인-2 ($W_2$) 메트릭 하에서의 점근적 보편 근사 결과를 증명합니다. 저자들은 기초 확률 측도가 입력 공간에 대해 균등 리프시츠 연속성(uniform Lipschitz continuity) 조건을 만족하는 경우, 이 프레임워크가 확률장 모델을 근사할 수 있음을 입증합니다.

실험 결과
저자들은 세 가지 주요 수치 실험을 통해 제안된 방법론을 검증합니다:

1. 다차원 함수 근사: 계층적 RBF-KAN은 입력 차원이 1에서 6까지 변화하는 고진동 함수(식 23)에 대해 테스트되었습니다. 결과에 따르면 표준 RBF-MLP와 단순한 RBF-KAN은 차원이 증가함에 따라 정확도를 유지하지 못하는 반면, 제안된 계층적 RBF-KAN은 높은 정확도를 유지합니다. 다중 블록 구성에서 ResNet 기술의 도입이 안정적인 학습과 정확도 유지에 필수적임이 밝혀졌습니다.
2. 카오스 동역학계 재구성: 이 아키텍처는 로렌츠 시스템(Lorenz system) 재구성에 적용되었습니다. 계층적 RBF-KAN(두 개의 블록 및 ResNet 포함)은 다양한 MLP 및 KAN 변형들과 비교하여 예측된 궤적과 학습된 역학 모두에서 가장 낮은 상대 오차를 달 기록했습니다.
3. 확률장 학습: 계층적 RBF-SKAN은 다변량 확률장 재구성을 위해 조건부 정규 흐름(Conditional Normalizing Flows, CNF) 및 조건부 변이형 오토인코더(Conditional Variational Autoencoders, CVAE)와 비교되었습니다. 제안된 방법은 특히 고차원에서 확률장의 표준 편차를 예측하는 데 있어 우수한 성능을 보였으며, CVAE 및 CNF 방식은 확률성을 포착하는 데 있어 상당한 오차를 보였습니다.

의의 및 주장
본 논문은 제안된 계층적 설계가 다변량 함수 학습에 핵심적인 콜모고로프-아놀드 표현 구조를 충실히 재현하는 데 필수적이라고 주장합니다. 주요 주장은 다음과 같습니다:

• 계층적 RBF-KAN은 함수 근사에서 차원의 저주를 부분적으로 완화할 수 있는 이론적 경로를 제공하며, 이는 기존의 다층 RBF 또는 표준 KAN 아키텍처에서는 명시적으로 보장되지 않는 특성입니다.
• 계층적 RBF-SKAN은 확률장 학습에서 불확실성 정량화를 위한 견고한 프레임워크를 제공하며, 분포적 특성(특히 표준 편차)을 포착하는 데 있어 기존의 CNF 및 CVAE와 같은 머신러 러닝 접근 방식보다 뛰어난 성능을 보입니다.
• 다중 블록 계층적 RBF-KAN에 ResNet 기술을 통합하는 것은 근사 정확도와 학습 안정성을 크게 향상시킵니다.

저자들은 제안된 방법들이 계층적 구조와 $W_2$ 손실 평가로 인해 표준 MLP보다 높은 계산 비용을 초래하지만, 고차원 및 확률적 학습 작업에 대해 더 우수한 정확도와 표현력을 제공한다고 결론짓습니다. 향-후 연구로는 더 깊은 블록 구조 탐색, 트랜스포머 아키텍처로의 통합, 그리고 분류 작업으로의 확장이 제안되었습니다.