📊 statistics

On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

본 논문은 B-스플라인(B-spline) 성분을 가진 콜모고로프-아놀드 네트워크(KAN)가 주변 차원과 무관하게 미니맥스 최적 회귀율을 달성함을 입증하는 동시에, 적응형 매듭 선택 규칙을 제공하고 이들의 단변량 성분의 비식별성을 명확히 한다.

원저자: Wei Liu, Eleni Chatzi, Zhilu Lai

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wei Liu, Eleni Chatzi, Zhilu Lai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 날씨를 예측하도록 가르치려 한다고 상상해 보십시오. 세상은 온도, 습도, 풍속, 기압 등이 복잡하게 상호작용하며 매우 무질서합니다. 머신러닝의 세계에서 이것은 "비매개변수 회귀(nonparametric regression)"라고 불립니다. 이는 데이터를 단순하고 미리 만들어진 상자(예: 직선)에 억지로 끼워 맞추지 않고, 데이터의 바다 속에서 숨겨진 패턴을 찾아내는 기술입니다. 수십 년 동안 과학자들은 두 가지 주요 도구를 사용해 왔습니다. 첫 번째는 "신경망(neural network)"입니다. 이는 거의 모든 것을 학습할 수 있는 층(layer)으로 이루어진 디지털 뇌이지만, 종종 "블랙박스"와 같습니다. 우리는 그것이 작동한다는 것은 알지만, 어떻게 작동하는지 또는 왜 정답을 맞히는지 그 이유를 쉽게 들여다볼 수 없습니다. 두0 번째는 "스플라인(spline)"입니다. 이는 점들을 통과하며 매끄러운 곡선을 만드는 수학적 도구로, 마치 유연한 자와 같습니다. 스플라인은 투명하고 이해하기 쉽지만, 데이터가 너무 복잡해지거나 차원이 너무 많아지면(예: 날씨 변수가 더 늘어나는 경우) 어려움을 겪습니다.

최근, 콜모고로프-아르노프 네트워크(Kolmogorov–Arnold Network), 즉 KAN이라는 새로운 유형의 신경망이 등장했습니다. KAN을 영리한 하이브리드 모델이라고 생각하십시오. KAN은 신경망의 층 구조를 가지고 있지만, 신비롭고 얽힌 연결 대신 단순한 1차원 곡선(스플라인)을 쌓아 올려 예측을 구축합니다. 이는 불투명한 콘크리트로 고층 빌딩을 짓는 대신, 투명한 유리 패널로 빌딩을 짓는 것과 같습니다. 과학자들의 큰 질문은 이것이었습니다: "이 새로운 유리 고층 빌딩이 정말 기존의 콘크리트 벽만큼 잘 작동할 것인가, 그리고 이를 수학적으로 증명할 수 있는가?" 이 논문은 단순히 실험을 수행하는 것을 넘어, 이 네트워크가 얼마나 빠르고 정확하게 학습하는지를 정확히 보여주는 엄격한 수학적 증명을 구축함으로써 이 질문에 파고듭니다.

유리 고층 빌딩 대 콘크리트 벽

이 논문의 저자들은 KAN이 단지 멋진 아이디어일 뿐만 아니라, 데이터로부터 학습하는 수학적으로 최적인 방법임을 증명하고자 했습니다. 그들은 구성 요소가 "B-스플라인"(앞서 언급한 유연한 자)인 특정 유형의 KAN에 집중했습니다. 그들의 주요 발견은 학습의 "속도 제한"입니다. 그들은 만약 예측하려는 데이터가 특정 수준의 매끄러움(이를 "매끄러움 $r$ "이라고 부릅시다)을 가지고 있다면, KAN은 대략 $O((\log n/n)^{2r/(2r+1)})$ 의 속도로 학습한다는 것을 증명했습니다.

이를 일상적인 용어로 설명하자면, 당신이 손가락 끝의 감각으로 숨겨진 물체의 모양을 추측하려 한다고 상상해 보십시오. 만약 물체가 매우 매끄럽다면(예: 매끈한 대리석), 그것을 파악하는 데 적은 횟수의 터치가 필요합니다. 만약 물체가 울퉁불퉁하고 거칠다면, 훨씬 더 많은 터치가 필요할 것입니다. 이 논문은 KAN이 물체의 형상을 추측하는 속도가 물체의 차원이 아니라, 오직 물체가 얼마나 매끄러운지에 따라 결정된다는 것을 보여줍니다. 이는 엄청난 일입니다. 보통 차원이 늘어나면(추적해야 할 변수가 많아지면) 학습이 기하급수적으로 어려워지는데, 이를 "차원의 저주(curse of dimensionality)"라고 합니다. 이는 마치 창고에 방을 하나씩 추가할 때마다 점점 더 커지는 건더미 속에서 바늘을 찾는 것과 같습니다. 저자들은 KAN이 단순한 1차원 조각들로 구축되었기 때문에, 이 저주를 완전히 피할 수 있다는 것을 발견했습니다. 데이터가 KAN의 특정 구조를 따르기만 한다면, 데이터가 5차원이든 20차원이든 상관없이 KAN은 동일한 속도로 학습합니다.

로그의 히커업(Hiccup)과 "로그" 인자

하지만 이야기가 완벽하게 매끄러운 것만은 아닙니다. 저자들은 KAN의 학습 속도가 절대적인 이론적 최적치보다 로그가 포함된 아주 작은 인자(구체적으로는 $(\log n)^{2r/(2r+1)}$ 인자)만큼 약간 느리다는 것을 발견했습니다. 그들은 이 "히커업(잠깐의 주춤거림)"이 KAN의 구조 자체 때문이 아니라, 네트워크가 비선형적이기 때문이라는 것을 밝혀냈습니다.

이렇게 생각해 보십시오. 만약 책들이 완벽하게 직선으로 배열된 도서관(선형 시스템)에서 특정 책을 찾으려 한다면, 즉시 찾을 수 있습니다. 하지만 책들이 복잡하게 뒤틀린 미로(비선형 시스템)처럼 배열되어 있다면, 조금 더 많은 탐색이 필요하며, 이것이 작은 "로그" 지연을 추가합니다. 저자들은 KAN을 직선처럼 작동하도록 단순화하면 이 추가적인 지연이 사라진다는 것을 보여주었습니다. 이는 KAN이 본질적으로 "어려운" 것이 아니라, 단지 그 비선형적인 뒤틀림을 탐색하는 수학적 과정이 약간의 오버헤드를 추가할 뿐이라는 것을 시사합니다.

숨겨진 구성 요소의 미스터리

논문에서 가장 흥iana 부분 중 하나는 KAN 내부를 들여다보며 답을 구축하는 데 사용된 개별 조각들을 식별하려고 할 때 발생하는 현상입니다. 저자들은 최종 결과물만을 보고 이러한 개별 조각들을 고유하게 식별할 수 없음을 증를명했습니다. 이는 완성된 케이크를 맛보는 것만으로 그 정확한 재료를 알아내려는 것과 같습니다. 만약 케이크에서 "바닐라" 맛이 난다면, 제빵사가 바닐라 추출물 1컵과 밀가루 2컵을 사용했는지, 아니면 바닐라 2컵과 밀가루 1컵을 사용했는지 확신할 수 없습니다. 왜냐하면 레시피가 "스케일 그룹(scale group)", 즉 최종 맛을 바꾸지 않으면서 재료 사이의 양을 서로 바꿀 수 있는 방식을 허용하기 때문입니다.

그들은 단순히 데이터를 "중심화(centering)"하는 것(평균을 0으로 만드는 것)만으로는 이 미스터리를 해결할 수 없음을 보여주었습니다. 네트워크는 최종 예측은 똑같이 유지하면서도 내부 구성 요소를 변경하는 방식으로 가중치를 여전히 재배치할 수 있습니다. 이는 KAN이 결과를 예측하는 데는 뛰어나지만, 내부 구성 요소에 별도의 규칙을 추가하여 고정하지 않는 한, 그 내부 부품들이 "진정한" 근본 원인을 말해준다고 항상 신뢰할 수는 없음을 의미합니다.

매듭(Knots)과 적응성

이 네트워크를 작동시키려면 "매듭"(유연한 자가 꺾이는 지점)을 얼마나 사용할지 결정해야 합니다. 너무 적으면 자가 너무 뻣뻣해서 곡선을 따라가지 못하고, 너무 많으면 곡선이 심하게 요동치며 패턴 대신 노이즈를 암기하기 시작합니다. 저자들은 이를 위한 완벽한 규칙을 도출했습니다: 매듭의 수는 데이터의 양( $n$ )에 따라 대략 $n^{1/(2r+1)}$ 과 같이 성장해야 합니다.

더 멋진 점은, 이 작업을 수행하기 위해 사전에 데이터의 "매끄러움( $r$ )"을 알 필요가 없다는 것입니다. 그들은 마치 등산객이 정상에 가장 빨리 도달하는 경로를 찾기 위해 여러 경로를 테스트하는 것처럼, 네트워크가 다양한 옵션을 테스트하여 적절한 매듭의 수를 자동으로 선택할 수 있는 방법을 만들었습니다. 시뮬레이션에서 이 "적응형(adaptive)" 방법은 마치 정답을 미리 알고 있었던 것처럼 잘 작동했습니다.

실험실에서의 이론 검증

마지막으로, 저자들은 수학에만 머물지 않고 이를 실험으로 검증했습니다. 그들은 알려진 매끄러움 수준을 가진 가짜 데이터를 생성하고 KAN이 학습하는 과정을 관찰했습니다. 결과는 정확했습니다.

속도: KAN은 예측된 속도로 학습하며, 데이터가 추가됨에 따라 점점 더 정확해졌습니다.
차원: 변수의 수를 5개에서 20개로 늘렸을 때, KAN은 속도를 유지했지만, k-최근접 이웃(k-nearest neighbors)과 같은 다른 표준 방식들은 급격히 느려졌습니다. 이는 KAN이 진정으로 "차원의 저주"를 탈출했음을 확인시켜 줍니다.
매듭: 실험에서 발견된 최적의 매듭 수는 그들의 수학적 예측과 완벽하게 일치했습니다.

이 논문은 KAN이 강력하고 수학적으로 타당한 도구라고 결론짓습니다. KAN은 딥 뉴럴 네트워크의 학습 능력과 스플라인의 투명성이라는 두 세계의 장점을 모두 제공합니다. 내부 구성 요소를 완벽하게 식별하는 방법에 대해 여전히 몇 가지 열린 질문이 남아 있지만, (그 작은 로그 인자까지 고려했을 때) KAN이 최적의 속도로 학습한다는 증명은 큰 진전입니다. 이는 데이터가 특정한 구조를 가지고 있을 때, KAN이 단순한 기교가 아니라 그것을 학습하는 가장 효율적인 방법임을 말해줍니다.

기술 요약: Kolmogorov–Arnold 네트워크 회귀 추정량의 수렴 속도에 관하여

문제 정의
본 논문은 비매개변수 회귀(nonparametric regression)에서 Kolmogorov–Arnold 네트워크(KAN)의 통계적 수렴 속도를 다룬다. KAN은 다변수 함수를 일변수 변환들의 합성으로 근사하는 구조화된 딥 뉴럴 네트워크의 대안으로서 실증적인 주목을 받아왔으나, 이들의 추정 속도에 대한 공식적인 통계적 보장은 부족한 실정이었다. 저자들은 B-스플라인(B-spline)을 일변수 성분으로 사용하는 KAN 시브(sieve) 상에서의 최소제곱 추정량(least-squares estimator)을 조사한다. 구체적으로, 이들은 다음과 같은 질문을 던진다: 일변수 성분이 소볼레프(Sobolev) 매끄러움을 갖는 KAN 함수 클래스에 대해 경험적 위험 최소화(empirical risk minimizer)가 어떤 속도를 달성하며, 이 속도가 미니맥스 최적(minimax optimal)인가?

방법론
저자들은 KAN 아키텍처로부터 구축된 시브 공간 $\mathcal{F}_n$ 위에서 정의된 최소제곱 추정량 $\hat{f}_n$ 을 분석한다. 대상 함수 $f_0$ 는 $Q$ 개의 유닛으로 구성된 유한 합으로 모델링된다:
$f(x) = \sum_{q=1}^Q g_q(T_q(x))$
여기서 $T_q(x)$ 는 가산적 집합( $\sum \psi_{qj}(x_j)$ ) 또는 승법적 집합( $\prod \psi_{qj}(x_j)$ )을 나타낸다. 내부 함수 $\psi_{qj}$ 와 외부 함수 $g_q$ 는 모두 $k_n$ 개의 매듭(knots)을 가진 차수 $m$ 의 B-스플라인으로 근사된다.

주요 방법론적 단계는 다음과 같다:

가정: 설계 분포는 유계인 밀도를 가지며, 오차는 i.i.d. 및 서브 가우시안(sub-Gaussian)이다. 회귀 함수는 일변수 성분이 소볼레프 매끄러움 $r$ 을 갖는 클래스 $\mathcal{F}^{KAN}_r$ 에 속한다. 결정적으로, 외부 함수 $g_q$ 는 $L_2$ 가 아닌 $L_\infty$ -소볼레프 스케일( $W^{r,\infty}$ )에서 제약되며, 시브는 안정성을 보장하기 위해 계수에 대한 명시적인 sup-norm 상한을 부과한다.
이론적 도구: 분석은 다음 세 가지 고전적 요소들을 결려한다:
- KAN 합성의 근사 바운드 (Lemma C.1): 곱셈 노드에 대한 텔레스코핑 논증을 활용한다.
- 비선형 시브의 메트릭 엔트로피 바운드 (Lemma C.2): 합성의 비선형성을 고려한다.
- 균등 유계 클래스 상의 최소제곱법에 대한 오라클 부등식 (Lemma C.3).
식별성(Identifiability) 분석: 저자들은 학습된 성분들이 실제 성분들로 수렴하는지 검토하며, 스케일 불변성(scale invariance)과 혼합 모호성(mixing ambiguities)으로 인해 중심화(centering)만으로는 식별성이 불충분함을 증명한다.

주요 기여 및 결과

수렴 속도: KAN 스플라인 시브 상의 최소제곱 추정량은 다음과 같은 균등 수렴 속도를 달성한다:
$O\left(\left(\frac{\log n}{n}\right)^{\frac{2r}{2r+1}}\right)$
이 속도는 일변수 성분이 소볼레프 매끄러움 $r$ 을 갖는 KAN 함수들의 볼(ball) 상에서 균등하게 성립한다.
차원 독립적 지수: 지수 $\frac{2r}{2r+1}$ 은 주변 차원 $d$ 와 무관하다. 저자들은 이것이 일반적인 소볼레프 클래스 $[0,1]^d$ 에 대한 미니맥스 하한 $n^{-2r/(2r+d)}$ 을 위반하는 것이 아님을 명확히 한다. 대신, 차원 독립적인 속도는 대상 함수가 고정된 수의 유닛 $Q$ 를 갖는 KAN 표현을 가진다는 구조적 가정으로부터 기인한다.
미니맥스 최적성: $n^{-2r/(2r+1)}$ 차수의 일치하는 하한이 확립되어, 이 추정량이 로그 인자를 제외하고 미니맥스 최적임을 보여준다. 저자들은 이 로그 인자를 KAN 아키텍처 자체가 아닌 시브의 비선형성(커버링에 대한 체이닝 요구)의 결과로 추적한다. 선형 하위 모델(예: 고정된 외부 함수)의 경우 로그 인자가 사라짐을 보여준다.
식별성: 논문은 중심화 제약이 KAN 표현을 식별하지 못함을 증명한다. 즉, 1-매개변수 스케일 그룹이 남아 있으며, $d=1$ 또는 $Q \ge 2$ 인 경우 추가적인 모호성이 존재한다. 결과적으로, 적합된 함수 $\hat{f}_n$ 의 일관성이 추가적인 정규화 및 비퇴화 조건 없이는 개별 일변수 성분 $\hat{\psi}_{qj}$ 의 일관성을 의미하지 않는다.
적응성(Adaptivity): 매듭 선택 규칙 $k_n \asymp (n/\log n)^{1/(2r+1)}$ 이 도출된다. 저자들은 디아딕(dyadic) 매듭 그리드 상의 페널티 선택이 $r$ 에 대한 사전 지식 없이도(스플라인 차수까지) 최적의 속도를 적응적으로 달성함을 보여준다.

실험적 검증
이론적 예측은 정확한 매끄러움 $r$ 을 알고 있는 합성 대상(synthetic targets)에 대해 검증되었다.

근사 오차: 일변수 스플라인 근사 오차는 $k^{-r}$ 로 감소하며, 이는 이론적 바운드와 일치한다.
수렴 속도: 경험적 $L_2$ 리스크는 가산적, 일변수, 곱법적 대상에 대해 (로그 인자를 제외하고) $n^{-2r/(2r+1)}$ 의 속도로 감소한다.
차원 독립성: 차원 스윕( $d=5$ 에서 $d=20$ )에서 KAN 추정량은 가파른 수렴 기울기를 유지하는 반면, 구조가 없는 베이스라인(k-NN, Kernel Ridge)은 차원의 저주 속도인 $n^{-2r/(2r+d)}$ 를 향해 저하된다.
매듭 선택: 리스크는 매듭 수에 따라 U자형을 보이며, 교차 검증은 $r$ 을 모르는 상태에서도 최적의 매듭 수를 성공적으로 찾아낸다.

의의 및 주장
본 논문은 KAN에 대한 최초의 엄밀한 수렴 분석을 제공하며, 이들이 구조화된 비매개변수 회귀를 위해 미니맥스 최적 속도를 달성함을 입증한다고 주장한다. 주요 의의는 KAN 아키텍처가 대상 함수가 특정 KAN 구조를 가질 경우, 일반적인 비매개변수 추정에 내재된 차원의 저주를 벗어날 수 있음을 보여준 데 있다.

저자들은 로그 인자에 대해 겸허한 태도를 취하며, 이것이 KAN 자체의 본질적 한계가 아니라 비선형 시브의 엔트로피에서 비롯된 인공물임을 언급하고, 이를 제거하기 위해 로컬 엔트로피 분석이 필요함을 지적한다. 또한, 회귀 함수는 일관되게 추정되지만, 기저의 일변수 성분을 복구하는 것은 표준적인 중심화가 보장하지 않는 특정 식별 조건이 필요함을 강조한다. 이 연구는 KAN의 실증적 성공과 고전적 비매개변수 이론 사이의 간극을 메우며, 층상 합성 구조를 유지하면서도 스플라인 기반 방법론과 함께 최적성 측면에서 위치시킨다.

유리 고층 빌딩 대 콘크리트 벽

로그의 히커업(Hiccup)과 "로그" 인자

숨겨진 구성 요소의 미스터리

매듭(Knots)과 적응성

실험실에서의 이론 검증

유사한 논문