📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

이 논문은 고정된 엣지 활성화 함수를 스칼라 지수 $p$ 에 의해 제어되는 바나흐 쌍대 사상(Banach duality maps)에서 유도된 학습 가능한 함수로 대체함으로써, 기호 회귀(symbolic regression)에서 우수하거나 경쟁력 있는 성능을 달성하고 기존의 고정 기저 KAN 대비 노이즈와 적은 샘플 크기에 대한 향상된 강건성을 입증하는 기하학적 제약 콜모고로프-아르노프 네트워크(Banach-KANs)를 소개한다.

원저자: K S Sesh Kumar

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: K S Sesh Kumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

과학적 발견의 세계에서, 많은 자연 법칙들은 한 양이 다른 양에 반응하여 어떻게 변하는지를 설명합니다. 진자의 흔들림은 그 각도에 따라 달라지며, 자동차의 속도는 교통 밀도에 따라 달라지고, 별의 밝기는 그 온도에 따라 달라집니다. 수십 년 동안 과학자들은 이러한 관계를 포착하기 위해 수학적 모델을 사용해 왔지만, 모델 자체를 유연하고 학습 가능한 실체로 취급하는 더 새로운 접근 방식이 등장했습니다. 콜모고로프-아르노프 네트워크(Kolmogorov–Arnold Network)라고 알려진 이 접근 방식은 복잡한 문제를 작고 단순한 조각들로 나눔으로써 작동합니다. 시스템 전체가 단 하나의 경직된 규칙을 학습하도록 강요하는 대신, 이 방식은 두 지점 사이의 모든 연결이 자신만의 고유하고 학습 가능한 함수에 의해 제어되는 네트워크를 구축합니다. 이러한 네트워크의 핵심 과제는 항상 그 함수들이 어떤 형태를 가져야 하는지를 결정하는 것이었습니다. 전통적으로 연구자들은 매끄러운 곡선이나 반복되는 파동과 같이 특정한 형태를 미리 정해두고 이를 문제 전체에 고수해야 했습니다. 이는 마치 고장 난 기계를 오직 한 종류의 렌치로만 고치려는 것과 같습니다. 어떤 볼트에는 잘 맞을지 몰라도, 다른 볼트에는 처참하게 실패할 수 있기 때문입니다.

임페리얼 칼리지 런던의 한 연구자는 이 문제에 대해 다르게 생각할 방법을 제안했습니다. 그는 진짜 문제가 함수의 형태 자체가 아니라, 그 함수가 존재하는 근본적인 '기하학' 또는 공간이라는 점을 깨달았습니다. 수학에서 기하학은 거리가 어떻게 측정되는지, 그리고 곡선이 얼마나 날카롭거나 매끄러울 수 있는지를 결정합니다. 이 연구자는 학습이 시작되기 전에 기하학이 고정되지 않는 새로운 유형의 네트워크를 개발했습니다. 대신, 네트워크는 각 개별 연결로부터 데이터로부터 직접 최적의 기하학을 학습합니다. 그는 네트워크의 모든 연결에 대해 하나의 조정 가능한 숫자를 도입함으로써 이를 달성했습니다. 이 숫자는 연결의 동작을 날카롭고 임계값 같은 형태에서 매끄럽고 선형적인 형태로, 혹은 평평하고 포화된 형태로 변화시키는 다이얼 역할을 합니다. 데이터를 통해 이 다이얼을 어디에 설정할지 결정하게 함으로써, 네트워크는 자신이 해결하려는 문제의 특정한 기벽에 맞춰 자신의 내부 구조를 적응시킬 수 있습니다.

연구자는 이 아이디어를 표준 물리 방정식부터 시스템을 스트레스 테스트하기 위해 설계된 합성 챌린지에 이르기까지 50가지의 서로 다른 수학적 문제에 테스트했습니다. 그는 스플라인(매끄러운 곡선을 그리는 데 사용되는 유연한 자와 같은 것)이나 다항식처럼 고정된 형태에 의존하는 기존 모델들과 이 새로운 기하학 적응형 네트워크를 비교했습니다. 결과는 고정된 형태의 모델들이 갑작스러운 도약이나 날카로운 모서리가 포함된 데이터를 처리할 때 어려움을 겪었음을 보여주었습니다. 이 모델들은 데이터에 맞추기 위해 충분히 굽혀질 수 없었기에 종종 흔들리고 부정확한 결과를 만들어냈습니다. 반면, 스스로의 기하학을 조정할 수 있는 새로운 네트워크는 고정된 형태의 모든 기준 모델의 성능을 따라잡거나 능가했습니다. 18개의 핵심적인 어려운 방정식 세트에서 새로운 방법은 가장 좋은 평균 순위를 기록했으며, 50개 전체 세트에서도 가장 강력한 전통적 방법들과 대등한 성능을 보였습니다.

아마도 가장 중요한 발견은 이 새로운 네트워크가 노이즈를 처리하는 방식이었을 것입니다. 현실 세계에서 측정값은 결코 완벽하지 않으며, 종종 무작위 오류나 '정적(static)'을 포함합니다. 연구자가 데이터에 점점 더 많은 양의 노이즈를 추가했을 때, 전통적인 모델들은 빠르게 무너졌습니다. 노이즈가 증가함에 따라 이들의 오차율은 21배 이상 증가했습니다. 새로운 기하학 적응형 네트워크는 훨씬 더 견고했습니다. 노이즈 수준이 높아지더라도 오차율은 원래 오차의 4배 미만으로 훨씬 적게 증가했습니다. 이는 적절한 기하학을 학습함으로써 네트워크가 무작위적인 정적을 무시하고 진정한 신호에 집중할 수 있음을 시사하며, 이는 고정된 형태의 모델들이 갖지 못한 능력입니다.

이 연구는 또한 네트워크가 모든 것에 대해 단일하고 균일한 기하학을 학습하는 것이 아님을 밝혔습니다. 대신, 동일한 네트워크 내의 서로 다른 연결들이 그들의 기하학 다이얼에 대해 서로 다른 설정을 학습했습니다. 어떤 연결은 갑작스러운 변화를 처리하기 위해 매우 날카로워지는 법을 배웠고, 다른 연결은 점진적인 추세를 위해 매끄러워지는 법을 배웠습니다. 이러한 전문화는 다양한 유형의 방정식과 입력 차원에 걸쳐 일관되게 나타났습니다. 예를 들어, 문제에 더 많은 변수가 포함될 때 네트워크는 더 자주 더 날카로운 기하학을 학습하는 경향이 있었습니다. 이 행동은 일종의 해석 가능성을 제공합니다. 연구자들은 네트워크가 선택한 설정을 살펴봄으로써 문제의 근저에 있는 구조를 반영하는 신호를 볼 수 있습니다. 네트워크는 본질적으로 우리에게 "이 부분의 문제는 날카로운 모서리가 필요하고, 저 부분은 매끄러운 곡선이 필요하다"라고 말하는 것입니다.

연구자는 또한 매우 적은 양의 데이터가 사용 가능한 경우에 어떤 일이 일어나는지도 탐구했습니다. 이러한 소규모 샘플 시나리오에서도 새로운 네트워크는 효과적으로 학습하기 위해 방대한 양의 데이터를 필요로 하는 고정 형태 모델들을 다시 한번 앞질렀습니다. 기하학을 적응시키는 능력 덕분에 새로운 네트워크는 훨씬 적은 사례만으로도 정확한 답에 근접할 수 있었습니다. 그러나 연구는 이 접근 방식의 한계 또한 언급했습니다. 이 방법은 저-중차원 문제에서는 뛰어나지만, 이미지 인식 등에 사용되는 깊고 거대한 신경망을 대체하는 것은 아닙니다. 실제로 이미지 데이터셋에 대해 테스트했을 때, 이 새로운 방법이 표준 네트워크와 대등한 성능을 보이려면 20~30배 더 많은 파라미터가 필요했는데, 이는 이 방법의 강점이 원시적인 규모보다는 특정 유형의 회귀 문제에 대한 효율성과 적응성에 있음을 시사합니다.

궁극적으로, 이 작업은 올바른 도구를 선택하는 것에서 도구가 스스로의 형태를 바꿀 수 있도록 만드는 것으로 초점을 전환합니다. 연구자는 복잡한 회귀 문제를 해결하는 열쇠는 데이터를 표현하는 데 사용되는 구체적인 수학적 기초가 아니라, 그 표현이 존재하는 기하학적 공간임을 입증했습니다. 그 공간을 학습 가능한 파라미터로 만듦으로써, 그들은 노이즈에 더 견고하고, 작은 데이터셋에서 더 효율적이며, 모델링하려는 관계의 진정한 본질을 포착하는 데 더 유능한 시스템을 만들었습니다. 이 연구 결과는 향-미래의 가장 효과적인 모델은 가장 복잡한 고정된 구조를 가진 모델이 아니라, 자신이 해결하려는 문제의 기하학 자체를 학습할 수 있는 모델이 될 것임을 시사합니다.

기술 요약: 기하학적 제약이 가해진 콜모고로프-아르노프 네트워크 (Geometry-Constrained Kolmogorov–Arnold Networks)

문제 정의

콜모고로로프-아르노프 네트워크(KAN)는 심층 구조 내의 고정된 활성화 함수를 학습 가능한 단변량 에지 함수(univariate edge functions)로 대체한다. B-스플라인(B-splines), 체비쇼프 다항식(Chebyshev polynomials), 또는 푸리에 특징(Fourier features)을 사용하는 기존의 KAN 변형들은 유연성을 제공하지만, 이들은 **고정된 기저 확장(fixed basis expansions)**에 의존한다. 이는 데이터를 관찰하기 전부터 특정 함수 공간의 기하학적 구조(예: 매끄러움, 주기성, 또는 국소성)를 미리 부과하는 결과를 초래한다.

본 논문은 이러한 고정된 기하학이 근본적인 한계라고 주장한다. 서론에서 입증되었듯이, 서로 다른 고정 기저들은 대상 함수와 일치하지 않는 구조를 가질 때 각기 다른 방식으로 실패한다(예: 매끄러운 기저는 Heaviside 단계 함수와 같은 불연속성을 맞추는 데 어려움을 겪음). 핵심 문제는 표현 능력(representational capacity)의 문제가 아니라 **기하학적 불일치(geometric mismatch)**이다. 즉, 부과된 기저의 기하학적 구조가 대상 함수의 본질적인 기하학적 구조와 정렬되지 않는 것이 문제이다.

방법론: 기하학적 제약이 가해진 KAN

저자는 에지 활성화 함수가 이산적인 기저 집합에서 선택되는 것이 아니라, 학습 가능한 바나흐 공간(Banach space) 기하학의 **쌍대 사상(duality map)**으로부터 유도되는 기하학적 제약 KAN을 제안한다.

1. 이론적 기초

이 접근 방식은 노름(norm), 볼록 포텐셜(convex potential), 그리고 그 기울기(gradient, 즉 활성화 함수) 사이의 대응 관계를 활용한다:
$\text{norm} \implies \text{geometry} \implies \text{convex potential } \Psi \implies \text{activation } \phi = \nabla \Psi$
기저를 고정하는 대신, 저자는 $\ell_p$ 패밀리를 사용하여 기하학을 매개변수화한다. 지수 $p$ 는 에지의 질적인 동작을 제어한다:

$p \to 1$ : $\ell_1$ 기하학을 연상시키는 날카롭고 임계값 형태의 동작을 생성한다.
$p = 2$ : 선형/유클리드 영역을 회복한다.
$p > 2$ : 원점 근처에서 더 평탄한 응답과 꼬리 부분에서의 멱법칙(power-law) 성장을 생성한다.

2. 아키텍처 변형

논문은 표현력과 기하학적 적응의 효과를 격리하기 위해 제어된 세 가지 아키텍처 패밀리를 정의한다:

Tanh-KAN: 표준 $\tanh$ 활성화 함수(Orlicz 쌍대성, $\Psi(z) = \log \cosh z$ 로부터 유도됨)를 사용한다. 이는 유계된 표현력을 제공하지만 기하학적 적응 능력은 없다.
$\ell_p$ -KAN: 쌍대 사상 $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ 를 사용한다. 이는 학습 가능한 지수 $p$ 를 통해 기하학적 적응을 허용하지만, 유계된 포화(saturation) 기능은 결여되어 있다.
Banach-KAN: 본 논문의 주요 모델로, 두 가지 분기를 결합한다:
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
이 아키텍처는 유계된 포화( $\tanh$ 로부터)와 적응형 멱법칙 기하학( $J_p$ 로부터)을 통합하여, 에지가 다양한 응답 영역을 가로지를 수 있도록 한다.

3. 구현 세부 사항

학습 가능한 지수: 지수는 $p = 1 + \exp(\theta)$ 로 매개변수화되어, $\theta$ 의 무제한 최적화를 가능하게 한다.
수치적 안정성: 정확한 쌍대 사상 $J_p$ 는 $p < 2$ 인 경우 $z=0$ 에서 특이한 미분값을 갖는다. 저자는 기하학적 해석을 유지하면서 원점에서의 미분 가능성을 보장하기 위해 어디서나 $C^1$ 급으로 매끄러운 맵인 $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ 를 구현하였다.
학습 가능한 깊이 조건: 이론적 분석(Proposition 1)에 따르면, 가우시안 사전 활성화(Gaussian pre-activations)를 가진 피드포워드 스택의 경우, $p > 3/2$ 인 경우에만 임계 가중치 척도가 존재한다. 이 임계값 미만에서는 잔차 연결(residual connections) 없이는 신호 전파가 불안정해질 수 있다.

주요 기여

기하학적 제약 매개변수화: 기저 선택에 의해 고정된 것이 아니라, 데이터로부터 직접 학습되는 기하학(제어되는 $p$ )을 가진 바나흐 쌍대 사상에서 유도된 KAN 에지 활성화를 도입하였다.
통합적 해석: KAN 에지 함수를 단순한 기저 확장이 아닌, 기하학적으로 제어되는 사상(mapping)으로 재정의하였다.
경험적 강건성: 학습된 기하학이 작은 샘플 규모에서 고정 기저 KAN 및 명시적 스플라인 정규화에 비해 측정 노이즈와 근사 오차에 대해 더 높은 강건성을 보임을 입증하였다.
해석 가능한 신호: 학습된 지수가 대상 함수에 의존하는 일관된 기하학적 순위(예: 더 날카로운 타겟은 더 낮은 $p$ 를 가짐)를 제공하며, 이것이 노이즈 수준과 입력 차원에 관계없이 안정적임을 보여주었다.
유연성의 절제(Ablation of Flexibility): 매칭된 예산의 대조군(예: 기울기 적응형 활성화, 유리 함수, 혼합 모델)과 비교함으로써, 일반적인 파라미터 유연성과 "기하학" 효과를 분리하여 검증하였다.

실험 결과

모델들은 50개의 기호 회귀(symbolic regression) 타겟(AI Feynman 벤치마크 40개, 합성 스트레스 테스트 10개)과 12개의 PMLB 표 형식 데이터셋에서 평가되었다.

깨끗한 데이터에서의 성능

중앙값 NRMSE: Banach-KAN은 전체 50개 방정식 벤치마크에서 0.030의 중앙값 NRMSE를 달성하여, Chebyshev-KAN(0.030)과 통계적으로 동등한 성능을 보였으며 Spline-KAN(0.037)을 능가하였다.
순위: Banach-KAN은 "Core 18" 서브셋에서 가장 좋은 평균 순위(2.00)를 기록했으며, 전체 세트에서도 최고 순위(2.34인 Spline 대비 2.32)와 거의 동등한 성적을 거두었다.
소규모 샘플 규모: Banach-KAN은 소규모 샘플 규모( $n=50$ 및 $n=100$ )에서 가장 많은 방정식을 우수한 성적으로 해결하여, 더 많은 데이터를 필요로 하는 고정 기저 모델들을 압도하였다.

노이즈에 대한 강건성

본 논문은 측정 노이즈( $\sigma$ 가 0에서 1로 증가)가 증가할 때의 유의미한 이점을 강조한다:

성능 저하 비율: 노이즈가 증가함에 따라 고정 기저 모델들은 크게 저하되었다(Spline G=3은 21.6배, Cheby-KAN은 14.9배 저하).
기하학적 제약의 안정성: 기하학적 제약이 가해진 변형 모델들은 훨씬 적게 저하되었다. $\ell_p$ -KAN은 3.7배만 저하되었고, Banach-KAN은 8.8배 저하되었다. 주목할 점은 교차 검증된 스플라인조차 약 11배 저하되었다는 것이며, 이는 학습된 기하학이 튜닝된 정규화보다 더 강건함을 의미한다.
노이즈 영역의 변화: 높은 노이즈( $\sigma=1.0$ ) 환경에서는 $\ell_p$ 변형 모델이 Banach-KAN보다 우수한 성능을 보였는데, 이는 순수 멱법칙 기하학이 결합된 아키텍처보다 극심한 노이즈에 더 강건할 수 있다는 트레이드오프를 시사한다.

외삽(Extrapolation) 및 표 형식 데이터

외삽: 입력 공간의 내부 60%에서 학습하고 외부 영역에서 테스트했을 때, Banach-KAN과 $\ell_p$ -KAN은 각각 0.35와 0.42의 가장 낮은 NRMSE를 달축성하였으며, 이는 Splines(0.73)나 RBFs(0.86)와 같은 국소적 기저 모델들을 크게 앞서는 수치이다.
표 형식 데이터: 12개의 PMLB 데이터셋에서 기하학적 제약 모델 군이 10개에서 승리하였다. Tanh-KAN이 가장 강력한 단일 모델(5승)이었으며, Banach-KAN은 1승을 거두었다. Spline G=3은 승리가 없었다.

의의 및 주장

본 논문은 자신의 기여를 SOTA(최첨단) 벤치마크 기록 경신이 아닌 하나의 설계 원칙으로 포지셔닝한다. 저자는 다음과 같이 명시적으로 밝힌다:

제한된 범위: 이 방법은 저차원-중차원 회귀를 위해 설계되었다. 이미지 분류와 같이 MLP가 파라미터 수 20~30배 수준에서 성능이 맞먹는 딥러닝 구조(예: ResNet)와 직접 경쟁하려는 것이 아니다.
적절한 도구로서의 역할: 동일한 에지당 예산 하에서, 측정 노이즈가 있고 소규모 샘플 규모인 상황에서는, (학습된 $p$ 를 통해 유도된) 유도된 기하학이 원시적인 표현력보다 학습 성공을 결정짓는 핵심 요소라는 것이다.
해석 가능성: 학습된 지수 $p$ 는 대상 함수의 구조(날카로움 대 매끄러움)에 필요한 정규성을 수동 튜닝 없이도 제공하는 "기하학적 판독값" 역할을 한다.
한계: 저자는 데이터 크기가 커짐에 따라 에지당 형태의 용량 상한이 존재함을 인정하며, 현재의 평가가 기호 회귀와 표 형식 데이터에 국한되어 있어 고차원 모달리티(시퀀스, 이미지)에 대한 향후 연구가 필요함을 언급하였다.

요약하자면, 본 논문은 기하학이 KAN의 핵심적인 모델링 선택이라고 주장한다. 학습 가능한 지수 $p$ 를 통해 기하학을 적응형으로 만듦으로써, 모델은 데이터와 자신의 귀납적 편향(inductive bias)을 정렬할 수 있으며, 결과적으로 고정된 기저가 실패하는 영역에서 탁월한 강건성과 근사 능력을 보여준다.