🔢 mathematics

Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

이 논문은 가우시안 기저 함수를 사용하는 KAN(Kolmogorov-Arnold Networks)의 안정성과 정확도를 높이기 위해, 각 에지의 가우시안 값을 국소적 합으로 나누어 '단위 분할(partition-of-unity)'을 구현한 PU-GKAN 구조를 제안하며, 이것이 다양한 수치 실험을 통해 효과적인 안정화 메커니즘임을 입증했습니다.

원저자: Amir Nooeizadegan

게시일 2026-04-28

📖 2 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Amir Nooeizadegan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: 기존 AI의 문제점 (조명 조절의 어려움)

기존의 AI(MLP라고 부르는 방식)가 **"모든 방의 불을 한꺼번에 켜고 끄는 커다란 스위치"**라면, 최근 주목받는 KAN은 **"각 방마다 설치된 아주 세밀한 조명 조절기"**와 같습니다. 이 조절기는 아주 부드럽게 빛의 밝기를 조절할 수 있어서, 복잡한 수학 문제나 물리 현상을 훨씬 더 정교하게 흉내 낼 수 있죠.

그런데 이 KAN에서 사용하는 '가우시안(Gaussian)'이라는 방식은 **"전등의 밝기를 조절하는 방식"**인데, 한 가지 큰 문제가 있습니다.

너무 밝게(Scale이 크면): 전등 빛이 너무 넓게 퍼져서 온 방이 뿌옇게 변해버립니다 (정보가 뭉개짐).
너무 어둡게(Scale이 작으면): 빛이 너무 좁은 곳만 비춰서 정작 중요한 곳은 아무것도 안 보입니다 (정보가 끊김).

즉, **"빛의 범위를 얼마나 적절하게 설정하느냐"**가 이 AI의 성능을 결정하는 아주 까다로운 숙제였습니다.

2. 해결책: PU-GKAN (빛의 균형을 맞추는 '마법의 필터')

이 논문의 저자(Amir Noorizadegan)는 이 문제를 해결하기 위해 **'PU-GKAN'**이라는 새로운 방식을 제안했습니다. 이를 **"빛의 합을 항상 1로 맞추는 마법의 필터"**라고 비유할 수 있습니다.

기존 방식이 각 전등의 밝기를 제멋대로 조절했다면, PU-GKAN은 다음과 같은 규칙을 적용합니다.

"어느 지점에서 보더라도, 주변 전등들의 밝기를 다 합치면 항상 똑같이 '1'이 되어야 한다!"

이것을 수학적으로는 **'단위 분할(Partition of Unity)'**이라고 부릅니다.

이게 왜 좋을까요? (비유)
여러 명의 화가가 커다란 벽화를 그린다고 상상해 보세요.

기존 방식: 화가들이 자기 구역만 자기 마음대로 색칠합니다. 어떤 곳은 색이 너무 진하고, 어떤 곳은 색이 너무 연해서 그림이 얼룩덜룩해집니다.
PU-GKAN 방식: 화가들이 서로의 색깔을 확인하며, **"우리가 칠하는 색의 총합은 항상 일정하게 유지하자"**라고 약속합니다. 그러면 색이 겹치는 부분도 자연스럽게 조절되고, 그림 전체가 아주 매끄럽고 균일하게 완성됩니다.

3. 이 방식의 장점 (왜 더 좋은가?)

논문은 실험을 통해 PU-GKAN이 다음과 같은 능력을 갖췄음을 증명했습니다.

"눈치 빠른 AI" (안정성): 빛의 범위를 조금 잘못 설정해도(Scale이 조금 틀어져도), 전체 밝기가 일정하게 유지되기 때문에 AI가 당황하지 않고 안정적으로 학습합니다.
"정교한 묘사" (정확도): 빛이 뭉치거나 끊기지 않으니, 복잡한 물리 법칙(파동, 열 전달 등)을 훨씬 더 정확하게 계산해 냅니다.
"균형 잡힌 시각" (데이터 활용): AI가 특정 데이터에만 집착하지 않고, 전체 데이터를 골고루 잘 살펴볼 수 있게 됩니다.

4. 요약하자면

이 논문은 **"AI가 세상을 배우는 과정에서, 정보를 받아들이는 '빛(데이터의 특징)'이 너무 밝거나 어둡지 않게, 항상 적절한 균형을 유지하도록 만드는 똑똑한 조절 장치(PU-GKAN)"**를 개발한 것입니다.

덕분에 AI는 더 복잡한 물리 문제를 풀 때도 훨씬 더 안정적이고 정확하게 정답을 찾아낼 수 있게 되었습니다!

[기술 요약] Partition-of-Unity Gaussian Kolmogorov–Arnold Networks (PU-GKAN)

1. 문제 배경 및 동기 (Problem Statement)

최근 Kolmogorov-Arnold Networks (KANs)는 기존 MLP(Multi-Layer Perceptrons)의 대안으로 주목받고 있습니다. KAN은 노드에 고정된 활성화 함수를 사용하는 대신, 에지(edge)에 학습 가능한 일변수 함수를 배치하는 구조를 가집니다. 기존 KAN은 주로 B-spline 기반이었으나, 최근 계산 효율성과 매끄러움(smoothness)을 위해 가우시안 기저 함수(Gaussian basis functions)를 사용하는 Gaussian KAN (GKAN) 연구가 활발히 진행되고 있습니다.

그러나 GKAN은 스케일 파라미터( $\epsilon$ )에 대한 극심한 민감도라는 고질적인 문제를 안고 있습니다.

$\epsilon$ 이 너무 작으면 기저 함수가 지나치게 국소화(localized)되어 학습이 어렵습니다.
$\epsilon$ 이 너무 크면 기저 함수가 평탄해져 수치적 불안정성(ill-conditioning)이 발생합니다.
이 논문은 이러한 민감도를 줄이고 학습 안정성과 정확도를 높이기 위한 새로운 정규화 기법을 제안합니다.

2. 제안 방법론 (Methodology: PU-GKAN)

본 논문은 Shepard-type Partition-of-Unity (PoU) 정규화 방식을 KAN의 에지 기저에 도입한 PU-GKAN을 제안합니다.

핵심 메커니즘

Shepard-type Normalization: 각 가우시안 기저 함수 $\phi_g(t)$ 를 해당 지점에서의 모든 기저 함수의 국소적 합 $S_\epsilon(t) = \sum_{h=1}^G \phi_h(t)$ 으로 나눕니다.
$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^G \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$
Partition of Unity (PoU) 특성: 이 과정을 통해 모든 기저 함수의 합이 항상 1이 되는( $\sum e\phi_g(t) = 1$ ) PoU 성질을 갖게 됩니다.
구조적 보존: 기존 KAN의 에지 기반 구조와 학습 가능한 계수(trainable coefficients)를 그대로 유지하면서, 기저 함수 값만 포인트별(pointwise)로 재조정합니다. 이를 통해 **상수 함수(constant function)를 정확하게 재현(exact reproduction)**할 수 있는 능력을 갖춥니다.

이론적 프레임워크

저자는 GKAN과 PU-GKAN을 유한 특징 커널(finite-feature kernel) 및 가법적 커널(additive-kernel) 관점에서 정식화하였습니다. 이를 통해 레이어의 커널 구조와 경험적 특징 행렬(empirical feature matrix)을 명시적으로 정의하고, 수치적 조건수(condition number)를 분석할 수 있는 토대를 마련했습니다.

3. 주요 기여 (Key Contributions)

새로운 아키텍처 제안: Shepard 방식의 PoU 정규화를 적용한 PU-GKAN을 도입하여 RBF 기반 KAN의 안정성을 개선했습니다.
수학적 정식화: Gaussian KAN을 유한 특징 커널 관점에서 해석하여, 커널의 랭크(rank)와 조건수(conditioning)를 이론적으로 설명했습니다.
실용적인 스케일 선택 규칙: 첫 번째 레이어의 특징 행렬을 기준으로, 인접 중심 간의 중첩(overlap)과 수치적 안정성을 고려한 실용적인 $\epsilon$ 선택 범위 $[\frac{1}{G-1}, \frac{2}{G-1}]$ 를 제시했습니다.
범용성 입증: 가우시안뿐만 아니라 Matérn RBF 기저에도 동일한 정규화가 적용 가능함을 보여주었습니다.

4. 실험 결과 (Results)

다양한 벤치마크를 통해 PU-GKAN의 우수성을 검증했습니다.

함수 근사 (Function Approximation): 매끄러운 함수(F1~F6)에 대해 PU-GKAN이 GKAN보다 훨씬 낮은 RMSE(평균 제곱근 오차)를 기록했습니다. (일부 사례에서 70% 이상의 성능 향상)
스케일 민감도 감소: $\epsilon$ 값의 변화에 따른 오차 곡선이 GKAN보다 더 완만하고 넓은 저오차 구간을 형성함을 확인했습니다.
고차원 확장성: 차원( $d$ )과 샘플 수( $N$ )가 증가하는 고차원 환경에서도 PU-GKAN이 일관되게 더 높은 정확도와 안정성을 보였습니다.
물리 정보 학습 (Physics-Informed Learning):
- Helmholtz 방정식: 복잡한 파동 방정식 문제에서도 정규화된 모델이 더 낮은 오차와 안정적인 수렴을 보였습니다.
- Wave Equation: 시공간 도메인의 파동 방정식에서도 PU-GKAN이 더 우수한 학습 궤적을 나타냈습니다.
예외 사항: 불연속 함수(F7)의 경우, 매끄러운 RBF 기저의 한계로 인해 정규화의 이점이 상대적으로 적거나 불균일하게 나타났습니다.

5. 결론 및 의의 (Significance)

본 논문은 Shepard-type PoU 정규화가 RBF 기반 KAN의 매우 단순하면서도 강력한 안정화 메커니즘임을 입증했습니다.

의의:

수치적 안정성: $\epsilon$ 선택의 어려움을 완화하고 학습 과정을 안정화합니다.
이론과 실무의 결합: 고전적인 Shepard 근사 이론과 현대적인 신경망 구조를 성공적으로 결합했습니다.
확장 가능성: 단순한 가우시안을 넘어 다양한 RBF 기저와 물리 기반 학습(PINNs) 분야에 즉시 적용 가능한 범용적인 방법론을 제시했습니다.