💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

본 논문은 복소 계수 RBF 딕셔너리와 이산 계층적 정밀화를 채택하여 연속 스플라인 기반 KAN의 메모리 및 수렴 문제를 피하면서도, 우수한 다변량 회귀, PDE 계수 복원, 그리고 하드웨어 효율적인 해석 가능성을 달성함으로써 Kolmogorov-Arnold Networks의 최적화 역설을 해결하는 기계 검증 아키텍처인 Dictionary-KAN(DKAN)을 소개한다.

원저자: Kiarash Mohammadi

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kiarash Mohammadi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 광활한 풍경 속에서, 연구자들을 오랫동안 괴롭혀온 지속적인 과제가 있었습니다. 그것은 바로 수학적 혼란의 바다 속에서 길을 잃지 않고 복잡한 패턴을 학습하는 기계를 어떻게 구축할 것인가 하는 문제였습니다. 수십 년 동안 표준적인 접근 방식은 모든 부분이 서로 통신하는 거대하고 조밀한 연결 격자에 의존해 왔습니다. 이러한 시스템은 강력하기는 하지만, 종종 해결책을 향한 가장 효율적인 경로를 찾는 데 어려움을 겪으며, 국소적 함정에 빠지거나 가용 하드웨어에서 실행할 수 없을 정도로 많은 메모리를 요구하곤 합니다. 콜모고로프-아르놀트 표현(Kolmogorov-Arnold representation)으로 알려진 새로운 아이디어는 다른 길을 제시했습니다. 이는 어떤 복잡한 다차원적 관계라도 일련의 더 단순한 일차원적 단계들의 합으로 분해될 수 있다고 제안했습니다. 이 개념은 세상을 모델링하는 더 우아하고 해석 가능한 방법을 약속했지만, 과학자들이 이를 실제로 구축하려 했을 때 근본적인 역설에 부딪혔습니다. 이러한 네트워크를 유연하게 만들기 위해 사용된 수학적 도구들이 너무 불안정하여, 학습 과정이 붕괴되거나 계산 비용이 불가능할 정도로 높아졌기 때문입니다.

키아라시 모함마디(Kiarash Mohammadi)라는 연구자는 '딕셔너리-KAN(Dictionary-KAN)'이라 불리는 새로운 아키텍처를 통해 이 역설에 대한 해결책을 제안했습니다. 데이터의 연속적인 격을 늘리거나 왜곡하려 시도하는 대신(이는 이전의 시도들을 괴롭혔던 불안정성을 초래하곤 했습니다), 이 새로운 시스템은 고정되고 미리 정의된 일련의 구성 블록을 사용합니다. 변하지 않는 단어 사전(dictionary)을 상상해 보십시오. 네트워크는 새로운 글자를 즉석에서 만들어내는 대신, 이 단어들을 조합하여 문장을 만드는 법을 배울 뿐입니다. 모든 연결을 이 안정적인 사전에 고정함으로써, 연구자는 컴퓨터가 해결하는 수학적 문제가 항상 매끄럽고 예측 가능하도록 보장하며, 이전 모델들에서 발생했던 갑작스러운 충돌이나 진전의 상실을 방지합니다. 이 접근 방식은 시스템이 이미 학습한 것을 잊지 않으면서도 더 크고 상세하게 성장할 수 있게 해주는데, 이는 기존의 이러한 유형의 네트워크에서는 불가능했던 성과입니다.

이 혁신은 단순히 안정성에만 그치지 않습니다. 연구자는 전체 시스템을 복잡한 수학적 공간으로 격상시켜, 네트워크가 서로 다른 변수들이 어떻게 곱해지고 상호작용하는지를 자연스럽게 이해할 수 있도록 했습니다. 이전 버전에서는 시스템이 무겁고 비효식적인 계산을 통해 이러한 상호작용을 강제로 학습해야 했습니다. 그러나 여기서는 구조 자체가 곱셈을 처리하므로 학습 과정이 훨씬 더 효율적입니다. 또한 이 설계에는 독특한 정교화 방법이 포함되어 있습니다. 네트워크가 더 정밀해져야 할 때, 기존의 층 사이에 새로운 세부 층을 삽착할 수 있으며, 이때 기존에 수행된 작업을 방해하지 않습니다. 새로운 부분들은 영(zero)의 영향력에서 시작하므로, 확장이 전후의 출력값이 정확히 동일하게 유지되도록 보장하며, 이는 새로운 것을 배우는 과정에서 기존 지식이 지워지는 '파괴적 망각(catastrophic forgetting)' 문제를 효과적으로 제거합니다.

이러한 주장이 단지 이론적인 희망에 그치지 않도록, 연구자는 핵심 로직을 엄격한 기계 검증(machine-verified check)에 통과시켰습니다. 수학적 진리를 증명하기 위해 설계된 특수 컴퓨터 프로그램을 사용하여, 최적화 이론의 모든 단계가 특정 조건 하에서 올바름을 검증했습니다. 컴퓨터는 이 시스템이 단 하나의 유일한 최적해를 가지며, 그 해를 찾는 방법이 막힘없이 항상 수렴한다는 것을 확인했습니다. 많은 이론이 증명하기 어려운 가정에 의존하는 이 분야에서, 이러한 수준의 확실성은 매우 드문 일입니다. 이 검증 결과는 일련의 실제 시뮬레이션에서도 테스트되었습니다. 여러 변수의 상호작용을 다루는 작업에서, 이 새로운 시스템은 표준적인 조밀한 모델보다 20배 더 높은 성능을 보였으며, 훨씬 적은 자원으로 훨씬 높은 정확도를 달아냈습니다.

이 시스템은 과학적 발견에서도 놀라운 능력을 보여주었습니다. 공기 저항이 있는 흔들리는 진자의 법칙을 식별하라는 요청을 받았을 때, 네트워크는 다른 모델들이 놓쳤던 미세한 감쇠력(damping force)을 포함하여 정확한 물리적 변수들을 성공적으로 분리해 냈습니다. 마찬가지로, 버거스 방정식(Burgers equation)으로 알려진 유체 역학 문제를 밝혀내는 과제에서, 필요한 곱셈 항들을 스스로 만들어내면서도 1% 미만의 오차로 정확한 수학적 관계를 재구성했습니다. 실질적인 응용 사례로서, 연구자들은 거친 금속 표면에서 빛이 반사되는 방식을 모델링하도록 네트워크를 훈련시켰는데, 이는 사실적인 컴퓨터 그래픽에 매우 중요한 작업입니다. 결과물로 나온 모델은 매우 깔끔하고 구조적이어서, 무거운 신경망 소프트웨어를 전혀 사용할 필요 없이 직접 짧고 사람이 읽을 수 있는 컴퓨터 프로그램으로 변환될 수 있었습니다.

하지만 이 연구에 한계가 없는 것은 아니며, 저자는 성공 사례와 마찬가지로 명확하게 한계점 또한 보고하고 있습니다. 시스템이 계단 함수(step function)와 같이 급격하고 갑작스러운 변화가 있는 데이터로 테스트되었을 때, 출력값이 날카로운 가장자리 주변에서 약간 진동하는 '링잉(ringing)'이라는 알려진 약점을 보였습니다. 새로운 시스템이 이전 버전들보다는 이 문제를 더 잘 처리했지만, 이러한 특정 사례에서는 단순하고 오래된 모델의 정밀도를 따라잡지 못했습니다. 또한, 기계 검증이 제공하는 수학적 보증은 데이터가 특정 구조를 갖추어야 한다는 등의 특정 조건이 충족되어야 한다는 점에 의존하므로, 이 이론이 모든 가능한 데이터셋에 대한 보편적인 보증은 아닙니다. 연구자는 이 시스템이 모든 세부 사항을 완벽하게 기억하도록 설계된 것이 아니라, 복잡한 관계를 이해하고 정교화하기 위한 도구임을 명시적으로 밝히고 있습니다.

이 연구는 인공지능을 더욱 신뢰할 수 있고 효율적으로 만드는 데 있어 중요한 진전을 의미합니다. 불안정한 연속 격리를 고정된 함수의 사전으로 대체함으로써, 연구자는 이러한 네트워크의 발전을 저해해 온 오랜 최적화 역설을 해결했습니다. 네트워크를 망각 없이 성장시키고, 물리 법칙을 높은 정밀도로 발견하며, 최종 결과를 단순한 코드로 컴파일할 수 있는 능력은, 이러한 시스템이 강력할 뿐만 아니라 이해 가능하고 실용적인 미래를 암시합니다. 이 연구 결과는 모든 문제에 대한 최종적인 답으로서가 아니라, 더 발전된 버전들이 구축될 수 있는 안정적인 토대로서 제시되었으며, 핵심 이론은 이미 기계에 의해 수학적으로 건전함이 검증되었습니다.

기술 요약: Dictionary-KAN

문제 정의

본 논문은 연속형 Kolmogorov-Arnold 네트워크(KAN)에 내재된 "최적화 역설(optimization paradox)"을 다룹니다. Kolmogorov-Arnold 표현 정리는 모든 다변수 연속 함수가 1차원 함수들과 덧셈으로 분해될 수 있음을 보장하지만, 표준적인 연속 KAN 구현체(B-spline, Chebyshev 다항식 또는 학습 가능한 Gaussian 중심점 사용)는 실제 적용 시 네 가지 결정적인 실패를 겪습니다:

기저 함수 병리 현상(Basis Function Pathologies): 유계 유리 함수(Bounded rational functions)는 기울기 소실을 유발하며, 고차 다항식은 변칙적인 영점 교차(zero-crossings)를 가진 구불구불한 손실 지형을 생성합니다.
그리드 불안정성(Grid Instability): 스플라인 매듭(knot)의 동적 재그리딩은 비볼록 정렬 붕괴(non-convex sorting collapses)와 도메인 왜곡을 초래하여, 국소적 업데이트 중에 파괴적 망각(catastrophic forgetting)을 일으킵니다.
KA 제약 조건 위반: 비선형 변수 상호작용(예: $x_1x_2$ )을 모델링할 때 종종 조밀한 선형 투영이나 게이팅이 필요하며, 이는 결과적으로 다층 퍼셉트론(MLP)의 조밀한 가중치 행렬을 재도입하게 되어 1차 합산 구조를 깨뜨립니다.
정규화의 난해함(Regularization Intractability): 표준 Sobolev $L_2$ 페널티는 급격한 전이를 흐릿하게 만들며, 엄격한 리프시츠(Lipschitz) 경계는 표현력을 과도하게 제한합니다.

또한, 연속 KAN은 조밀한 그리드 활성화가 네트워크 너비에 따라 비효율적으로 확장되는 "차원의 저주에 따른 메모리 문제"를 겪으며, 이는 종종 메모리 초과(OOM) 실패로 이어집니다.

방법론: Dictionary-KAN (DKAN)

저자는 연속적이고 학습 가능한 그리드 왜곡을 대신하여, 함수 해석학에 기반한 고정된 이산 사전(fixed, discrete dictionary) 방식을 사용하는 아키텍처인 Dictionary-KAN을 제안합니다. 핵심 설계 원칙은 다음과 같습니다:

1. 복소 계수를 갖는 고정된 RKHS 사전

학습 가능한 중심점 대신, 각 에지 함수는 재생 커널 힐베르트 공간(RKHS) 내의 고정된 Gaussian (magnitude-RBF) 사전으로 정의됩니다. 계수는 학습 가능한 복소수입니다.

에지 함수: $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ , 여기서 $c_m$ 은 고정된 실수 중심점이며 $w$ 는 복소수 가중치입니다.
복소 라우팅(Complex Routing): 입력값은 복소 평면으로 리프팅됩니다 ( $x_p \mapsto x_p + 0i$ ). 해석적 기저 항( $z, z^2$ )은 조밀한 행렬 투영 없이도 곱셈적 교차 항(예: $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ )을 자연스럽게 격리하여 추출합니다.

2. 이산 계층적 정밀화 (Discrete Hierarchical Refinement, DHR)

기존의 표현을 파괴하거나 재학습하지 않고 용량을 늘리기 위해, DKAN은 DHR을 채택합니다. 이 과정은 기존 사전 중심들 사이에 중간 지점 중심을 삽입합니다. 결정적으로, 새로운 가중치는 정확히 0으로 초기화되어, 정밀화 전후의 네트워크 출력이 **비트 단위로 동일(bit-identical)**함을 보장합니다. 이는 "제로 파괴적 망각"을 보장합니다.

3. 이산 총 변동(Discrete Total-Variation, TV) 정규화

희소성(sparsity)과 조각별 선형 가중치 프로파일을 강제하기 위해, 가중치 수열의 2차 이산 차분에 $\ell_1$ 페널티를 적용합니다: $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ .

4. 기계 검증 이론 (Machine-Verified Theory)

이 연구의 차별점은 핵심 최적화 이론이 Lean 4 / Mathlib에서 형식적으로 검증되었다는 점입니다. 저자는 비공식적인 점근적 논리에 의존하지 않고, 다음을 위한 기계 체크된 증명을 제공합니다:

엄격한 볼록성(Strict Convexity): 풀 랭크(full-rank) 사전 가정 하에서 손실 함수는 엄격하게 볼록합니다.
정상성(Stationarity): 경사 하강법의 정상성은 정규 방정식( $K^*(Kw-y)=0$ )과 동등합니다.
수렴성(Convergence): 유도된 Polyak–Lojasiewicz (PL) 조건 하에서 경사 하강법의 기하학적 수렴이 증명되었습니다.
제로 망각(Zero-Forgetting): DHR 항등식은 함수를 점별(pointwise)로 보존함을 증명합니다.

주요 결과

1. 최적화 안정성 및 정확도

결합된 다변수 회귀 작업( $f(x,y) = \sin(x)\cos(y) + xy$ )에서, DKAN은 밀집 RBF-KAN 베이스라인보다 약 20배 높은 성능(Test MSE 기준)을 보였습니다.

복소수 vs 실수: 복소수 DK가(C-DKAN)는 매끄럽고 단조롭게 수렴합니다. 반면, 실수형 DK가(R-DKAN)는 심각한 손실 불안정성과 기울기 충격을 보였으며, 이는 복소 위상(complex phase)이 기하학적 안정화 장치임을 입증합니다.
제로 망각: DHR 확장 시 네트워크 출력의 변화가 정확히 0.0으로 나타나, 이론적 보증을 확인했습니다.

2. 불연속성에 대한 한계

논문은 불연속성에 관한 부정적인 결과도 보고합니다. 계단 함수 근사 작업에서, 매끄러운 magnitude-RBF 사전은 깁스 현상(Gibbs-like ringing)(오버슈트/언더슈트)을 보입니다.

C-DKAN이 밀집 KAN보다 링잉 현상이 적기는 하지만, ReLU MLP의 거의 완벽한 계단 근사에는 미치지 못합니다.
가중치 공간의 곡률을 페널티로 주는 TV 정규화는 함수 공간의 오버슈트를 억제하는 데 실패했는데, 이는 넓은 오버슈트 범프가 작은 이산 2차 미분값을 갖기 때문입니다. 저자는 가중치 공간의 TV가 함수 공간의 링잉을 제어하지 못한다고 명시했습니다.

3. 하드웨어 확장성

DKAN은 연속형 KAN의 메모리 병목 현상을 해결합니다.

밀집 KAN은 에지 활성화 텐서에 대해 $O(BN^2G)$ 의 메모리를 요구하여, 너비 $N=256$ 에서 OOM이 발생합니다.
DKAN은 $O(BNM)$ 메모리로 확장됩니다. $N=128$ 일 때, DKAN은 밀집 베이스라인보다 18.6배 적은 VRAM을 사용합니다. $N=256$ 에서 밀집 모델은 실패하는 반면, DKAN은 2.66 GB 내에서 작업을 완료합니다.

4. 과학적 발견 (ODE 및 PDE)

감쇠 진자(Damped Pendulum): DKDKAN은 결합된 상태 공간 구조 $\{\theta, \dot{\theta}\}$ 와 비선형성 $\sin(\theta)$ 를 성공적으로 복구했습니다. 실수형 베이스라인은 감쇠 좌표 $\dot{\theta}$ 를 유지하지 못하고 단조적인 대리 변수로 대체했습니다.
Burgers' 방정식: DKAN은 점성 Burgers' PDE 계수( $u_t = -1.0.024 u u_x + 0.0095 u_{xx}$ )를 1% 미만의 오차로 찾아냈습니다. 결정적으로, $z = u + i u_x$ 를 통해 $u u_x$ 라는 비선형 곱을 자연스럽게 합성해 냈으며, 이는 베이스라인이 이 항을 명시적인 입력 피처로 요구했던 것과 대조적입니다.

5. 심볼릭 컴파일 (Symbolic Compilation)

DKAN은 BRDF 에너지 보상을 위한 약 50줄의 폐쇄형 GLSL 셰이더로 컴파일될 수 있습니다. 작은 가중치를 가지치기(pruning)하고 고정된 중심점을 사용함으로써, 네트워크를 직접 심볼릭 표현 트리로 변환하여 신경망 런타임 없이 실시간 배포가 가능하게 합니다.

의의 및 주장

본 논문은 Dictionary-KAN을 (구조화되지 않은 MLP가 매끄러운 그리드에서 더 낮은 MSE를 달성할 수 있는) 보편적 보간기가 아니라, 안정적이고 해석 가능하며 하드웨어 효율적인 MLP 및 연속형 KAN의 대안으로 포지셔닝합니다.

주요 의의는 다음과 같습니다:

최적화 역설 해결: 고정된 사전과 복소 라우팅을 사용하여 그리드 불안정성과 기울기 소실을 제거하면서도 KA 정리의 위상적 제약을 유지합니다.
기계 검증된 보증: KAN의 수렴, 볼록성, 제로-망각 정밀화를 위한 최초의 기계 체크된 증명을 제공하여 비공식적인 이론적 주장을 넘어섰습니다.
네이티브 곱셈 결합: 밀집 투영이 아닌 복소 해석적 특성을 통해 변수 간 상호작용 모델링을 달성합니다.
확장성: 밀집 그리드 기반 KAN과 관련된 차원의 저주 문제를 해결합니다.

저자는 겸손한 태도를 취하며, 매끄러운 사전가 불연속성에 취약하다는 점과 현재의 이론이 (향후 V2에서 다룰 데이터 의존적 인증이 필요한) 조건부 전제에 기반하고 있음을 명시적으로 인정합니다. 이 연구는 커널 이론적 통합과 딥 시스템 확장을 목표로 하는 "V1" 기초 단계로 프레임화되었습니다.