🤖 machine learning

LTBs-KAN: Linear-Time B-splines Kolmogorov-Arnold Networks

이 논문은 기존 Kolmogorov-Arnold Networks(KANs)의 느린 연산 속도 문제를 해결하기 위해, B-스플라인 계산의 복잡도를 선형 시간으로 줄이고 행렬 분해를 통해 파라미터 수를 최적화한 'LTBs-KAN' 구조를 제안합니다.

원저자: Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: 기존 AI의 고민 (MLP vs KAN)

지금까지의 AI(MLP라고 부릅니다)는 마치 **'딱딱한 레고 블록'**과 같았습니다. 정해진 모양의 블록들을 쌓아서 복잡한 모양을 만들다 보니, 아주 정교한 곡선이나 복잡한 형태를 표현하려면 엄청나게 많은 블록이 필요했죠.

최근에 등장한 KAN이라는 새로운 방식은 이 블록들을 **'찰흙'**으로 바꾼 것과 같습니다. 찰흙은 자유자재로 늘리고 줄일 수 있어서(스플라인 함수), 훨씬 적은 양으로도 아주 복잡하고 부드러운 모양을 만들어낼 수 있습니다. 훨씬 똑똑해진 거죠!

하지만 문제가 하나 있었습니다. 찰흙은 다루기가 너무 까다롭고 시간이 오래 걸립니다. 레고 블록은 그냥 탁탁 끼우면 끝인데, 찰흙은 모양을 하나하나 정교하게 빚어야 하니 AI가 계산하는 속도가 기존 방식보다 10배나 느려진 것이죠.

2. 이 논문의 해결책: "LTBs-KAN" (마법의 찰흙 반죽기)

연구진은 이 '느린 찰흙' 문제를 해결하기 위해 LTBs-KAN이라는 기술을 제안했습니다. 이 기술의 핵심은 세 가지 비유로 설명할 수 있습니다.

① "마법의 찰흙 반죽기" (선형 시간 B-스플라인 알고리즘)

기존에는 찰흙을 빚을 때 아주 작은 숟가락으로 한 땀 한 땀 모양을 잡았다면, LTBs-KAN은 **'고성능 자동 반죽기'**를 도입한 것과 같습니다. 수학적인 계산 과정을 획기적으로 줄여서, 찰흙(곡선)을 만드는 속도를 엄청나게 빠르게 만들었습니다. 이제 찰흙을 쓰면서도 레고만큼 빠르게 작업할 수 있게 된 거죠.

② "압축 팩" (행렬 분해를 통한 파라미터 감소)

AI 모델이 커지면 기억해야 할 정보(파라미터)가 너무 많아집니다. 연구진은 이 정보들을 **'진공 압축 팩'**에 넣는 방법을 찾아냈습니다. 정보의 핵심은 그대로 유지하면서 부피만 확 줄여버린 것이죠. 덕분에 AI가 훨씬 가벼워졌고, 적은 메모리로도 똑똑하게 작동합니다.

③ "맞춤형 틀" (적응형 그리드 업데이트)

데이터가 들어올 때마다 그 데이터의 특징에 맞춰서 **'찰흙을 빚을 틀(Grid)'**을 실시간으로 바꿉니다. 예를 들어, 아주 작은 개미를 그려야 할 때는 아주 미세한 틀을 쓰고, 커다란 코끼리를 그릴 때는 큼직한 틀을 쓰는 식입니다. 이렇게 하면 낭비 없이 아주 효율적으로 모양을 만들 수 있습니다.

3. 결과: 얼마나 좋아졌나요?

연구진은 이 새로운 AI를 가지고 숫자 인식(MNIST), 옷 이미지 인식(Fashion-MNIST), 사물 인식(CIFAR-10) 테스트를 진행했습니다.

똑똑함: 기존의 찰흙 방식(KAN)들보다 더 정확하게 사물을 맞혔습니다.
빠름: 찰흙의 유연함을 가지면서도, 계산 속도는 매우 효율적으로 개선되었습니다.
가벼움: 성능은 유지하면서도 AI의 몸집(파라미터 수)을 줄이는 데 성공했습니다.

요약하자면!

이 논문은 **"자유자재로 모양을 바꿀 수 있는 똑똑한 찰흙(KAN)을, 어떻게 하면 레고 블록처럼 빠르고 가볍게 다룰 수 있을까?"**라는 질문에 대해, **'고성능 자동 반죽기'**와 **'압축 기술'**을 사용하여 해답을 제시한 연구입니다.

덕분에 앞으로 AI는 더 적은 에너지를 쓰면서도, 더 복잡하고 정교한 일을 훨씬 빠르게 해낼 수 있게 될 것입니다.

[기술 요약] LTBS-KAN: 선형 시간 복잡도를 갖는 B-스플라인 Kolmogorov-Arnold 네트워크

1. 문제 정의 (Problem Statement)

최근 제안된 **Kolmogorov-Arnold Networks (KANs)**는 기존의 다층 퍼셉트론(MLP)을 대체할 수 있는 혁신적인 구조로 주목받고 있습니다. KAN은 노드에 고정된 활성화 함수를 사용하는 대신, 에지(edge)에 학습 가능한 스플라인(spline) 함수를 배치하여 높은 표현력(expressibility)과 해석 가능성(explainability)을 제공합니다.

그러나 KAN은 다음과 같은 치명적인 한계를 가집니다:

높은 계산 비용: B-스플라인 함수를 계산하기 위해 사용하는 Boor-Mansfield-Cox 알고리즘의 재귀적 특성으로 인해, 동일한 파라미터 수의 MLP보다 약 10배 느립니다.
파라미터 효율성 문제: 높은 표현력을 얻기 위해 많은 수의 파라미터가 필요하며, 이는 대규모 데이터셋 적용 시 병목 현상을 일으킵니다.

2. 제안 방법론 (Methodology)

본 논문은 계산 복잡도를 획기적으로 줄이고 파라미터 효율성을 높인 **LTBs-KAN (Linear-Time B-splines KAN)**을 제안합니다.

A. LTBs 알고리즘 (Linear-Time B-spline Algorithm)

기존의 $O(nm^2)$ 복잡도를 가진 Boor-Mansfield-Cox 공식을 대신하여, Bernstein-Bézier 표현식을 활용한 새로운 병렬 알고리즘을 제안합니다.

Block 1 (Boundary Initialization): 경계값 계수를 초기화합니다.
Block 2 (Backward Recursion): 역방향 재귀를 통해 나머지 계수를 계산합니다.
이를 통해 스플라인 계수 계산을 선형 시간 복잡도 $O(n)$ 내에 수행할 수 있으며, GPU를 통한 병렬 연산에 최적화되었습니다.

B. 적응형 그리드 업데이트 (Adaptive Knot & Grid Update)

데이터의 범위( $x_{min}, x_{max}$ )에 따라 스플라인의 매듭(knot) 벡터를 동적으로 재구성하는 gridUpdate 절차를 도입했습니다. 이는 데이터의 분포에 맞춰 스플라인이 유연하게 적응하도록 돕습니다.

C. 파라미터 감소를 위한 행렬 인수분해 (Matrix Factorization)

전통적인 $W \in \mathbb{R}^{d_{in} \times d_{out}}$ 행렬 대신, Sum-Product Decomposition을 사용합니다. 학습 가능한 스칼라 $a_{jk}$ 와 고정된 기저 행렬 $M_{jk}$ 의 조합으로 가중치를 표현함으로써, 모델의 파라미터 수를 크게 줄이면서도 성능을 유지합니다.

D. KAN-ConvNet (Convolutional Architecture)

KAN의 개념을 합성곱 신경망(CNN)으로 확장했습니다. 패치 추출(Patch Extraction) 후, 각 패치에 LTBs-KAN 변환을 적용하여 공간적 불변성(translational equivariance)을 유지하면서도 국소적 비선형 표현력을 극대화했습니다.

3. 주요 기여 (Key Contributions)

새로운 알고리즘: B-스플라인 계수를 선형 시간에 계산하는 병렬 알고리즘(LTBs) 개발.
효율적 구조: 행렬 인수분해를 통한 파라미터 수의 획기적 절감.
CNN 확장: KAN 기반의 새로운 합성곱 레이어(KAN-Conv2D) 제안.
복잡도 개선: 스플라인 계산의 복잡도를 $O(nm^2)$ 에서 $O(nm) $으로, 전체 네트워크 복잡도를$ O(n)$ 수준으로 최적화.

4. 실험 결과 (Results)

실험은 MNIST, Fashion-MNIST, CIFAR-10 데이터셋을 통해 수행되었습니다.

MNIST: LTBs-KAN은 다른 KAN 모델(EfficientKAN, FastKAN 등)보다 높은 정확도와 F1-score를 기록했습니다. 특히 MLP보다 훨씬 적은 파라미터를 사용하면서도 성능 차이를 최소화했습니다.
Fashion-MNIST: FastKAN 등 일부 모델보다 정확도는 약간 낮았으나, 이는 스플라인 차수(degree)와 데이터 복잡도 사이의 '편향-분산 트레이드오프' 문제로 분석되었으며, 향후 정규화 연구의 필요성을 제시했습니다.
CIFAR-10 (KAN-ConvNet): 제안된 CNN 구조는 기존의 AlexNet이나 MLP, EfficientKAN-ConvNet보다 모든 지표(Accuracy, Precision, Recall, F1)에서 우수한 성능을 보였습니다. 특히 LTBs-KAN ConvNet* 모델은 효율성과 성능의 균형이 매우 뛰어났습니다.

5. 의의 (Significance)

본 연구는 KAN이 가진 **"높은 표현력 vs 낮은 계산 효율성"**이라는 고질적인 문제를 수학적 알고리즘 개선과 구조적 최적화를 통해 해결했습니다. LTBs-KAN은 계산 효율성을 확보함으로써 KAN이 이론적 모델을 넘어 실제 딥러닝 실무 및 자원이 제한된 환경(resource-constrained environments)에서도 활용될 수 있는 길을 열었다는 점에서 큰 의의가 있습니다.