🤖 machine learning

Kolmogorov-Arnold Fourier Networks

이 논문은 학습 가능한 랜덤 푸리에 특징과 하이브리드 활성화 메커니즘을 사용하여 국소 B-스플라인을 전역적 적응형 스펙트럼 표현으로 대체함으로써 기존 KAN 의 파라미터 폭주 및 고주파수 한계를 극복하고 다양한 작업에서 최첨단 성능과 효율성을 달성하는 새로운 아키텍처인 콜모고로프-아르노ルド 푸리에 네트워크 (KAF) 를 소개합니다.

원저자: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Kolmogorov-Arnold Fourier Networks"(KAF) 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 제시합니다.

큰 문제: "과도하게 설계된" 기계

로봇이 사진 속 고양이를 인식하도록 가르치려 한다고 상상해 보세요.

옛 방식 (MLP): 로봇에게 표준 도구 세트를 줍니다. 빠르고 간단하지만, 털의 질감이나 귀의 날카로운 모서리 같은 미세한 세부 사항을 놓치는 경우가 있습니다.
"새로운" 방식 (KAN): 몇 년 전 연구자들이 KAN(Kolmogorov-Arnold Network)이라는 새로운 도구 세트를 발명했습니다. 이론적으로 이 도구 세트는 천재적입니다. 어떤 모양이나 패턴도 완벽하게 설명할 수 있습니다. 하지만 실제로는 백만 개의 작은 맞춤형 벽돌로 집을 짓는 것과 같습니다.
- 문제 1 (너무 무거움): 너무 많은 매개변수 (벽돌) 가 필요해서 훈련하는 데 매우 무겁고 느립니다. 금으로 만든 벽돌로 가득 찬 배낭을 나르는 것과 같아서 로봇이 효율적으로 감당하기엔 너무 무겁습니다.
- 문제 2 (흐린 시야): KAN 은 모양을 만들기 위해 "부드러운" 곡선 (B-스플라인이라고 함) 을 사용하기 때문에 날카롭거나 톱니 모양이거나 "고주파수"인 세부 사항을 파악하는 데 어려움을 겪습니다. 소프트 포커스 필터를 통해 사진을 보는 것과 같습니다. 고양이는 보기 좋지만 수염은 흐릿합니다.

해결책: KAF("스펙트럼" 업그레이드)

저자들은 KAF(Kolmogorov-Arnold Fourier Network)라는 새로운 아키텍처를 제안합니다. 그들은 기존 KAN 을 단순히 수정한 것이 아니라, 데이터에 대해 "생각하는" 방식을 근본적으로 바꾸었습니다.

KAF 를 무겁고 흐린 KAN 도구 세트에서 벽돌을 음악 음표로 교체한 것으로 생각하세요.

1. 벽돌을 음악으로 교체하기 (스펙트럼 재파라미터화)

KAF 는 수백만 개의 작은 국소 조각 (B-스플라인) 으로 모양을 만드는 대신 **랜덤 푸리에 특징 (RFF)**을 사용하여 모양을 만듭니다.

비유: 복잡한 파도를 그리려 한다고 상상해 보세요.
- KAN은 수천 개의 작은 부드러운 점들을 연결하여 파도를 그리려 합니다. 시간이 매우 오래 걸리고 잉크도 너무 많이 사용합니다.
- KAF는 어떤 파도든 단순한 사인파 (음악 음표와 같은) 의 조합일 뿐임을 깨닫습니다. 점들을 그리는 대신, 이 음표들의 피치와 볼륨을 조절하는 몇 개의 "노브"를 튜닝할 뿐입니다.
결과: 이로 인해 필요한 "벽돌"(매개변수) 의 수가 극적으로 줄어듭니다. 로봇은 훨씬 가볍고 빨라지지만 여전히 복잡한 모양을 만들 수 있습니다.

2. "하이브리드" 엔진 (GELU-푸리에 활성화)

KAF 는 두 가지 유형의 연료를 동시에 작동시키는 특수 엔진을 도입합니다.

연료 A (GELU): 이는 "부드러운" 연료입니다. 사진의 크고 쉬운 부분 (고양이의 일반적인 모양 등) 을 처리합니다.
연료 B (푸리에/RFF): 이는 "날카로운" 연료입니다. 까다롭고 고주파수인 세부 사항 (수염과 털의 질감 등) 을 처리합니다.
마법: 로봇은 각 연료를 얼마나 사용할지 결정하는 스마트 스위치 (학습 가능한 계수) 를 가지고 있습니다. 훈련 초기에는 기본 사항을 올바르게 잡기 위해 주로 부드러운 연료를 사용합니다. 학습이 진행됨에 따라 미세한 세부 사항을 포착하기 위해 점차 "날카로운" 연료의 양을 늘립니다. 기본 육수를 만들고 서서히 향신료를 추가하여 맛을 완성하는 요리사와 같습니다.

3. 라디오 튜닝하기 (초기화 전략)

이 논문은 로봇이 듣는 "라디오 방송국"(주파수) 을 설정하는 데 사용되는 특정 숫자 1.64를 언급합니다.

비유: 라디오를 너무 왼쪽으로 튜닝하면 베이스 (저주파수) 만 들립니다. 너무 오른쪽으로 튜닝하면 정전기 (고주파수) 만 들립니다.
해결책: 저자들은 주파수의 "볼륨"을 1.64로 설정하는 것이 완벽한 균형임을 계산했습니다. 이는 로봇이 처음부터 올바른 소리 조합을 듣도록 보장하여 혼란을 겪거나 중요한 신호를 놓치지 않도록 합니다.

그들이 증명한 것

저자들은 이 새로운 "음악 로봇"(KAF) 을 여러 분야에서 기존 로봇 (MLP 및 KAN) 과 비교하여 테스트했습니다.

시각 (보기): 손글씨 숫자나 복잡한 이미지 (CIFAR, ImageNet) 를 인식하는 작업에서 KAF 는 다른 방법들보다 정확도가 높고 자원을 적게 사용했습니다.
언어 (읽기): 언어 모델 (GPT-2) 내부에서 사용될 때 KAF 는 표준 버전보다 텍스트를 더 잘, 더 빠르게 예측하는 법을 배웠습니다.
과학 (방정식 풀기): 로봇에게 복잡한 물리 방정식 (열의 확산이나 파동의 이동 등) 을 풀도록 요청했습니다. KAF 는 흐린 KAN 에 비해 이러한 방정식의 날카롭고 갑작스러운 변화를 포착하는 데 훨씬 뛰어났습니다.
모양 맞추기: 완벽한 사인파 (위아래로 움직이는 부드러운 곡선) 를 그리도록 요청했을 때, KAF 는 거의 완벽하게 그렸지만 다른 방법들은 가장자리에서 실수를 범했습니다.

결론

이 논문은 KAF가 이전의 "천재" 네트워크 (KAN) 의 두 가지 가장 큰 문제를 해결한다고 주장합니다.

가벼움(매개변수가 적고 훈련이 빠름).
날카로운 시야(다른 방법들이 놓치는 고주파수 세부 사항을 인식할 수 있음).

과거의 무겁고 부드러운 "벽돌"을 유연하고 음악적인 "푸리에" 방식으로 교체함으로써 KAF 는 효율성과 강력함을 모두 갖추어 차세대 AI 의 강력한 후보가 되었습니다.

기술 요약: 콜모고로프-아르놀드 푸리에 네트워크 (KAF)

문제 제기
콜모고로프-아르놀드 네트워크 (KAN) 는 고정된 활성화 함수를 학습 가능한 B-스플라인 기저 함수로 대체함으로써 강력한 이론적 표현력을 제공하지만, 고차원 작업에서의 실용적 채택을 방해하는 두 가지 결정적 장벽에 직면해 있습니다:

파라미터 폭발: 이중 행렬 아키텍처 (활성화 함수 행렬 및 B-스플라인 계수 행렬) 로 인해 파라미터 수가 전통적인 다층 퍼셉트론 (MLP) 보다 훨씬 크게 증가하여 높은 저장 및 계산 비용을 초래합니다.
스펙트럼 한계: B-스플라인 기저 함수의 고유한 부드러움은 고주파수 특징을 포착하는 능력을 제한하여, 자연 이미지, 오디오, 복잡한 미분 방정식과 같이 풍부한 스펙트럼 특성을 가진 데이터에서 최적 이하의 성능을 보입니다.

방법론
저자들은 스펙트럼 재파라미터화를 통해 KAN 패러다임을 근본적으로 재정의하는 콜모고로프-아르놀드 푸리에 네트워크 (KAF) 를 제안합니다. 핵심 아키텍처는 국소적이고 그리드 기반인 B-스플라인 표현을 전역적이고 적응적인 스펙트럼 표현으로 대체합니다.

주요 방법론적 구성 요소는 다음과 같습니다:

스펙트럼 재파라미터화: KAF 는 행렬 곱셈의 결합 법칙을 활용하여 KAN 의 대형 행렬들을 병합함으로써 파라미터 복잡도를 $O(d_{in} \times d_{out} \times (G + K + 3))$ 에서 $O(d_{in} \times d_{out})$ 로 줄입니다.
학습 가능한 랜덤 푸리에 특징 (RFF): B-스플라인 대신 KAF 는 입력을 재생 커널 힐베르트 공간 (RKHS) 으로 매핑하기 위해 학습 가능한 RFF 를 사용합니다. 주파수 행렬 $W$ 는 중앙 극한 정리와 GELU 활성화 함수의 푸리에 분석에서 유도된 스펙트럼 정렬 전략 (구체적으로 $\sigma = 1.64$ ) 을 통해 초기화됩니다. 이 초기화는 RFF 스펙트럼을 자연 신호에 대한 사전 지식과 정렬시켜 스펙트럼 누출을 완화합니다.
하이브리드 GELU-푸리에 활성화: 네트워크는 $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$ 로 정의된 동적 활성화 메커니즘을 활용합니다. 계수 $\alpha$ 와 $\beta$ 는 학습 가능한 스케일링 파라미터입니다. 훈련 과정에서 $\alpha$ 는 초기에 저주파수 부드러움을 우선시하는 반면, $\beta$ (작은 값, 예: $10^{-2}$ 로 초기화됨) 는 고주파수 성분을 포착하기 위해 점진적으로 증가하여 고정된 활성화에서 하이브리드 푸리에 - 심볼릭 표현으로의 자동 전환을 가능하게 합니다.

주요 기여

기저 변환: 파라미터 복잡도를 줄이면서 표현력을 유지하는 국소 B-스플라인에서 전역적 적응형 스펙트럼 표현으로의 전환.
스펙트럼 정렬 초기화: 고정 커널의 부드러움 한계를 깨고 고주파수 성분의 정확한 포착을 가능하게 하는 RFF 초기화 전략 ( $\sigma = 1.64$ ).
적응형 하이브리드 활성화: 훈련 중 저주파수 부드러움과 고주파수 표현을 동적으로 균형 있게 조절하여 안정성과 효율성을 보장하는 메커니즘.

실험 결과
컴퓨터 비전 (CV), 자연어 처리 (NLP), 오디오, 과학적 컴퓨팅 작업 전반에 걸쳐 포괄적인 실험이 수행되었습니다:

벤치마크 성능: 비전 데이터셋 (MNIST, CIFAR-10/100, SVHN) 에서 KAF 는 비교 가능한 파라미터 예산 하에서 MLP, KAN, FAN, GPKAN 보다 일관되게 높은 정확도를 달성했습니다.
대규모 모델: ResNet-18, ViT-Tiny, MLP-Mixer 에 통합되었을 때, KAF 는 합리적인 계산 비용을 유지하면서 Top-1 정확도를 향상시켰습니다 (예: ResNet-18 의 CIFAR-10 에서 91.72% 대 MLP 의 91.19%).
언어 모델링: GPT-2 아키텍처에서 순전통 네트워크 (FFN) 를 KAF 로 대체하면 WikiText(MLP 대비 184.53 대 180.85) 및 OpenWebText 에서 퍼플렉시티 (PPL) 가 감소했으며, 불안정성과 막대한 파라미터 오버헤드로 고통받았던 KAN 에 비해 훈련 시간이 크게 단축되었습니다.
함수 근사 및 편미분 방정식 (PDE): KAF 는 복잡한 함수 (고주파수 합 및 불연속 함수 포함) 에 대해 우수한 적합 능력을 입증했으며, MLP 및 기타 기준 모델에 비해 포아송, 열, 버거스 편미분 방정식 (PDE) 해결 시 더 낮은 오차를 달성했습니다.
애블레이션 연구: 실험은 하이브리드 GELU-RFF 활성화와 특정 초기화 $\sigma = 1.64$ 의 필요성을 확인했으며, 두 구성 요소 중 하나를 제거하면 성능이 저하됨을 보여주었습니다.

의의
본 논문은 KAF 가 콜모고로프-아르놀드 네트워크의 이론적 해석 가능성과 확장 가능한 딥러닝에 필요한 파라미터 효율성 사이의 간극을 성공적으로 메웠다고 주장합니다. KAN 에 내재된 "이론과 실전 사이의 역설"을 해결함으로써 KAF 는 KAN 의 함수 근사 관점을 유지하면서 향상된 효율성과 최첨단 성능을 달성하는 실용적인 대안을 제공합니다. 저자들은 KAF 를 현대 신경 아키텍처, 특히 고주파수 특징 추출이 필요한 작업에서 KAN 과 MLP 구성 요소 모두를 대체할 수 있는 실현 가능한 대안으로 위치시킵니다.