🤖 AI

KAN vs LSTM Performance in Time Series Forecasting

본 연구는 베이스라인 Kolmogorov-Arnold 네트워크(KAN)가 훈련 과정에서 더 빠르게 수렴하는 반면, 장단기 메모리(LSTM) 네트워크가 확률적이고 비정상적인 금융 시계열 데이터에 대해 KAN보다 예측 정확도 측면에서 현저히 우수한 성능을 보인다는 점을 입증하며, 정확도가 중요한 예측 과업에 있어 LSTM이 더 우월한 선택임을 확립한다.

원저자: Tabish Ali Rather, S M Mahmudul Hasan Joy, Nadezda Sukhorukova, Federico Frascoli

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tabish Ali Rather, S M Mahmudul Hasan Joy, Nadezda Sukhorukova, Federico Frascoli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 두 예측 모델의 경주

당신이 앞으로 며칠간의 날씨를 예측하려고 한다고 상상해 보세요. 하지만 날씨는 매우 혼란스럽고, 수시로 마음을 바꾸며, 단순한 규칙을 따르지 않습니다. 당신에게는 도움을 줄 두 가지 서로 다른 "예측가"(컴퓨터 모델)가 있습니다.

베테랑 탐정 (LSTM): 이 모델은 아주 오랫동안 존재해 왔습니다. 이 모델은 시간에 따라 펼쳐지는 이야기(사건의 시퀀스)를 파악하고, 어제의 일을 기억하여 내일의 일을 추측하는 데 매우 탁월한 것으로 유명합니다.
새로운 이론적 천재 (KAN): 이 모델은 화려한 수학적 정리에 기반한 아주 새로운 모델입니다. 이 모델은 매우 "투명"하다는 것, 즉 모델이 어떻게 결정을 내리는지 그 과정을 쉽게 들여다볼 수 있다는 점을 약속합니다. 하지만 이 모델은 원래 시간이 흐르는 이야지가 아니라, 정적인 퍼즐을 풀기 위해 설계되었습니다.

이 논문의 저자들은 이 두 모델을 맞붙여, 누가 주식 시장 가격(무질서하고 무작위이며 끊임없이 변화하는 것)을 더 잘 예측하는지 확인했습니다.

설정: 게임의 규칙

연구진은 다음과 같은 구체적인 과제를 설정했습니다.

과제: 과거 데이터(시가, 고가, 저가, 종가, 거래량)를 바탕으로 미래의 주가를 예측하는 것입니다.
규칙: 그들은 "직접 다중 출력(Direct Multi-output)" 방식을 사용했습니다. 이것은 모델에게 이렇게 묻는 것과 같습니다. "여기 지난 20일간의 데이터가 있어. 자, 이제 정확히 1일 후, 2일 후, 혹은 100일 후의 가격이 각각 얼마가 될지 한꺼번에 말해봐."
성적표: 그들은 성공 여부를 RMSE(평균 제곱근 오차)를 사용하여 측정했습니다. 이것을 "실수 점수"라고 생각하세요. 숫자가 낮을수록 모델이 더 우수하다는 뜻입니다.

결과: 베테랑의 압도적인 승리

결과는 모든 시간대(1일, 2일, 100일)에 걸쳐 명확하고 일관되었습니다.

베테랑(LSTM)이 압도적인 승리자였습니다. LSTM은 훨씬 더 높은 정확도로 주가를 예측했습니다. 실제로 LSTM의 실수는 새로운 천재(KAN)의 실수보다 6.5배에서 10배나 더 작았습니다.
새로운 천재(KAN)는 고전했습니다. 이론적으로는 흥미로웠지만, 엄청난 오류를 범했습니다. 이는 마치 움직이는 퍼즐을 풀기 위해 퍼즐 조각들을 그 자리에 얼려버린 것과 같았습니다. KAN은 시간의 흐름을 따라잡지 못했습니다.

비유:
당신이 러너(달리기 선수)가 10초 후에 어디에 있을지 예측하려고 한다고 상상해 보세요.

LSTM은 러너를 관찰하며 그들의 속도, 보폭, 그리고 관성을 파악하여 미래의 경로를 계산합니다.
표준 KAN은 러너의 사진을 찍어 그 사진을 하나의 숫자 리스트로 평면화한 뒤(발걸음의 순서를 무시하고), 미래를 추측합니다. 이는 영화의 중간 부분에서 무작위로 뽑은 프레임들을 모아놓고 영화의 결말을 예측하려는 것과 같습니다. 시퀀스(순서)를 다루는 데에는 적합하지 않습니다.

"속도"의 함정: 누가 더 빨랐나?

당신은 "KAN이 그렇게 형편없었다면, 적어도 속도는 엄청 빨랐을까?"라고 생각할지도 모릅니다.

논문의 내용: 네, KAN이 훈련을 더 빨리 마쳤습니다 (LSTM이 최대 120초 걸리는 동안 KAN은 약 35초 소요).
함정: 이것은 공정한 비교가 아닙니다. 이것은 100미터를 전력 질주한 단거리 선수와 10미터만 조깅한 마라톤 선수를 비교하는 것과 같습니다.
- LSTM은 작은 데이터 묶음(batch)을 사용하여 25번의 "라운드(epoch)" 동안 훈련했습니다.
- KAN은 전체 데이터셋을 한꺼번에 사용하여 단 10번의 "라운드"만 수행했습니다.
- KAN은 훨씬 적은 양의 작업을 수행했기 때문에 빠르게 끝난 것이며, 깊이 있게 학습할 기회를 갖지 못했습니다. 논문은 동일한 양의 훈련을 수행하지 않았기 때문에 KAN이 "빠르다"고 말하는 것은 유용하지 않다고 경고합니다.

왜 KAN은 실패했는가? (핵심 문제)

이 논문은 표준 KAN 모델이 사용된 방식의 근본적인 구조적 결함을 지적합니다.

LSTM은 시간을 이해하도록 구축되었습니다. 즉, 사건의 순서(단계 1이 단계 2보다 먼저 일어남)를 기억합니다.
표준 KAN(여기서 테스트된 버전)은 시간을 **정적(static)**인 것으로 취급합니다. 데이터를 입력하기 위해 연구진은 시간 시퀀스를 하나의 긴 숫자 리스트로 "평면화(flattening)"해야 했습니다. 이 과정에서 타임라인이 파괴되었습니다. 모델은 '언제' 일이 일어났는지에 대한 맥락을 잃어버렸고, 이는 미래를 예측하는 데 가장 중요한 요소입니다.

실무자를 위한 결론

정확도가 필요하다면: LSTM을 고수하십시오. 금융 예측을 위한 신뢰할 수 있고 검증된 선택입니다.
"새로운 것(KAN)"을 원한다면: 주가 예측에 표준 버전을 사용하지 마십시오. 아직 이 일을 할 준비가 되지 않았습니다.
주의 사항: 논문은 명시적으로 이러한 시간 추적 문제를 해결하기 위해 시도된 더 새로운 변형된 KAN들(예: "Temporal KAN" 또는 "Time-Frequency KAN")이 존재한다고 밝히고 있습니다. 하지만 이번 연구는 그것들을 테스트하지 않았습니다. 오직 "기본(base)" 버전만을 테스트했습니다.

한 문장 요요약

혼란스러운 주가를 예측할 때, 구식의 시간 인지 모델인 LSTM은 이론적으로 투명하지만 시간의 흐름을 이해하지 못해 일련의 사건들을 의미 없는 숫자 더미로 만들어버린 새로운 KAN 모델을 압도했습니다.

기술 요약: 시계열 예측에서 Kolmogorov-Arnold Network와 Long Short Term Memory의 성능 비교

문제 정의
금융 시장은 복잡한 비선형 의존성을 가진 확률적, 비정상적(non-stationary) 과정의 특성을 가집니다. Long Short-Term Memory(LSTM) 네트워크가 이러한 순차적 데이터를 모델링하는 표준으로 자리 잡았으나, 이들의 "블랙박스"적 성격은 고위험 의사결정에서의 해석 가능성을 제한합니다. Kolmogorov-Arnold 표현 정리(Kolmogorov-Arnold representation theorem)에 기반한 Kolmogorov-Arnold Networks(KAN)는 고정된 활성화 함수를 학습 가능한 스플라인 기반 함수로 대체함으로써 이론적으로 해석 가능한 대안을 제시합니다. 그러나 문헌상에는 중요한 공백이 존재합니다. 즉, 베이스라인 KAN(PyKAN 라이브러리로 구현된 형태)과 확립된 LSTM 아키텍처 간의 통제된 실증적 비교가 부재하다는 점입니다. 기존 연구들은 주로 KAN을 다층 퍼셉트론(MLP)과 비교하거나, 특화된 시계열 변형 모델(예: TKAN, TFKAN)을 평가하는 데 그쳤으며, 표준 KAN의 성능 자체를 고립시켜 검증하지 않았습니다. 본 연구는 표준 KAN 아키텍처가 시계열적 수정 없이도 순차적 예측에 적합한지를 판단하기 위해, 베이스라인 KAN을 베이스라인 LSTM과 벤치마킹함으로써 이 공백을 해결하고자 합니다.

방법론
본 연구는 yfinance API를 통해 확보한 과거 주가 데이터(시가, 고가, 저가, 종가, 거래량)를 사용하여 통제된 실험 설계를 적용하였습니다.

데이터 전처리: 특징값들은 전체 데이터셋에 적합된(fitted) Min-Max 스케일링을 통해 $[0, 1]$ 범위로 조정되었습니다. 직접적인 다중 출력 예측 프로토콜이 사용되었습니다: 룩백 윈도우(look-back window) $L$ 이 주어지면, 모델은 $H$ 개의 미래 시점을 동시에 예측합니다. 예측 지평(prediction horizons)은 1일, 2일, 100일로 테스트되었습니다.
모델 아키텍처:
- LSTM: TensorFlow/Keras를 통해 구현되었으며, 스택형 단방향 레이어, 드롭아웃 정규화, RMSprop 최적화를 사용했습니다. 입력은 3D 텐서 $(batch, L, features)$로 처리되어 시간적 순서를 보존했습니다.
- KAN: PyKAN(PyTorch)을 통해 구현되었습니다. 결정적으로, 표준 KAN은 2D 입력만을 수용하므로, 순차적 입력은 $L \times |F|$ 길이의 1D 벡터로 평탄화(flattening) 되었으며, 이 과정에서 시간적 순서가 사실상 소실되었습니다. 최적화에는 B-스플라인 활성화 함수와 함께 LBFGS(전체 배치, 2차 최적화)가 사용되었습니다.
평가 지표: 성능은 정규화된 특징 공간에서 계산된 평균 제곱근 오차(RMSE)를 사용하여 측정되었습니다.
실험적 비대칭성: 저자들은 프로토콜상의 몇 가지 비대칭성을 명시적으로 언급했습니다. LSTM은 미니 배치 확률적 최적화(25 에포크)를 사용한 반면, KAN은 전체 배치 2차 최적화(10 LBFGS 단계)를 사용했습니다. KAN의 랜덤 시드는 고정되었으나 LSTM은 그렇지 않았습니다. 이러한 요소들은 성능 차이를 오직 아키텍처의 용량(capacity) 때문이라고 단정 짓지 못하게 하는 혼란 변수(confounds)로 인정되었습니다.

주요 결과
연구 결과, 모든 테스트된 예측 지평 및 시장 조건(정상, 변동성, 추세)에서 베이스라인 LSTM이 베이스라인 KAN을 실질적으로 압도하는 것으로 나타났습니다.

예측 정확도: LSTM은 KAN보다 6.5배에서 10.0배 낮은 RMSE 값을 달성했습니다.
- 1일 지평에서, 최적의 LSTM 구성은 0.039의 테스트 RMSE를 기록한 반면, 최적의 KAN 구성은 0.152를 기록했습니다.
- 100일 지평에서도 LSTM은 6.5배에서 7.2배의 우위를 유지했습니다.
- 200일 지평에서는 LSTM의 구성 제한으로 인해 KAN만이 테스트되었으며, 높은 RMSE 값(0.645–0.670)을 보였습니다. 다만 저자들은 단순한 베이스라인(예: 지속성 모델)의 부재로 인해 이것이 유의미한 개선인지 불분명하다고 언급했습니다.
학습 효율성: KAN(평균 35.12초)이 LSTM(11–120초)보다 빠르게 학습을 완료했습니다. 그러나 저자들은 KAN이 훨씬 적은 수의 파라미터 업데이트(10회의 전체 배치 단계)를 수행했기 때문에 이를 아키텍처 효율성의 공정한 비교라고 볼 수 없다고 경고했습니다.
아키텍처적 통찰: 성능 격차의 주요 원인은 **입력 표현(input representation)**인 것으로 식별되었습니다. LSTM은 순환 게이팅을 통해 시간적 구조를 보존하는 반면, 표준 KAN은 시퀀스를 평탄화하여 시계열 예측에 필수적인 순차적 의존성을 제거합니다. 더 단순한 LSTM 구성(2개 레이어, 10개 유닛)이 더 깊은 구성보다 우수한 성능을 보였는데, 이는 심층 RNN의 기울기 소실 문제와 일치합니다.

주요 기여

실증적 베이스라인 구축: 본 연구는 확률적 금융 데이터에 대해 표준 KAN(PyKAN)과 표준 LSTM 간의 첫 번째 통제된 실증적 베이스라인을 확립했습니다.
한계점 식별: 표준 KAN은 (순환 게이팅이나 주파수 영역 처리와 같은) 시간적 수정 없이는 시퀀스 처리가 불가능하여, 순차적 예측 작업에서 경쟁력이 없음을 입증했습니다.
제약 사항의 투명성: 논문은 최적화 비대칭, LSTM의 고정된 랜덤 시드 부재, 글로벌 스케일링에 의한 데이터 누수(data leakage) 등 방법론적 한계를 명시적으로 상세히 기술하여, 성능 격이의 크기가 적절한 주의와 함께 해석되도록 보장했습니다.

의의 및 주장
저자들은 표준 형태의 베이스라인 KAN은 정확도가 중요한 금융 예측에서 확립된 LSTM과 경쟁하기 어렵다는 결론을 조심스럽게 내렸습니다. 이 연구는 KAN이 무용하다고 주장하는 것이 아니라, 현재의 표준 구현 방식에서 KAN의 이론적 해석 가능성이 심각한 예측 정확도의 비용을 치르고 있음을 제기하는 것입니다.

본 연구의 의의는 다음과 같습니다:

시간적 변형의 필요성 검증: 결과는 순차적 처리를 복구하기 위해 설계된 특화된 KAN 변형(TKAN, TFKAN)의 존재 근거를 뒷받 p며, 이러한 수정이 선택이 아닌 필수임을 시사합니다.
실무자를 위한 가이드: 높은 정확도를 요구하는 응용 분야의 경우, LSTM이 여전히 선호되는 선택지입니다. 금융 응용 분야에서 KAN의 해석 가능성에 관심이 있는 실무자들에게는 베이스라인 PyKAN 구현보다는 시간적 변형 모델을 사용할 것을 권장합니다.
향격 연구 방향: 본 논문은 매칭된 컴퓨팅 예산, 단순 베이스라인(지속성, ARIMA), 그리고 특화된 KAN 변형 모델에 대한 평가를 포함하여 아키텍처의 격차를 줄일 수 있는지 확인하는 후속 연구를 촉구합니다. 또한 K-spline 근사 과정에서 발생하는 비매끄럽고 비볼록(non-convex)한 최적화 문제를 해결하기 위한 효율적인 free-knot 다항식 스플라인 근사에 관한 추가적인 수학적 연구의 필요성을 강조합니다.