KFS: KAN based adaptive Frequency Selection learning architecture for long term time series forecasting

이 논문은 Kolmogorov-Arnold Network(KAN) 와 Parseval 의 정리에 영감을 받아 주파수 영역에서의 에너지 분포 기반 우세 주파수 선택을 수행하는 FreK 모듈을 통해 다중 스케일 노이즈 간섭을 해결하고 장기 시계열 예측 성능을 획기적으로 개선한 KFS(KAN 기반 적응형 주파수 선택 학습 아키텍처) 를 제안합니다.

핵심

1. 문제 상황: "시끄러운 라디오"와 "혼란스러운 오케스트라"

우리가 미래를 예측할 때 사용하는 데이터 (날씨, 전력 사용량 등) 는 마치 시끄러운 라디오처럼 잡음이 많습니다. 또한, 데이터 안에는 다양한 주파수 (빠른 변화, 느린 변화) 가 뒤섞여 있어 마치 혼란스러운 오케스트라처럼 어떤 악기 소리가 중요한지 구별하기 어렵습니다.

기존의 모델들은 이 잡음을 다 제거하지 못하거나, 중요한 소리만 골라내지 못해 예측이 부정확해지는 문제가 있었습니다.

2. 해결책: KFS 의 세 가지 마법

저자들은 이 문제를 해결하기 위해 KFS라는 모델을 만들었습니다. 이 모델은 크게 세 가지 단계로 작동합니다.

① 'FreK' 모듈: 잡음 제거를 위한 '스마트 필터'

• 비유: 라디오를 들을 때, 잡음 (치익 소리) 을 제거하고 가장 선명한 음악만 골라내는 자동 튜닝기입니다.
• 원리: 데이터를 주파수 영역 (소리 파장) 으로 변환합니다. 그리고 에너지가 가장 많이 모여 있는 '주요 주파수 (중요한 소리)'만 **Top-K (상위 K 개)**로 골라냅니다. 에너지가 적은 잡음은 버리고, 중요한 신호만 남깁니다.
• 효과: 데이터가 깨끗해져서 모델이 미래를 더 정확하게 볼 수 있게 됩니다.

② 'KAN' (콜모고로프-아르놀드 네트워크): 똑똑한 '예술가'

• 비유: 기존의 모델 (MLP) 이 정해진 규칙대로 그림을 그리는 로봇이라면, KAN 은 상황에 따라 붓터치와 색을 스스로 바꾸며 그리는 천재 화가입니다.
• 원리: KAN 은 고정된 함수 대신, 스스로 배우고 변형할 수 있는 함수를 사용합니다. 이렇게 하면 복잡한 데이터 패턴 (예: 계절에 따른 전력 사용량 변화) 을 훨씬 더 정교하고 적은 비용으로 이해할 수 있습니다.
• 효과: 잡음이 제거된 깨끗한 데이터에서 숨겨진 복잡한 패턴을 찾아냅니다.

③ 'Mixing Block': 시간과 패턴을 섞는 '요리사'

• 비유: 다양한 재료를 다듬고, **시간 (날짜/시간)**이라는 양념을 적절히 섞어 한 그릇의 완벽한 요리를 만드는 셰프입니다.
• 원리: 모델은 데이터를 '짧은 구간', '긴 구간' 등 여러 크기로 나누어 분석합니다. 이때 각 구간에 맞는 '시간 정보 (타임스탬프)'를 정확히 맞춰서 섞어줍니다. 마치 1 시간 단위 데이터와 1 일 단위 데이터를 섞을 때, "지금 3 시야"라는 정보를 함께 넣어주는 것입니다.
• 효과: 서로 다른 시간 규모의 데이터를 하나로 통합하여 최종 예측을 만듭니다.

3. 결과: 왜 이 모델이 특별한가요?

이 연구팀은 전 세계의 다양한 실제 데이터 (날씨, 전력, 교통 등) 로 실험을 해보았습니다.

• 성적표: 기존에 가장 잘하던 모델들 (Transformer, CNN 기반 모델 등) 보다 더 높은 정확도를 보여주었습니다.
• 효율성: 복잡한 작업을 하지만, 컴퓨터가 사용하는 메모리와 연산량은 오히려 적게 들었습니다. (무거운 차를 몰면서 연료는 적게 쓰는 것과 같습니다.)

요약

KFS는 "잡음이 많은 데이터"를 **"주요 소리만 골라내는 필터 (FreK)"**로 깨끗하게 만들고, **"스스로 배우는 천재 화가 (KAN)"**가 그 데이터의 패턴을 분석하게 하며, **"시간 정보를 잘 섞는 요리사 (Mixing Block)"**가 최종 요리를 완성하는 모델입니다.

이 덕분에 우리는 과거의 복잡한 데이터 속에서 미래를 훨씬 더 정확하고 빠르게 예측할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 시계열 예측 (Time Series Forecasting, TSF) 은 금융, 교통, 기상 등 다양한 분야에서 중요하게 활용되며, 최근 CNN, MLP, Transformer 기반의 딥러닝 모델들이 주류를 이루고 있습니다. 특히 Autoformer, TimeMixer 등은 시계열을 추세 (trend) 와 계절성 (seasonality) 성분으로 분해하거나 다중 스케일 (multi-scale) 구조를 도입하여 성능을 높였습니다.
• 핵심 문제:
  1. 다중 스케일 노이즈 간섭: 실제 시계열 데이터는 다양한 스케일에서 노이즈가 존재하며, 주파수 성분 간 이질적인 정보 분포로 인해 최적의 다중 스케일 표현을 얻기 어렵습니다.
  2. 주파수 대역의 비효율성: 기존 분해 방법들은 원본 시계열을 직접 분할하므로 고주파 노이즈가 여전히 모델에 포함되어 예측 성능을 저하시킵니다.
  3. 복잡한 패턴 모델링의 한계: 기존 MLP 기반 모델은 고정된 활성화 함수를 사용하여 복잡한 비선형 관계를 학습하는 데 한계가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 Kolmogorov-Arnold Networks (KAN) 과 Parseval 정리에 영감을 받아 KFS (KAN based adaptive Frequency Selection) 아키텍처를 제안했습니다. 주요 구성 요소는 다음과 같습니다.

가. 전체 아키텍처 (Overview)

KFS 는 다중 스케일 아키텍처를 기반으로 하며, 크게 FreK (Frequency K-top Selection) 모듈과 Mixing Block으로 구성됩니다.

나. FreK 모듈 (주파수 선택 및 노이즈 제거)

• 에너지 기반 주파수 대역 선택 (Frequency Band Selection):
  • 파르세발 (Parseval) 정리를 활용하여 시간 영역의 신호를 주파수 영역으로 변환합니다.
  • Theorem 2에 기반하여, 시계열의 에너지가 집중된 상위 K 개의 주파수 대역 (Top-K) 만 선택하고 나머지는 제거합니다. 이를 통해 신호 대 잡음비 (SNR) 가 높은 성분만 재구성하여 노이즈를 효과적으로 제거합니다.
  • 선택된 주파수 대역을 역변환하여 시간 영역의 '데노이즈 (Denoised)'된 시계열을 생성합니다.
• KAN 을 활용한 특징 학습:
  • 데노이즈된 데이터에 Adaptive Embedding을 적용한 후, Group-Rational KAN을 사용하여 스케일별 시간적 특징을 학습합니다.
  • KAN 은 고정된 활성화 함수 대신 학습 가능한 1 차 함수 (유리 함수 기반) 를 사용하여 MLP 보다 적은 파라미터로 더 정교한 비선형 패턴을 모델링합니다.

다. Mixing Block (다중 스케일 통합)

• 타임스탬프 정렬 (Timestamp Alignment):
  • 다양한 스케일의 시계열 데이터와 해당 시간 정보 (타임스탬프) 를 정렬합니다. 하위 스케일 (더 거친 해상도) 에서는 타임스탬프 임베딩도 다운샘플링되어 스케일 간 정렬을 유지합니다.
• 특징 혼합 (Feature Mixing):
  • 스케일별 시간 특징과 타임스탬프 임베딩을 결합하여 KAN 을 통해 융합합니다.
  • 최종적으로 모든 스케일의 특징을 평균화 (Average Aggregation) 하고 선형 프로젝션 레이어를 거쳐 예측 값을 출력합니다.

라. 손실 함수 (Loss Function)

• 기존 MSE 손실 함수에 **주파수 영역 정렬 손실 (Frequency-domain alignment loss)**을 추가합니다.
• 예측값과 실제값의 상위 K 개 주파수 성분 간의 차이를 최소화하도록 하여, 거시적인 추세와 주요 주파수 성분의 정렬을 강제합니다.

3. 주요 기여 (Key Contributions)

1. 에너지 분포 기반 주파수 선택 (FreK): 신호 대 잡음비가 높은 주요 성분만 추출하는 새로운 주파수 선택 메커니즘을 설계하여 노이즈 영향을 크게 줄였습니다.
2. KAN 기반 효율적 아키텍처: MLP 를 대체하여 학습 가능한 활성화 함수를 도입한 KAN 을 시계열 예측에 성공적으로 적용하여 복잡한 시간적 패턴을 효과적으로 표현했습니다.
3. 다중 스케일 및 타임스탬프 정렬: 스케일별 특징과 타임스탬프 정보를 정렬하여 융합하는 Mixing Block 을 개발하여 장기 예측의 정확도를 향상시켰습니다.
4. SOTA 성능 달성: 다양한 실제 데이터셋에서 기존 최첨단 모델들을 능가하는 성능을 달성하면서도 계산 효율성이 뛰어남을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: ETT 시리즈 (ETTh1, ETTh2, ETTm1, ETTm2), Electricity, Weather 등 6 개의 실제 데이터셋.
• 성능:
  • Weather, ETT 데이터셋에서 MSE/MAE 지표 기준으로 State-of-the-Art (SOTA) 성능을 기록했습니다.
  • 특히 Electricity 데이터셋에서는 TimeXer 모델이 약간 더 좋았으나 (채널 간 상관관계 학습 능력 때문), 대부분의 데이터셋에서 KFS 가 가장 우수한 성능을 보였습니다.
• 효율성:
  • 메모리 사용량: PatchTST, TimesNet 등 다른 모델들에 비해 메모리 사용량이 현저히 낮습니다 (약 116MB).
  • 학습 시간 및 FLOPs: FFT 연산이 포함되었음에도 불구하고, Transformer 기반 모델들보다 학습 시간이 짧고 연산량이 적어 효율적입니다.
• Ablation Study:
  • KAN 을 MLP 로 교체하거나, Adaptive Embedding, 타임스탬프 임베딩을 제거할 경우 성능이 저하되어 각 구성 요소의 유효성이 입증되었습니다.
  • 에너지 임계값 ($\delta$) 과 손실 함수 가중치 ($\alpha$) 에 대한 민감도 분석을 통해 최적의 하이퍼파라미터 설정이 모델 성능 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 노이즈와 패턴의 분리: 복잡한 시계열 데이터에서 노이즈와 유효한 신호를 주파수 영역에서 효과적으로 분리하는 새로운 패러다임을 제시했습니다.
• KAN 의 시계열 적용: KAN 이 MLP 를 대체하여 시계열 예측 분야에서 강력한 표현 학습 능력을 가질 수 있음을 실증적으로 증명했습니다.
• 실용성: 높은 예측 정확도와 낮은 계산 비용 (메모리, 연산량) 을 동시에 만족하여, 실제 산업 환경에서의 장기 시계열 예측 적용 가능성을 크게 높였습니다.

이 논문은 다중 스케일 분해, 주파수 영역 노이즈 제거, 그리고 KAN 기반 표현 학습을 결합하여 장기 시계열 예측의 한계를 극복한 획기적인 접근법으로 평가됩니다.