1. 문제 정의 (Problem Statement)

기존의 시계열 예측 모델 (RNN, LSTM, Transformer 등) 은 모든 시간 단계를 균일하게 처리하는 시퀀스 기반 아키텍처에 의존합니다. 이는 다음과 같은 한계를 가집니다:

• 계산 비용: 특히 Transformer 의 경우 자기 주의 (Self-attention) 메커니즘으로 인해 시간 길이 ($T$) 에 대해 이차 ($O(T^2)$) 의 복잡도를 가지며, 계산 자원을 많이 소모합니다.
• 해석 불가능성 (Black-box): 대부분의 모델이 블랙박스 형태로 작동하여, 예측에 어떤 시간적 패턴이 기여했는지 명확히 파악하기 어렵습니다.
• 비효율성: 실제 시계열 데이터는 정보와 잡음이 혼재되어 있으며, 모든 시간 단계가 동일한 중요도를 가지지 않습니다. 그러나 기존 모델은 이러한 불균일한 구조를 고려하지 않고 전체 시퀀스를 동일하게 처리합니다.

이 논문은 효율성 (Efficiency), 해석 가능성 (Interpretability), 성능 (Performance) 을 동시에 달성하기 위해, 시계열 데이터를 의미 있는 구성 요소로 분해하여 모델링하는 새로운 접근법을 제안합니다.

2. 방법론 (Methodology)

제안된 프레임워크 SPaRSe-TIME은 시계열 신호를 세 가지 상호 보완적인 구성 요소로 분해하고 이를 재결합하는 구조를 가집니다.

2.1 핵심 구성 요소

1. Salience (주목도, Saliency):
   • 목적: 고주파 변동과 급격한 변화를 포착합니다.
   • 구현: 시간적 기울기 (Temporal gradient, $\nabla X_t = X_t - X_{t-1}$) 를 계산하여 각 시간 단계의 중요도 가중치 ($w_t$) 를 산출합니다. 이를 통해 데이터에 의존적인 희소화 (Sparsification) 연산자로 작용하며, 중요한 시간 단계만 선택적으로 강조합니다.
2. Memory (기억, Low-Rank Memory):
   • 목적: 지배적인 저차원 시간적 패턴을 포착하고 잡음을 억제합니다.
   • 구현: 입력 시퀀스를 저랭크 (Low-rank) 부분 공간으로 투영합니다. 특이값 분해 (SVD) 를 통해 주요 성분을 추출하여 역사적 정보를 압축된 형태로 표현합니다. 이는 데이터가 저차원 매니폴드에 존재한다는 가정에 기반합니다.
3. Trend (추세, Global Trend):
   • 목적: 장기적인 저주파 동역학을 모델링합니다.
   • 구현: 이동 평균 (Moving Average) 또는 풀링 연산자와 같은 선형 평활화 (Smoothing) 연산자를 적용하여 고주파 노이즈를 제거하고 장기적인 추세를 추출합니다.

2.2 통합 및 예측 구조

• 적응형 가중치 (Adaptive Weighting): 세 가지 구성 요소 ($S, M, G$) 는 각각 학습 가능한 선형 변환을 거친 후, 소프트맥스 (Softmax) 를 통해 학습된 가중치 ($\alpha_i$) 로 가중 합산됩니다.
• 최종 예측: 가중 합산된 표현 ($H$) 은 비선형 함수를 거쳐 최종 예측값 ($\hat{Y}$) 을 생성합니다.
• 복잡도: 이 구조는 순차적 재귀 (Recurrent) 나 이차 복잡도의 어텐션을 피하여, 전체 시간 복잡도를 **$O(kTd)$** (선형) 로 줄입니다. 여기서$k$는 저랭크 차원,$T$는 시퀀스 길이,$d$는 특징 차원입니다.

3. 주요 기여 (Key Contributions)

1. 분해 기반 시계열 모델링: 시계열을 '주목도 (Saliency)', '기억 (Memory)', '추세 (Trend)'로 구조화하여 모델링하는 새로운 프레임워크 SPaRSe-TIME을 제안했습니다.
2. 주목도 기반 저랭크 공식화: 시계열 모델링을 정보 하위 공간으로의 투영 문제로 재정의하여, 데이터 의존적 희소화 연산자와 저랭크 메모리 표현을 통해 효율적인 패턴 포착을 가능하게 했습니다.
3. 계산 효율성: 순차적 반복과 이차 복잡도의 어텐션 메커니즘을 제거하여 선형 복잡도를 달성하면서도 다양한 데이터셋에서 경쟁력 있는 성능을 유지했습니다.
4. 해석 가능성 (Interpretability): 학습된 구성 요소 가중치 ($\alpha$) 를 통해 각 시간적 구조 (단기 변동, 장기 추세 등) 가 예측에 어떻게 기여하는지 명시적으로 분석할 수 있게 했습니다.

4. 실험 결과 (Results)

다양한 실세계 데이터셋 (가정용 전력, 날씨, 주식 (Netflix, NASDAQ), 대기 질) 에서 RNN, GRU, LSTM, Transformer 와 비교 실험을 수행했습니다.

• 성능 우위:
  • 가정용 전력 (Household) 및 날씨 (Weather) 데이터: SPaRSe-TIME 은 모든 평가 지표 (MAE, RMSE, $R^2$) 에서 기존 모델 (Transformer 포함) 보다 우수한 성능을 보였습니다. 특히 구조가 명확하고 추세가 뚜렷한 데이터에서 강점을 발휘했습니다.
  • 계산 효율성: 파라미터 수 (1.09K) 와 FLOPs(0.01G) 가 Transformer(43.35K, 0.25G) 에 비해 압도적으로 낮아 추론 속도가 매우 빠릅니다.
• 한계점:
  • 고잡음/확률적 데이터 (Netflix, NASDAQ, Air Quality): 주식 시장 데이터나 복잡한 대기 질 데이터처럼 신호 대 잡음비 (SNR) 가 낮고 장기적 구조가 명확하지 않은 경우, 분해 기반 접근법의 이점이 감소했습니다. 특히 NASDAQ 데이터에서는 Transformer 보다 성능이 낮았으며, Air Quality 데이터에서도 Transformer 에 뒤처졌습니다. 이는 데이터가 단순한 분해 (주목도/기억/추세) 로 설명하기 어려운 복잡한 비선형 상호작용을 포함하고 있음을 시사합니다.
• 해석성 분석:
  • 날씨 데이터에서는 '추세 (Trend)' 가 가장 큰 가중치를 차지했고, 전력 데이터에서는 '주목도 (Saliency)'가 중요했습니다. 이는 모델이 데이터의 특성에 따라 구성 요소의 중요도를 동적으로 적응함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 원칙적인 대안 제안: SPaRSe-TIME 은 거대한 단일 시퀀스 모델 (Monolithic sequence models) 에 대한 원칙적이고 효율적인 대안을 제시합니다.
• 효율성과 해석성의 균형: 복잡한 딥러닝 모델의 높은 계산 비용과 블랙박스 특성을 해결하면서도, 구조화된 시계열 데이터 (에너지, 환경 등) 에서는 뛰어난 예측 성능을 발휘합니다.
• 미래 방향: 현재 모델은 단순한 선형 투영과 가중 합산에 의존하므로, 고차원적 상호작용이나 비선형 동역학이 강한 데이터에는 한계가 있습니다. 향후 적응형 주목도 메커니즘, 동적 저랭크 학습, 그래프 기반 상호작용 등을 통해 이러한 한계를 극복할 수 있을 것으로 기대됩니다.

요약하자면, SPaRSe-TIME 은 시계열 데이터의 본질적인 구조 (주목도, 기억, 추세) 를 명시적으로 분해하여 모델링함으로써, 계산 효율성과 해석 가능성을 크게 향상시킨 혁신적인 프레임워크입니다.