기술 요약: StateFlow – 장기 시계열 예측을 위한 이중 상태 순환 모델링 (Dual-State Recurrent Modeling)

1. 문제 정의

장기 다변량 시계열 예측(LTSF)은 에너지 수요, 교통 흐름, 금융 모델링과 같은 도메인에서 매우 중요한 과제입니다. 주요 어려움은 비정상성(non-stationarity), 체제 변화(regime shifts), 그리고 긴 예측 기간 동안 발생하는 오차의 누적에서 비롯됩니다. 최근의 트랜스포머(Transformer) 기반 아키텍처들은 셀프 어텐션(self-attention)을 통해 장기 의존성을 포착함으로써 강력한 성능을 달나 성취했지만, 입력 길이에 따른 이차 복잡도(quadratic complexity) 문제를 겪으며 긴 룩백 윈도우(lookback window)에 대해 계산 비용이 많이 드는 전역적 상호작용 패턴에 의존하는 경향이 있습니다.

반대로, 순환 신경망(RNN)은 시퀀스 길이에 따라 선형적으로 확장되며 자연스러운 인과 구조를 제공합니다. 그러나 기존의 순환 모델(예: LSTM, GRU)은 일반적으로 정보를 단일 은닉 상태로 압축하기 때문에, 비정상적인 변화로 인해 발생하는 체계적인 예측 편차(예: 드리프트 또는 바이어스)를 명시적으로 모델링하지 못합니다. 이러한 한계로 인해 장기 예측 설정에서 성능이 현대적인 트랜스포머 기반 방법론보다 뒤처지는 경우가 많습니다.

본 논문은 원래 일단계 시퀀스 회귀(one-step sequence regression)를 위해 설계된 **가변성 인식 순환 신경망(Variability-Aware Recursive Neural Network, VARNN)**을 장기 예측 설정으로 확장하는 문제를 다룹니다. 핵심 가설은 예측 잔차(prediction residuals)를 별도의 순환 상태로 명시적으로 모델링하는 것이 선형 순환 모델의 장기 외삽(extrapolation)에 대한 강건성을 향상시킬 수 있다는 것입니다.

2. 방법론: StateFlow 프레임워크

제안된 StateFlow 프레임워크는 채널 독립적(channel-independent) 전략을 통해 처리되는 두 가지 보완적인 신호를 포착하기 위해 VARNN을 이중 상태 순환 백본으로 활용합니다.

2.1 이중 상태 순환 인코더 (Dual-State Recurrent Encoder)

인코더는 각 타임스텝 $t$에 대해 두 개의 구별된 순환 궤적을 유지합니다:

1. 은닉 상태 궤적 ($h_t$): 추세, 계절성, 레벨 변화 및 반복되는 패턴을 포함한 주요 시간적 역학을 나타냅/냅니다. 이는 현재 관측값과 이전 상태를 사용하여 업데이트됩니다.
2. 잔차 메모리 궤적 ($e_t$): 구조화된 국소적 예측 편차를 명시적으로 추적합니다. 이는 일단계 기본 예측($\hat{x}_{base}$)과 관측값($x_{t+1}$) 사이의 잔차($r_t$)에 대한 비선형 순환 변환에 의해 구동됩니다.

단일 잠재 상태 내에 편차를 암묵적으로 인코딩하는 일반적인 RNN과 달리, VARNN은 이러한 신호들을 분리합니다. 은닉 상태는 다음 단계를 조건화하는 반면, 잔차 메모리 상태는 체계적인 편차를 위한 전용 신호를 제공하여 모델이 주요 역학과 국소적 드리프트를 구분할 수 있게 합니다.

2.2 청크 기반 호라이즌 디코더 (Chunk-Based Horizon Decoder)

전체 시퀀스를 펼치는 것과 관련된 파라미터 폭발 없이 미래 호라이즌으로 인코더 궤적을 매핑하기 위해, StateFlow는 청크 기반 디코더를 사용합니다:

• 청크 요약 (Chunk Summarization): 은닉 상태와 잔차 메모리 궤적을 중첩되는 청크로 나눕니다. 각 청크는 펼쳐진 후 별도의 요약 브랜치를 통해 고정된 차원의 임베딩으로 투영됩니다. 이는 파라미터 증가를 줄이면서 국소적 패턴을 보존합니다.
• 예측 헤드 (Forecasting Head): 두 브랜치에서 추출된 요약된 임베딩은 결합(concatenation)되어 선형 투영을 거쳐 다단계 예측을 생성합니다.

2.3 2단계 최적화 전략

일단계 잔차 학습과 장기 예측 사이의 간극을 메우기 위해, 모델은 2단계 훈련 절차를 채택합니다:

1. 1단계 (인코더 사전 훈련): VARNN 인코더를 룩백 윈도우에 대한 일단계 예측 목적 함수를 사용하여 훈련합니다. 이는 잔차 메모리 상태가 구조화된 편차를 포착할 수 있도록 명시적인 학습 신호를 제공합니다.
2. 2단계 (호라이즌 특화 디코딩): 사전 훈련된 인코더를 고정하고, 다단계 예측 손실을 사용하여 호라이즌 특화 디코더를 훈련합니다. 이러한 분리는 최적화를 안정화하며 동일한 인코더를 다양한 예측 호라이즌에 재사용할 수 있게 합니다.

2.4 계산 복잡도

StateFlow는 룩백 길이($L$)와 예측 호라이즌($H$)에 대해 선형 계산 복잡도를 유지합니다. 순환 인코더는 $O(L)$로 스케일링되며, 청크 기반 디코더는 셀프 어텐션 메커니즘의 전형적인 이차 복잡도($O(L^2)$)를 피합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 설명합니다:

• LTSF에서의 순환성 조사: 편차 역학이 상태 전이에 명시적으로 통합될 때 순환 모델이 장기 예측에서 경쟁력을 유지할 수 있음을 입증했습니다.
• VARNN의 확장: 은닉 상태와 잔차 메모리 궤적을 이중 상태 예측 표현으로 활용하여 VARNN을 일단계 회귀에서 장기 예측으로 확장했습니다.
• StateFlow 프레임워크: 직접적인 다단계 예측 전에 은닉 및 잔차 역학을 별도로 요약하는 청크 기반 호라이즌 디코더를 갖춘 순환 궤적 예측 프레임워크를 도입했습니다.
• 2단계 최적화: 일단계 예측을 통해 잔차 인식 표현을 먼저 학습한 후 호라이즌 특화 디코더를 훈련하는 전략을 제안하여 인코더 재사용을 가능하게 했습니다.
• 실증적 검증: 잔차 메모리 순환이 장기 예측을 위한 경쟁력 있고 파라미터 효율적인 유도 편향(inductive bias)임을 보여주는 체계적인 실험과 절제 연구(ablation studies)를 제공합니다.

4. 실험 결과

4.1 벤치마크 성능

StateFlow는 7개의 표준 LTSF 벤치마크(ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic)에서 Transformer 기반 모델(iTransformer, PatchTST, Autoformer), 합성곱 모델(TimesNet), 선형 모델(DLinear, RLinear)을 포함한 10개의 최첨단 베이스라인과 비교 평가되었습니다.

• 경쟁력: StateFlow는 경쟁력 있는 성능을 보였으며, 28개 데이터셋-호라이즌 설정에서 가장 많은 1위 결과(MSE 15회 승리, MAE 14회 승리)를 확보했습니다.
• 비교: 강력한 선형, 합성곱 및 트랜스포머 기반 베이스라인과 대등하거나 더 나은 성능을 보이면서도 이차 시간 셀프 어텐션을 피했습니다.
• 고차원 데이터: ECL 및 Traffic과 같은 고차원 데이터셋에서는 iTransformer가 일부 설정에서 더 강력한 모습을 보였는데, 이는 특정 맥ق락에서 명시적인 교차 변수 의존성 모델링이 여전히 이점을 제공할 수 있음을 시사합니다. 반면, StateFlow는 채널 독립적 시간 모델링에 집중합니다.

4.2 절제 연구 (Ablation Studies)

• 인코더 표현: 이중 상태 표현($h, e$)은 은닉 상태($h$)만 사용하거나, 잔차를 포함한 원시 기본 예측을 사용하는 경우보다 일관되게 우수한 성능을 보였습니다. 이는 기본 역학과 구조화된 편차 신호를 결합하는 것이 더 풍부한 예측 표현을 생성함을 확인시켜 줍니다.
• 융합 전략: 결합 전 은닉 및 잔차 궤적에 대한 별도의 청크 요약 방식이 공동 청킹(joint chunking)보다 우수함이 증명되었으며, 이는 두 상태의 구별된 역할을 보존합니다.
• 청크 vs 직접 디코딩: 청크 기반 디코더는 직접 펼치는 방식과 대등하거나 더 나은 정확도를 달면서도 모델 파라미터를 거의 절반으로 줄였습니다.
• 순환 인코더 선택: VARNN은 정확도-효율성 트레이드오프 측면에서 표준 RNN, GRU, LSTM 인코더보다 우수한 성능을 보였습니다. 특히 VARNN은 훨씬 적은 파라미터(예: LSTM 대비 약 80% 적음)를 사용하면서도 더 낮은 평균 MSE를 달성했습니다.
• 최적화 전략: 2단계 최적화 전략은 1단계 훈련에 비해 측정 가능한 이득(예: VARNN의 경우 +1.88% 개선)을 제공하여, 일단계 예측을 통한 잔차 메모리 상태 사전 훈련의 효과를 강조했습니다.

5. 의의 및 주장

본 논문은 StateFlow가 장기 예측을 위한 어텐션 기반 모델의 효율적인 대안이 될 수 있다고 주장합니다. 순환 프레임워크 내에서 잔차 메모리 역학을 명시적으로 모델링함으로써, 모델은 표준 순환 모델이 놓치기 쉬운 비정상적 변화와 체계적 편차를 포착합니다.

이 연구의 의의는 선형 순환 인코딩이 전용 잔차 메모리 상태와 청크 기반 디코더로 보강될 때, 이차 계산 비용을 들이지 않고도 복잡한 트랜스포머 아키텍처와 경쟁할 수 있음을 보여준 데 있습니다. 저자들은 편차 역학을 순환 구조에 통합하는 것이 LTSF를 위한 유망하고 파라미터 효율적인 유도 편향을 제공한다고 제안합니다. 본 연구는 모든 고차원 다변량 예측 문제를 해결한다고 주장하는 것이 아니라(교차 변수 모델링의 필요성 인정), 잔차 인식 순환 접근 방식에 대한 강력한 기준점을 구축하는 데 목적이 있습니다.

향후 과제로 교차 변수 의존성 모델링 조사 및 다른 시계열 분석 작업에 대한 프레임워크 적용이 제시되었습니다.