RhyMix: A Lightweight Adaptive Multi-Rhythm Network for Long-Term Time Series Forecasting

기술 요약: RhyMix

문제 정의
실세계의 다변량 시계열(MTS)은 단기 변동, 주기적 계절성 사이클, 장기 추세, 불규칙한 급격한 변화를 포함하는 복잡한 동역학적 특성을 나타냅니다. 기존의 예측 아키텍처는 종종 이러한 다양성을 동시에 포착하는 데 어려움을 겪는 단일 경로 템포럴 모델링 전략에 의존합니다. 트랜스포머 기반 모델은 장기 의존성을 포착하지만 로컬 변동을 매끄럽게 만들고 이차 복잡도(quadratic complexity) 문제를 겪는 경우가 많습니다. 합성곱 네트워크(CNN)는 로컬 패턴을 포착하지만 수용 영역(receptive field)이 제한적이며, 선형 모델은 효율적이지만 비선형 동역학을 포착하지 못합니다. 또한, 많은 최신(SOTA) 모델들은 경직된 구조적 가정(예: 고정된 패치 크기, 균일한 MLP)에 의존하거나 SVD와 같은 사전 계산 단계 또는 외부 베이스 모델과 같은 과도한 계산 자원을 요구하여, 자원이 제한된 엣지 환경에서의 배포를 제한합니다. 따라서 정확도를 희생하지 않으면서도 가볍고, 계산 효율적이며(선형 복잡도), 다중 스케일 템포럴 동역학을 적응적으로 모델링할 수 있는 아키텍처가 절실히 필요합니다.

방법론
저자들은 적응형 게이팅 메커니즘을 갖춘 병렬 이중 경로 모델링 패러다임을 중심으로 설계된 경량 하이브리드 신경망 아키텍처인 RhyMix(RHYthm MIXture)를 제안합니다. 이 아키텍처는 두 개의 협력적인 인코딩 브랜치를 통해 템포럴 신호를 처리합니다:

1. 주기적 예측 경로 (Cyclic Forecasting Path): 이 브랜치는 네 가지 학습 가능한 주기적 임베딩 테이블($P \in \{12, 24, 48, 168\}$; 반일, 일간, 이일, 주간 사이클을 나타냄)을 통해 명시적인 계절적 귀납 편향(inductive bias)을 통합합니다. 입력 샘플마다 관련 주기성을 동적으로 강조하기 위해 학습 가능한 주기 가중치를 사용합니다.
2. MSTCN-CA 경로 (Multi-Scale Temporal Convolutional Network with Channel Attention): 이 브랜치는 두 개의 스택된 템포럴 멀티 스케일(TMS) 블록으로 구성된 경량 템포럴 합성곱 네트워크를 채택합니다. 각 블록은 서로 다른 수용 영역에서 템포럴 의존성을 포착하기 위해 네 개의 병렬 심층 확장 합성곱(depthwise dilated convolutions, dilation rates $d \in \{1, 2, 4, 8\}$)을 사용합니다. 또한 입력 특성에 따라 멀티 스케일 특징을 조절하기 위해 채널 어텐션을 통합합니다.

적응형 게이팅 및 퓨전 (Adaptive Gating and Fusion):
핵심 혁신은 여러 수준에서 작동하는 적응형 게이팅의 사용입니다:

• 경로 게이팅 (Path Gating): 하이브리드 게이트(MLP)가 입력 특성에 따라 Cyclic 경로와 MSTCN-CA 경로의 기여도를 동적으로 조절합니다.
• 헤드 게이팅 (Head Gating): 각 샘플과 채널에 대해 네 가지 특화된 예측 헤드를 동적으로 결합하는 경로 게이트를 사용합니다. 이 헤드들은 다음과 같은 뚜로 다른 템포럴 패턴을 포착합니다:
  1. 직접 투영 (Direct Projection): 선형 레이어.
  2. 추세-계절 분해 (Trend-Seasonal Decomposition): 적응형 이동 평균 사용.
  3. 로컬 패턴 추출 (Local Pattern Extraction): 심층 합성곱(depthwise convolutions) 사용.
  4. 주기적 융합 (Periodic Fusion): 2D CNN을 사용하여 입력과 주기적 임베딩을 융합.

모델은 상대적인 템포럴 패턴에 집중할 수 있도록 정규화 및 역정규화를 위해 가역 인스턴스 정규화(RevIN)를 활용합니다. 전체 아키텍처는 시퀀스 길이($L$)와 채널($C$)에 대해 선형 복잡도 $O(L \cdot C)$를 유지하며, 셀프 어텐션이나 SVD 기반 프로젝션과 관련된 이차 비용을 피합니다.

주요 기여

1. 아키텍처 설계: 병렬 이중 경로 설계를 통해 명시적인 다중 주기적 사이클 모델링과 MSTCN 기반의 멀티 스케일 특징 추출을 결합한 하이브리드 아키텍처인 RhyMix를 도입했습니다.
2. 적응형 메커니즘: 네 가지 특화된 예측 헤드를 동적으로 결합하고, 고정된 구조적 가정 없이 특정 템포럴 패턴에 적응할 수 있도록 샘플별로 두 인코딩 경로의 균형을 맞추는 적응형 게이팅 메커니즘을 구현했습니다.
3. 효율성: 약 40,269개의 파라미터(157 KB)라는 컴팩트한 모델 크기와 선형 복잡도를 달agi 통해 SOTA 성능을 달성하였으며, 이는 최근 SOTA 모델(예: Time-o1)보다 10배 적은 파라미터 수입니다.
4. 성능: 12개의 다양한 벤치마크 데이터셋(electricity, traffic, weather, finance)에 대한 검증을 통해 우수하거나 경쟁력 있는 성능을 입증하였으며, 12개 중 10개 데이터셋에서 SOTA 결과를 달성했습니다.

실험 결과
저자들은 룩백 윈도우 $L=96$ 및 호라이즌 최대 $H=720$인 12개의 공개 벤치마크 데이터셋(ETTh1/2, ETTm1/2, ECL, Traffic, Weather, Exchange, PEMS03/4/7/8)에서 RhyMix를 평가했습니다.

• 정확도: RhyMix는 12개 데이터셋 중 10개에서 가장 우수한 성능(최저 MSE/MAE)을 기록했습니다. 이는 Time-o1, TimeMixer++, GCMNet, SEG-MOE, SOFTS, PatchTST, iTransformer를 포함한 최근 베이스라인들을 능가했습니다.
• 효율성: 모델은 샘플당 4.47 ms의 추론 지연 시간과 9.35 MB의 피크 추론 메모리 풋프린트를 보여주었습니다.
• 어블레이션 연구 (Ablation Studies): 구성 요소(Cyclic Path, MSTCN-CA Path, Adaptive Gates, Periodic Features, Local Conv)를 체계적으로 제거했을 때 각 모듈이 시너지 효과를 낸다는 것을 확인했습니다. 주기적 특징(Periodic features)이 가장 결정적인 구성 요소로 식별되었으며, 이중 경로 설계는 데이터셋의 특성(예: ECL의 경우 Cyclic Path, ETTh1의 경우 MSTCN-CA)에 따라 상호 보완적인 이득을 제공했습니다.
• 복잡도 비교: RhyMix는 호라이즌($H$)에 따라 선형적으로 확장($O(H)$)되는 반면, Time-o1과 같은 모델은 프로젝션 행렬로 인해 이차적으로 확장($O(H^2)$)됩니다. RhyMix는 TimeMixer++보다 최대 99배 적은 파라미터를 사용합니다.

의의 및 주장
본 논문은 RhyMix가 예측 정확도와 계산 효율성 사이의 트레이드오프 문제를 해결한다고 주장합니다. 명시적인 계절적 사전 지식(prior)을 데이터 기반의 멀티 스케일 합성곱 및 적응형 게이팅과 통합함으로써, RhyMix는 경량성을 유지하면서도 다양한 템포럴 패턴을 포착합니다. 저자들은 R-RhyMix를 자원이 제한된 엣지 디바이스 및 실시간 애플리케이션을 위한 실용적인 솔루션으로 포지셔닝하며, 사전 계산이나 외부 베이스 모델이 필요 없는 자립형 아키텍처를 제공합니다. 이 연구는 적응형 멀티 리듬 모델링이 현재의 트랜스포머 기반 또는 복잡한 하이브리드 방식의 무거운 계산 오버헤드 없이도 SOTA 성능을 달할 수 있음을 시사합니다.

한계점
저자들은 RhyMix가 SOFTS나 iTransformer와 같은 특화된 채널 의존성(CD) 아키텍처가 더 잘 수행하는 데이터셋(예: 862개의 센서가 있는 Traffic 데이터셋)에서 한계를 보인다는 점을 인정합니다. 또한, PEMS04 데이터셋의 장기 호라이즌($H=96$)에서 RhyMix는 MSTN-Transformer에 비해 약간 낮은 성능을 보였는데, 이는 적응형 게이팅 메커니즘이 특정 데이터 분포에 대한 특정 장기 예측에는 덜 효과적일 수 있음을 시사합니다. 저자들은 이것이 특화된 귀납적 편향보다 범용적인 멀리 스케일 학습을 우선시하는 설계상의 트레이드오프를 반영한다고 언급했습니다.