기술 요약: NPMixer

문제 정의

다변량 시계열 예측 (TSF) 은 국소적 시간 역동성과 다변량 간의 글로벌 의존성이라는 이중적 복잡성으로 인해 상당한 도전에 직면해 있습니다. 최근의 딥러닝 접근법은 전통적인 통계적 방법 (예: ARIMA) 을 넘어 Transformers 와 MLP 를 활용하도록 발전했으나, 기존 솔루션들은 종종 효율성과 특징 중복성 문제로 어려움을 겪습니다. 구체적으로, 많은 패치 기반 방법들 (예: PatchTST) 은 국소적 의미를 포착하기 위해 중첩되는 윈도우에 의존하는데, 이는 계산 오버헤드를 증가시키고 과적합을 초래할 수 있는 중복 정보를 도입할 위험이 있습니다. 또한, 주파수 영역 접근법들 (예: FEDformer, WaveForM) 은 주기성을 분리하는 데 도움이 되지만, 표준 이산 웨이블릿 변환 (DWT) 은 다운샘플링으로 인해 번역 불변성이 깨지고 특징 손실이 발생할 수 있습니다.

방법론: NPMixer

저자들은 밀집된 슬라이딩 윈도우의 중복성 없이 다중 스케일 시간 역동성과 채널 간 상관관계를 포착하도록 설계된 계층적 아키텍처인 NPMixer(Neighboring Patching Mixer) 를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 학습 가능한 정적 웨이블릿 변환 (LSWT)

고정된 기저 함수 (Haar 또는 Daubechies 등) 나 표준 DWT 를 사용하는 대신, NPMixer 는 학습 가능한 정적 웨이블릿 변환을 사용합니다.

• 메커니즘: 모델은 역전파를 통해 훈련 중에 필터 계수 ($h_0, h_1$) 를 최적화하여, 분해가 데이터의 특정 스펙트럼 특성에 동적으로 적응하도록 합니다.
• 정적성: DWT 와 달리 정적 웨이블릿 변환 (SWT) 은 다운샘플링을 생략합니다. 이는 원래 시퀀스 길이를 보존하고 번역 불변성을 유지하여 신호의 이동이 특징 표현을 변경하지 않도록 보장합니다.
• 분해: 입력은 글로벌 근사 계수 ($A_M$, 추세를 나타냄) 와 다중 스케일 세부 계수들 ($\{D_m\}$, 고주파 변동성을 나타냄) 로 분해됩니다.

2. 채널 믹싱 인코더

이 구성 요소는 세부 계수(고주파 성분) 에만 적용됩니다.

• 아키텍처: iTransformer 와 유사한 역전 아키텍처를 채택하여, 각 변수의 전체 룩백 시퀀스를 별도의 토큰으로 취급합니다.
• 기능: 멀티헤드 셀프 어텐션 (MSA) 메커니즘이 변수 간의 쌍별 상관관계를 모델링하여 다변량 상호작용의 동적 그래프를 학습합니다. 이를 통해 모델은 상관관계가 있는 변수들의 상태에 기반하여 고주파 특징을 정제할 수 있습니다.
• 제외: 근사 분기 (추세) 는 이 인코더를 우회하여, 채널 간 믹싱으로 인한 노이즈를 도입하지 않고 글로벌 추세의 매끄러운 단변량 궤적을 보존합니다.

3. 이웃 믹서 블록

시간 의존성을 포착하기 위한 핵심 혁신으로, 중첩되지 않는 패칭 전략을 활용합니다.

• 중첩되지 않는 패칭: 시퀀스는 길이 $P$인 중첩되지 않는 패치들로 나뉩니다.
• 계층적 페어링: 모델은 반복적인 "그룹 - 믹스 - 분해" 전략을 사용합니다. 각 계층 수준에서 인접한 시간 블록들이 페어링되어 심층 멀티 패치 MLP 를 통해 관계 특징을 학습합니다.
• 비대칭 업데이트: 예측의 시간적 구조에 부합하도록, 모델은 방향성 편향을 강제하는 학습 가능한 게이트 ($\alpha_k$) 를 사용합니다. 초기 블록은 미래 지향적 신호 (후속 블록과의 상호작용) 에 기반하여 업데이트되는 반면, 후속 블록들은 이전 컨텍스트로부터의 통합을 우선시하여 역사적 연속성을 중시합니다.
• 진행: 재귀적 페어링을 통해 수용 영역이 효율적으로 확장되어, 중첩되는 스트라이드의 계산 비용 없이 국소적 세밀한 특징 학습에서 글로벌 시퀀스 전체 패턴 포착으로 전환됩니다.

4. 재구성 및 투영

처리된 특징은 학습 가능한 역 SWT(LISWT) 를 통해 재구성되고, 최종 투영 레이어 (글로벌 병목 변환) 를 거쳐 예측을 생성합니다. 출력은 원래 스케일을 복원하기 위해 RevIN 비정규화를 거칩니다.

주요 기여

1. 재귀적 패치 집계: 본 논문은 중첩되지 않는 패치들을 계층적으로 집계하는 것이 국소적 세부사항에서 글로벌 의존성으로의 전환을 효과적으로 포착하여 다중 스케일 역동성의 표현을 풍부하게 한다는 것을 보여줍니다.
2. 주파수 영역 다중 스케일 학습: 저자들은 LSWT 를 통한 주파수 영역 내에서의 다중 스케일 학습이 서로 다른 해상도에서 정밀한 시간 역동성을 포착하는 데 필수적임을 입증했습니다.
3. 최첨단 아키텍처: NPMixer 는 장기 예측 작업을 위한 다양한 다변량 시계열 데이터셋에서 최첨단 결과를 달성하는 간단하면서도 효과적인 아키텍처로 제안됩니다.

실험 결과

이 모델은 ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Traffic 등 7 개의 벤치마크 데이터셋에서 SimpleTM, TimeXer, CrossGNN, iTransformer, PatchTST, TimeMixer 등 6 개의 최첨단 베이스라인에 대해 평가되었습니다.

• 성능: NPMixer 는 일관되게 베이스라인을 능가하여, 평가된 28 개의 실험 설정 중 **20 개 (71.4%)**에서 가장 낮은 평균 제곱 오차 (MSE) 를 달성했고, 18 개 설정에서 가장 낮은 평균 절대 오차 (MAE) 를 기록했습니다.
• 구체적 개선: ETTm1 과 ETTm2 데이터셋에서 주목할 만한 개선이 관찰되었는데, NPMixer 는 두 번째로 좋은 변형 (SimpleTM) 대비 평균 MSE 를 4.98% 향상시켰습니다.
• 어블레이션 연구:
  • 이웃 믹서를 제거하고 단일 패치 믹서로 대체한 경우 (예: Traffic 데이터셋에서 MSE 18.01% 증가) 성능이 크게 저하되어 계층적 페어링의 필요성을 강조했습니다.
  • 채널 믹싱 인코더를 제거한 경우 고차원 Traffic 데이터셋에서 MSE 가 17.19% 증가하여, 주파수 영역에서 명시적인 채널 간 상관관계 모델링의 중요성을 확인시켰습니다.
  • 웨이블릿 변환의 학습 가능한 측면은 특히 ETTm1 과 Weather 데이터셋에서 일관된 향상을 제공했습니다.
• 룩백 윈도우 분석: NPMixer 는 더 긴 룩백 윈도우에서 견고성을 보여주었으며, 윈도우 크기가 최적화되었을 때 7 개 데이터셋 중 5 개에서 최상의 결과를 달성하여 모델이 풍부한 역사적 정보를 효과적으로 활용함을 시사합니다.

중요성과 주장

본 논문은 NPMixer 가 학습 가능한 스펙트럼 분해와 계층적 시간 믹싱을 시너지 효과적으로 결합함으로써 다변량 시계열 예측 분야에서 새로운 최첨단 기준을 수립했다고 주장합니다.

• 효율성 대 중복성: 중첩되지 않는 패치와 계층적 페어링을 활용함으로써, 모델은 중첩되는 슬라이딩 윈도우에 내재된 계산적 중복성 없이 다중 스케일 표현을 포착합니다.
• 안정성과 정밀도: LSWT 의 통합은 모델이 특정 주기성과 노이즈 패턴을 독립적으로 분리하고 처리할 수 있게 하며, 채널 믹싱 인코더는 글로벌 추세를 불안정하게 하지 않으면서 변수 간 상관관계를 포착하도록 보장합니다.
• 미래 전망: 저자들은 지수적 블록 크기 조정으로 인한 엄격한 입력 길이 제약과 초기 패치 크기에 대한 민감성과 관련된 한계를 인정합니다. 향후 작업으로는 비정상적인 개념 드리프트를 처리하기 위한 유연하고 길이에 적응적인 패칭 및 동적 필터 적응에 초점을 맞출 것을 제안합니다.

이 연구는 복잡한 시간 역동성 모델링에서의 한 걸음 더 나아가는 것으로 위치 지어지며, 예측 정확도 향상을 통한 에너지 그리드 최적화, 기상 예보, 물류 계획 등에서의 긍정적인 사회적 영향을 가질 잠재력을 지니고 있습니다.