PMDformer: Patch-Mean Decoupling Information Transformer for Long-term Forecasting

기술 요약: PMDformer

문제 정의

장기 시계열 예측(LTSF)은 에너지 관리, 금융, 교통 예측과 같은 도메인에서 매우 중요합니다. Transformer 기반 모델들은 장기 의존성을 포착하기 위해 패치 기반 전략을 채택해 왔으나, 이들은 근본적인 문제에 직면해 있습니다: 바로 패치와 변수 간의 **형태 유사성(shape similarities)**을 정확하게 모델링하는 것이 **스케일 차이(scale differences)**에 의해 가려질 수 있다는 점입니다.

시계열 데이터는 본질적으로 비정상성(non-stationary)을 띠며, 이로 인해 패치의 스케일이 급격하게 변동합니다. 논문에서 입증된 바와 같이, 이러한 스케일 변동은 어텐션 메커니즘을 지배하여, 모델이 진정으로 유사한 형태를 가진 패치보다 단순히 크기가 큰 패치를 우선시하도록 만듭니다. 예를 들어, 평균값이 높은 패치가 평균값은 낮지만 형태적 궤적이 거의 동일한 패치보다 더 유사한 것으로 잘못 판단될 수 있습니다. 또한, 기존의 변수 의존적(variable-dependent, VD) 방법들은 전체 과거 윈도우에 걸쳐 상호작용을 모델링함으로써 오래된 상관관계로부터 노이즈를 도입하고 과적합의 위험을 초래하는 반면, 표준 정규화 기법(Z-score 등)은 표준 편차를 제거함으로써 데이터의 고유한 형태를 왜곡할 수 있습니다.

방법론

저자들은 형태 중심의 어텐션을 용이하게 하기 위해 추세(trend)와 형태(shape) 정보를 분리하도록 설계된 모델인 PMDformer를 제안합니다. 이 아키텍처는 네 가지 시너지 효과를 내는 모듈로 구성됩니다.

1. 패치 평균 분리 (Patch-Mean Decoupling, PMD)

전체 정규화 대신, PMD는 입력 시퀀스를 겹치지 않는 패치로 나누고 각 패치의 평균($\mu$)을 뺍니다.

• 메커니즘: 패치 $P$에 대해, 잔여 형태 $r$은 $r = P - \mu$로 계산됩니다.
• 효과: 이는 각 패치를 평균이 0이 되도록 중심을 맞추어, 장기적인 추세(평균에 인코딩됨)와 잔여 형태 정보를 명시적으로 분리합니다. 결정적으로, Z-score 정규화와 달리 PMD는 원래의 진폭 변화와 고유한 형태 구조를 보존합니다. 이를 통해 어텐션 메커니즘이 스케일에 의해 편향되지 않고 진정한 형태 유사성에 집중할 수 있게 합니다.

2. 근접 변수 어텐션 (Proximal Variable Attention, PVA)

변수 간 관계의 비정상성을 해결하기 위해, PVA는 변수 간 상호작용 모델링을 가장 최근의 시간 세그먼트로 제한합니다.

• 메커니즘: PVA는 모든 변수에 걸쳐 가장 마지막(가장 근접한) 패치의 토큰들에 대해서만 다중 헤드 셀프 어텐션(MHSA)을 적용합니다.
• 효과: 가장 최근의 상호작용에 집중함으로써, 모델은 미래 역학을 위한 가장 예측력 있는 형태 유사성을 포착하고, 과거의 드리프트(drift)로 인한 노이즈를 피하며, 계산 복잡도를 $O(C^2N)$에서 $O(C^2)$로 줄입니다.

3. 추세 복원 어텐션 (Trend Restoration Attention, TRA)

형태 중심의 처리를 수행하는 동안 글로벌 역학이 손실되지 않도록 하기 위해, TRA는 추세 정보를 재통합합니다.

• 메커니즘: 파라미터가 공유된 Transformer 인코더가 형태 임베딩을 처리합니다. 쿼리($Q$)와 키($K$) 투영은 오직 형태 잔차(shape residuals)에 대해서만 작동하여 패치 간 형태 유사성을 모델링합니다. 그러나 밸류($V$) 경로는 가산 연결(additive connection)을 통해 분리된 패치 평균($\mu$)을 명시적으로 포함합니다: $V = P W_V + \mu$.
• 효과: 이러한 아키텍처적 분리는 모델이 미세한 로컬 형태 의존성(via $Q/K$)과 글로벌 추세 역학(via $V$)을 결합하여 인코딩할 수 있게 하여, 장기적인 추세를 존중하는 안정적인 예측을 보장합니다.

4. 프로젝션 레이어 (Projection Layer)

최종 레이어는 다단계 예측을 생성하기 전에 정제된 형태 임베딩에 각 패치의 추세 평균을 다시 결합하여, 출력이 원래의 스케일 및 장기 역학과 잘 일치하도록 합니다.

주요 기여

1. 패치 평균 분리 (PMD): 평균 차감을 통해 어텐션 모듈 내에서 추세와 잔여 형태를 분리하는 새로운 메커즘입니다. 이는 진폭을 왜곡하지 않으면서 시간적 패치 및 변수 간의 효과적인 형태 유사성 포착을 가능하게 합니다.
2. 근접 변수 어텐션 (PVA): 교차 변수 어텐션을 가장 최근의 패치에 집중시켜, 가장 관련 있는 형태 유사성을 포착하고 오래된 상관관계에 대한 과적합을 완화하는 모듈입니다.
3. 추세 복원 어텐션 (TRA): 분리된 추세 정보를 어텐션 메커니즘의 밸류 경로로 복원하여, 로컬 형태와 글로벌 추세를 결합하여 인코딩할 수 있게 하는 방법입니다.
4. 실증적 성능: 광범한 실험을 통해 PMDformer가 여러 LTSF 벤치마크에서 기존의 최첨단 방법들보다 우수한 안정성과 정확도를 달성함을 입증했습니다.

실험 결과

저자들은 8개의 실제 데이터셋(ECL, Traffic, Weather, Solar, ETTh1, ETTh2, ETTm1, ETTm2)에 대해 TQNet, TimeBase, SOFTS, SparseTSF, ModernTCN, iTransformer, TimeMixer, PatchTST를 포함한 9개의 베이스라인과 함께 PMDformer를 평가했습니다.

• 전반적인 성능: PMDformer는 8개 데이터셋 중 7개에서 가장 낮은 평균 제곱 오차(MSE)와 평균 절대 오차(MAE)를 기록했습니다.
• 비교 우위:
  • TimeBase(선도적인 패치 기반 모델)와 비교했을 때, PMDformer는 평균 MSE 5.68%, MAв MAE 6.61% 감소를 보였습니다.
  • TQNet과 비교했을 때, 평균 MSE 8.62%, MAE 9.96% 감소를 달성했습니다.
  • iTransformer와 비교했을 때, 평균 MSE 11.44%, MAE **12.38%**의 감소를 제공했습니다.
• 어블레이션 연구 (Ablation Studies):
  • PMD를 제거하거나 표준 정규화(예: SAN 또는 Z-score)로 대체하면 성능 저하가 발생하여, 형태를 보존하면서 추세를 분리하는 것의 필요성을 확인했습니다.
  • PVA를 모든 과거 토큰에 대한 어텐션으로 교체하거나 제거하면 상당한 성능 하락이 발생하여, 근접 변수 상호작용에 집중하는 것의 중요성을 입증했습니다.
  • TRA를 표준 셀프 어텐션으로 교체하거나 제거하면 상당한 오차가 발생하여, 추세 복원의 결정적인 역할을 강조했습니다.

의의

본 논문은 PMDformer가 현재 LTSF 아키텍처의 핵심적인 한계, 즉 비정상 데이터에서 진정한 형태 유사성과 스케일 편향을 구분하지 못하는 문제를 해결한다고 주장합니다. 추세와 형태를 명시적으로 분리하고 변수 간 상호작용을 가장 관련 있는 시간 윈도우에 집중시킴으로써, 이 모델은 장기 예측을 위한 더 견고한 프레임워크를 제공합니다. 결과는 원시 크기(raw magnitude)보다 구조적 유사성을 우선시하는 **형태 중심의 Transformer 설계(shape-centric Transformer designs)**가 복잡한 시계열 작업에서 안정성과 정확도 면에서 상당한 이점을 제공한다는 것을 시사합니다. 저자들은 이 연구를 에너지 및 금융과 같은 핵심 인프라 도메인에서 더 신뢰할 수 있는 예측을 향한 단계로 포지셔닝하고 있습니다.