Recency Biased Causal Attention for Time-series Forecasting

1. 문제 정의 (Problem Statement)

• Transformer 의 한계: Transformer 모델은 자연어 처리 (NLP) 에서 획기적인 성과를 거두었지만, 시계열 예측 (Time-series Forecasting) 에 적용할 때는 근본적인 구조적 불일치를 보입니다. 표준 Transformer 의 어텐션 메커니즘은 '모든 것에서 모든 것 (all-to-all)'으로 상호작용하며, 과거와 미래의 모든 토큰 간의 의존성을 평등하게 고려합니다.
• 시계열 데이터의 본질: 시계열 데이터는 본질적으로 **인과적 (causal)**이며 **국소적 (local)**입니다. 즉, 현재 시점의 값은 미래의 값에 의해 영향을 받지 않으며, 시간적 거리가 멀어질수록 상관관계가 감소하는 경향 (감쇠) 을 보입니다.
• 최근성 편향 (Recency Bias) 의 부재: 순환 신경망 (RNN) 은 내부 구조상 자연스럽게 '최근 정보'를 강조하는 최근성 편향을 가지고 있어 시계열 작업에 유리합니다. 반면, 표준 Transformer 는 이러한 편향이 없어, 관련성이 낮은 먼 과거의 정보가 신호를 흐리게 만들거나, 필요한 국소적 의존성을 놓칠 수 있습니다.
• 핵심 질문: "시계열 예측을 위해 표준 어텐션 메커니즘은 얼마나 적합한가?"라는 질문에 답하기 위해, 인과적 구조와 최근성 편향을 명시적으로 도입한 새로운 메커니즘이 필요합니다.

2. 제안 방법론: RBCA (Methodology)

저자들은 **Recency Biased Causal Attention (RBCA)**이라는 새로운 프레임워크를 제안합니다. 이는 Transformer 의 어텐션 점수에 부드러운 감쇠 (decay) 를 적용하여 최근 정보를 강조하면서도 장기적 의존성을 포착할 수 있도록 합니다.

• 기본 구조:

  • 표준 Multihead Attention (MHA) 의 어텐션 점수 ($S_h$) 에 **인과적 마스크 (Causal Mask, $M^{(C)}$)**와 **최근성 편향 마스크 (Recency Bias Mask, $M^{(L)}$)**를 더합니다.
  • 최종 어텐션 가중치는 $Softmax(S_h + M^{(C)} + M^{(L)})$로 계산됩니다.
  • $M^{(L)}$은 시간 차이 ($\Delta t$) 에 의존하는 음수 함수 $f(\Delta t)$로 정의되며, 이는 어텐션 점수에 가산되어 Softmax 후 지수적으로 감쇠하는 가중치를 생성합니다.

• 파워-법칙 (Power-Law) 편향 함수:

  • 기존 NLP 에서 사용되던 선형 (ALiBi) 또는 지수 감쇠 (Exponential) 대신, 물리 시스템의 자기상관 (autocorrelation) 특성을 반영한 파워-법칙 (Power-Law) 기반의 두 가지 함수를 제안합니다.
    1. 가중치 파워-법칙 ($f^{(PL)}(t) = -\alpha \log(t)$): 어텐션 가중치 자체에 파워-법칙 감쇠를 적용합니다.
    2. 유사도 파워-법칙 ($f^{(SPL)}(t) = -(t)^{-\alpha}$): 어텐션 점수에 적용하여, Softmax 후 지수 함수의 거듭제곱 형태가 되도록 합니다.
  • 이점: 파워-법칙은 짧은 시간 간격에서는 지수 감쇠처럼 빠르게 감소하여 최근 정보를 강조하고, 긴 시간 간격에서는 '무거운 꼬리 (heavy tail)'를 가져 장기적인 주기성 신호를 포착할 수 있게 합니다. 이는 단순한 지수 감쇠나 고정된 윈도우보다 더 유연한 다중 스케일 (multi-scale) 어텐션 구조를 제공합니다.

• Powerformer 모델:

  • RBCA 를 현대적인 시계열 모델인 PatchTST에 적용한 새로운 아키텍처인 Powerformer를 개발했습니다.
  • PatchTST 의 인코더 부분의 표준 MHA 를 RBCA 로 교체하여, 패치 (patch) 기반 입력과 결합된 인과적/국소적 편향을 학습하도록 합니다.

3. 주요 기여 (Key Contributions)

1. RBCA 프레임워크 제안: Transformer 에 인과적 및 최근성 편향을 도입하는 일반화된 프레임워크를 제시했습니다. 특히 물리 시스템의 특성을 반영한 파워-법칙 기반 편향이 시계열 데이터의 상관관계 구조를 잘 모사함을 보였습니다.
2. RNN 능력의 부활 (Flip-Flop 태스크): 'Read-Ignore-Write'가 필요한 Flip-Flop 태스크를 통해, 적절한 최근성 편향 (파워-법칙) 이 Transformer 에 RNN 과 유사한 메모리 관리 능력을 부여함을 증명했습니다. 반면, 기존 NLP 에서 사용되던 편향 (ALiBi 등) 은 오히려 성능을 저하시켰습니다.
3. Powerformer 와 성능 입증: Powerformer 를 통해 RBCA 가 최신 시계열 모델 (PatchTST, iTransformer 등) 보다 우수한 성능을 발휘함을 입증했습니다. 특히 Powerformer 는 학습 과정에서 인과적/최근성 편향을 제거하려 하지 않고, 오히려 이를 강화하여 학습하는 독특한 행동을 보였습니다.

4. 실험 결과 (Results)

• Flip-Flop 태스크:
  • 표준 MHA 는 약 85% 정확도, ALiBi 는 약 75% 정확도를 보인 반면, 제안한 파워-법칙 편향 ($f^{(PL)}$, $f^{(SPL)}$) 은 약 100% 정확도를 달성하여 RNN 과 유사한 읽기/쓰기/무시 능력을 성공적으로 구현했습니다.
• 시계열 예측 벤치마크:
  • 데이터셋: ETT (4 개 하위셋), Weather, Electricity, Traffic 등 7 개 표준 벤치마크.
  • 성능: Powerformer 는 46 개의 예측 태스크 중 46 개에서 가장 좋은 성능을 기록했습니다 (PatchTST 는 9 개).
  • 비교: One-Fits-All (GPT-2 기반, Powerformer 보다 2 배 이상 큰 모델) 이나 FEDformer, ETSformer 등 복잡한 모델들보다 우수한 성능을 보였습니다.
  • 특이점: Traffic 및 Electricity 데이터처럼 매우 주기적인 (highly periodic) 데이터에서는 다른 모델이 더 잘할 수도 있으나, Powerformer 는 비정상적 (non-stationary) 동역학을 다루는 데 있어 강력한 일반화 능력을 보였습니다.
• 어텐션 분석:
  • Powerformer 는 학습 후에도 인과적 마스크를 적용하지 않더라도 어텐션 가중치가 자연스럽게 인과적이고 최근성 편향을 띠는 분포를 형성했습니다. 이는 모델이 편향을 '학습'하여 내부적으로 강화한다는 것을 의미합니다.

5. 의의 및 결론 (Significance)

• 시계열 예측을 위한 새로운 인덕티브 바이어스: Transformer 가 시계열 데이터에 효과적으로 적용되기 위해서는 '모든 것에서 모든 것'의 상호작용보다는 인과적 구조와 최근성 편향이 필수적임을 증명했습니다.
• 간단함의 힘: 복잡한 아키텍처 변경 없이 어텐션 메커니즘에 간단한 편향 함수 (Power-Law) 만 추가함으로써, 더 크고 복잡한 모델들보다 우수한 성능을 달성할 수 있음을 보여주었습니다.
• 물리 시스템과의 연결: 시계열 데이터가 종종 파워-법칙을 따르는 자기상관 구조를 가진다는 물리학적 통찰을 딥러닝 모델 설계에 성공적으로 접목시켰습니다.
• 향후 방향: RBCA 는 시계열 예측뿐만 아니라 다른 국소적/인과적 구조를 가진 순차적 데이터 작업에서도 Transformer 의 성능을 향상시키는 보편적인 기법으로 확장될 수 있습니다.

요약하자면, 이 논문은 Transformer 의 시계열 예측 성능을 극대화하기 위해 **인과성과 최근성 (Recency)**을 명시적으로 모델링한 RBCA를 제안하고, 이를 통해 Powerformer를 개발하여 기존 State-of-the-Art 모델들을 능가하는 결과를 도출했습니다.