기술 요약: 필터 후 어텐션 (Filter Then Attend)

문제 제기

장기 시계열 예측 (LTSF) 은 Transformer 기반 모델을 통해 상당한 발전을 이루었으며, 종종 최첨단 결과를 달성합니다. 그러나 이러한 모델은 데이터의 저주파 성분에 대한 편향과 높은 계산 및 메모리 요구 사항이라는 두 가지 주요 한계를 겪습니다. 최근 연구들은 주파수 학습을 심층 예측 모델에 통합하려는 시도를 해왔으나, 많은 접근 방식이 필터링된 신호를 처리하기 위해 다층 퍼셉트론 (MLP) 에 의존하여 Transformer 아키텍처의 고유한 비효율성을 해결하지 못했습니다. furthermore, 기존 문헌은 Transformer 가 저역 통과 필터처럼 작용하여 신호를 과도하게 평활화 (oversmoothing) 하고 장기 예측에 필수적인 고주파 패턴을 포착하지 못할 수 있음을 시사합니다.

방법론

본 논문은 Transformer 기반 모델의 시작 부분에 학습 가능한 스펙트럼 필터를 배치하는 간단하면서도 효과적인 아키텍처 수정을 제안합니다. 이 접근법은 "필터 후 어텐션 (Filter Then Attend)"으로 명명되었으며, 주파수 영역 처리를 Transformer 파이프라인에 직접 통합합니다.

핵심 아키텍처: FilterFormer

저자들은 FilterFormer를 소개했는데, 이는 표준 Transformer 어텐션 메커니즘을 적용하기 전에 시계열 데이터를 학습 가능한 필터를 통과시키는 모델입니다. 아키텍처는 다음과 같은 구성 요소로 이루어집니다:

1. 입력 임베딩 및 패치화: PatchTST 프레임워크에 따라 입력 시계열은 독립적인 단변량 시퀀스로 취급됩니다. 이러한 시퀀스는 정규화되고 겹치거나 겹치지 않는 패치로 나뉩니다. 각 패치는 잠재 공간에 임베딩되고 위치 임베딩으로 보강됩니다.
2. 스펙트럼 블록: 어텐션 메커니즘 전에 임베딩된 패치는 스펙트럼 처리를 거칩니다.
   • 신호는 고속 푸리에 변환 (FFT) 을 사용하여 주파수 영역으로 변환됩니다.
   • 학습 가능한 필터가 주파수 영역에서 포인트와이즈 곱셈을 통해 적용됩니다. 이 필터는 무작위 실수 파라미터 집합으로 초기화되고 rFFT 를 통해 변환됩니다.
   • 필터링된 신호는 역 이산 푸리에 변환 (IDFT) 을 사용하여 시간 영역으로 다시 변환됩니다.
   • 필터링된 신호를 오직 MLP 를 통해만 처리하는 이전 연구들 (예: FilterNet) 과 달리, 이 방법은 필터링된 신호를 Transformer 의 어텐션 블록으로 직접 전달합니다.
   • 참고: FilterFormer 의 특정 구현에서는 스펙트럼 블록 내에 작은 MLP 가 포함되지만, 저자들은 다른 변형 (iFilterFormer, FilterLeddam) 의 경우 파라미터를 줄이기 위해 MLP 를 생략할 수 있다고 언급합니다.
3. 어텐션 블록: 필터링된 패치는 표준 멀티헤드 셀프 어텐션 메커니즘에 의해 처리됩니다. 모델은 스펙트럼 블록과 어텐션 블록 사이를 교차하며, 그 비율은 하이퍼파라미터 $\alpha$에 의해 제어됩니다.
4. 출력: 최종 표현은 평탄화되어 선형 헤드를 통해 예측 구간으로 매핑됩니다.

저자들은 이 접근법을 다른 기본 모델에 적용한 변형들도 만들었습니다: iFilterFormer(iTransformer 기반) 및 FilterLeddam(Leddam 기반).

주요 기여

1. 학습 가능한 필터의 통합: 본 논문은 Transformer 기반 모델의 입력에 학습 가능한 주파수 필터를 추가하는 것이 LTSF 작업에서 성능을 크게 향상시킨다는 것을 입증합니다.
2. 효율성 및 파라미터 감소: 필터 추가는 약 1,000 개의 파라미터를 도입합니다. 중요하게도, 이 추가는 기본 Transformer 의 임베딩 차원을 줄일 수 있게 합니다. 결과적으로 생성된 모델은 종종 필터링이 없는 대응 모델보다 작고 빠르면서도 우수하거나 동등한 정확도를 달성합니다.
3. 스펙트럼 활용 분석: 합성 실험을 통해 저자들은 필터가 Transformer 가 고주파 패턴을 더 잘 포착할 수 있게 한다는 증거를 제시합니다. 그들은 표준 Transformer 가 저역 통과 필터처럼 작용하여 과도한 평활화를 유발한다고 가정하며, 학습 가능한 필터가 중주파에서 고주파 성분을 증폭시킴으로써 이를 상쇄한다고 추측합니다.
4. 실증적 검증: 이 방법은 ETT, Electricity, Weather, Traffic, Solar-Energy 를 포함한 9 개의 다양한 데이터셋과 여러 예측 구간에서 검증되었습니다.

실험 결과

저자들은 iTransformer, PatchTST, Leddam, FilterNet, Fredformer, DLinear 를 포함한 강력한 베이스라인에 대해 모델을 평가했습니다.

• 성능 향상: 여러 데이터셋에서 FilterFormer 변형은 예측 성능 (MSE 및 MAE 로 측정) 에서 **5~10%**의 상대적 개선을 달성했습니다. 예를 들어, Electricity (ECL) 데이터셋에서 FilterFormer 는 PatchTST 대비 11.7% 의 개선을 보였습니다.
• 강건성: 개선은 다양한 도메인에서 일관되었으나, 저자들은 Traffic 데이터셋에서는 훈련 세트와 테스트 세트 간의 스펙트럼 불일치를 유발하는 특정 이상치 채널로 인해 모델이 초기에 부진했다고 지적했습니다. 이 이상치를 제거함으로써 모델의 우수한 성능이 회복되었습니다.
• 효율성: 논문의 표 6 은 FilterFormer 모델이 경쟁력 있는 정확도를 유지하면서 PatchTST(3.7M) 대비 현저히 적은 파라미터 (예: 0.6M) 와 FLOPs 를 요구함을 강조합니다. 이는 필터가 존재할 때 더 작은 임베딩 차원을 사용할 수 있는 능력에 기인합니다.
• 합성 실험: 저주파, 중주파, 고주파가 포함된 합성 신호에서 표준 iTransformer 는 주파수 편향으로 인해 어려움을 겪었으며 (MSE = 1.0e-1), 필터가 포함된 iFilterFormer 는 고주파 성분을 효과적으로 모델링하여 훨씬 낮은 MSE(2.6e-4) 를 달성했습니다.

중요성 및 주장

본 논문은 "필터 후 어텐션"을 심층 시계열 예측의 맥락에서 "무료 점심 (free lunch)"으로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

• 학습 가능한 필터의 추가는 성능을 저하시키지 않고 잠재적으로 극적으로 향상시킬 수 있는 사소한 아키텍처 변경입니다.
• 필터는 셀프 어텐션의 저역 통과 특성을 상쇄하여 Transformer 가 데이터의 전체 스펙트럼을 활용할 수 있게 하는 필수적인 구성 요소입니다.
• 이 방법은 만병통치약이 아닙니다. 그 효과는 결국 백본 Transformer 의 용량에 의해 제한됩니다. 그러나 이는 이러한 백본이 더 효율적으로 작동할 수 있게 합니다.
• 저자들은 학습된 필터를 향후 Transformer 기반 예측 모델의 기본 구성으로 옹호하며, 더 나아가 고급, 제어 가능, 해석 가능한 필터 개발에 초점을 맞춘 추가 연구가 필요하다고 제안합니다.

본 논문은 주파수 필터링과 어텐션 메커니즘을 결합한 모델이 "그 부분들의 합보다 강력하다"고 결론지으며, 장기 시계열 예측을 위한 경량이고 효과적인 솔루션을 제시합니다.