기술 요약: FAiT – 다변량 시계열 예측을 위한 주파수 인지형 인버티드 트랜스포머 (Frequency-Aware Inverted Transformer)

1. 문제 정의

다변량 시계열 예측(Multivariate Time Series Forecasting, MTSF)은 금융 리스크 관리에서 에너지 그리드 최적화에 이르기까지 다양한 도메인에서 매우 중요합니다. 트랜스포머 기반 아키텍처는 장기 의존성을 포착하는 능력 덕분에 지배적인 위치를 차지하게 되었으나, 이들은 셀프 어텐션 메커니즘의 근본적인 저역 통과 필터링 편향(low-pass filtering bias) 문제에 직면해 있습니다.

핵심 문제는 표준 셀프 어텐션이 가중 평균을 통해 정보를 집계함으로써 본질적으로 고주파 신호를 완화(smoothing)시킨다는 점입니다. 이는 급격한 국소적 변화, 돌발적인 충격, 그리고 변수 특유의 고주파 패턴과 같이 예측에 필수적인 신호들을 감쇠시키는 결과를 초래합니다. 나아가, 기존의 주파수 강화 접근 방식들은 데이터를 고정된 스펙트럼 기저(예: 푸리에 변환)에 투영하고 시퀀스 단위(균일) 변조를 적용함으로써 이를 완화하려고 시도합니다. 그러나 이러한 방법들은 실제 데이터의 두 가지 핵심적인 현실을 반영하지 못합니다:

1. 비정상성(Non-stationarity): 스펙트럼 특성은 시간에 따라 진화하며, 항상 정적인 조화 성분과 일치하지는 않습니다.
2. 국소적 역학(Local Dynamics): 전역적인 스펙트럼 연산은 특정 시간 구간 내에서 주파수를 미세하게 제어하는 데 필요한 세밀한 통제력을 결여하고 있습니다.

결과적으로, 현재의 모델들은 불규칙한 시간적 역학을 과소 적합(underfit)하거나, 과도한 평활화로 인해 미세한 변동을 포착하는 데 실패합니다.

2. 방법론: FAiT

이러한 한계를 해결하기 위해, 저자들은 어텐션 레이어 내에서 저주파 및 고주파 동작을 명시적으로 분리하고 제어하는 두 가지 상호 보완적인 구성 요소를 통합한 **FAiT (Frequency-Aware Inverted Transformer)**를 제안합니다.

2.1 인버티드 어텐션 메커니즘 (Inverted Attention Mechanism)

핵심 혁신은 **인버티드 트랜스포머(Inverted Transformer)**로, 이는 이중 경로 아키텍처를 구축함으로써 표준 어텐션의 스펙트럼 편향을 교정합니다:

• 저역 통과 브랜치 (Low-Pass Branch): 표준 셀프 어텐션 메커니즘($A = \text{softmax}(QK^T/\sqrt{D})$)을 부드러운 추세를 집계하는 학습 가능한 저역 통과 연산자($Z_{low} = AV$)로 취급합니다.
• 고역 통과 브랜치 (High-Pass Branch): 어텐션 행렬 $A$가 저역 통과 필터 역할을 한다는 점을 인식하여, 저자들은 어텐션 행렬을 역전(invert)시켜 보완적인 고역 통과 브랜치를 구축합니다. 고주파 성분은 잔차 항(residual term)으로 명시적으로 모델링됩니다: $Z_{high} = (I - A)V$. 이 대수적 보완은 저역 통과 브랜치에 의해 억제된 과도 신호와 국소적인 급격한 변화를 복구합니다.
• 적응형 스펙트럼 게이팅 (Adaptive Spectral Gating, ASG): 추세와 변동의 중요성이 변하는 비정상성 체제(non-stationary regimes)를 처리하기 위해, 학습 가능한 게이팅 메커니즘이 정적인 합산 대신 각 단계에서 $Z_{low}$와 $Z_{high}$의 상대적 기여도를 동적으로 재보정합니다.

2.2 동적 시계열-주파수 변조 (Dynamic Temporal-Frequency Modulation, DTFM)

인버티드 어텐션이 이진 분리(저주파 vs 고주파)를 제공하는 반면, 복잡한 MTSF에는 특정 주파수 대역에 대한 미묘한 제어가 필요합니다. DTFM 모듈은 인스턴스 적응형 스펙트럼 재가중치를 도입합니다:

• 프로토타입 합성 (Prototype Synthesis): 정적인 스케일링 파라미터를 학습하는 대신, DTFM은 현재 융합된 표현(representation)을 조건으로 하는 동적 변조 가중치를 합성합니다. 이는 일련의 학습 가능한 스펙트럼 프로토타입($K$)과 경량 게이팅 네트워크(Tanh를 사용하는 MLP)를 활용하여 인스턴스별 계수($\alpha$)를 생성합니다.
• 주파수 영역 변조 (Frequency Domain Modulation): 융합된 표현은 이산 푸리에 변환(DFT)을 통해 주파수 영역으로 변환됩니다. 합성된 가중치는 위상 정보를 보존하면서 대역 에너지를 재보정하기 위해 복소 스펙트럼의 실수부와 허수부 모두에 적용됩니다.
• 재구성 (Reconstruction): 보정된 스펙트럼은 역 이산 푸리에 변환(IDFT)을 통해 다시 시간 영역으로 변환되어, 진화하는 다중 스케일 패턴의 미세한 모델링을 가능하게 합니다.

2.3 아키텍처 개요

전체 파이프라인은 다음과 같습니다:

1. RevIN & 임베딩: 가역적 인스턴스 정규화(Reversible Instance Normalization) 후 선형 투영을 수행합니다.
2. 인버티드 트랜스포머 레이어: 적응형 게이팅을 갖춘 이중 경로(Low/High) 어텐션을 통해 처리합니다.
3. DTFM: 융합된 특징에 동적 스펙트럼 변조를 적용합니다.
4. 잔차 융합 및 출력: 잔차 연결을 통해 스펙트럼이 강화된 특징을 원래 입력과 융합한 후, 예측 호라이즌(forecast horizon)으로 선형 투영합니다.

3. 주요 기여

논문은 네 가지 주요 기여를 설명합니다:

1. FAiT 아키텍처: 어텐션 레이어 내에서 저주파 및 고주파 동작을 분리하고 제어함으로써, 바닐라 어텐션의 저역 통과 편향을 명시적으로 해결하는 새로운 주파수 인지형 인버티드 트랜스포머를 제안합니다.
2. 동적 시계열-주파수 변조 (DTFM): 현재 표현을 기반으로 시계열-주파수 서브 밴드를 적응적으로 재가중하여, 비정상적 패턴의 유연한 모델링을 가능하게 하는 미세한 스펙트럼 제어 메커니즘입니다.
3. 모델 불가지론적 프레임워크 (Model-Agnostic Framework): 인버티드 어텐션 메커니즘이 "플러그 앤 플레이(plug-and-play)" 방식의 부스터 역할을 한다는 것을 입증했습니다. 이를 다양한 트랜스포머 기반 예측 모델(예: iTransformer, PatchTST, CARD)에 통합하면 고주파 모델링 능력을 복원하여 일관된 성능 향상을 이끌어낼 수 있습니다.
4. 포괄적인 평가: 12개의 널리 사용되는 벤치마크(장기 및 단기 시나리오 포함)에 대한 광범위한 실험을 통해 기존의 트랜스포머 기반 및 주파수 강화 베이스라인 모델들보다 일관되게 우수한 성능을 보여주었습니다.

4. 실험 결과

저자들은 14개의 베이스라인(DLinear, TimeMixer++와 같은 선형 모델, iTransformer, PatchTST와 같은 트랜스포머, FreDF, FilterNet, FITS와 같은 주파수 기반 모델 포함)을 대상으로 12개의 데이터셋(예: ETT, Electricity, Traffic, Weather, PEMS)에서 FAiT를 평가했습니다.

• 장기 예측 (Long-Term Forecasting): FA이(FAiT)는 8개의 장기 데이터셋에 대해 MSE 기준 32개 케이스 중 27개에서, MAE 기준 32개 케이스 중 31개에서 최고 또는 차석의 성능을 달성했습니다. 8개 데이터셋 중 6개에서는 MSE에서, 8개 전체에서는 MAE에서 새로운 SOTA(State-of-the-Art)를 기록했습니다.
• 단기 예측 (Short-Term Forecasting): 4개의 PEMS 교통 데이터셋에서 FAiT는 모든 호라이즌에 걸쳐 가장 낮은 MSE와 MAE를 달-성했으며, 가장 강력한 경쟁 모델 대비 MSE를 3%에서 20%까지 감소시켰습니다.
• 절제 연구 (Ablation Studies): 인버티드 어텐션이나 DTFM 모듈 중 하나라도 제거하면 상당한 성능 저하가 발생하여, 두 모듈의 상호 보완적인 역할을 확인했습니다. 구체적으로, 인버티드 어텐션을 제거하면 국소적 변동 추적 능력이 상실되었고, DTFM을 제거하면 미세한 주파수 변화를 처리하는 능력이 감소했습니다.
• 효율성: FAiT는 CARD(9.50 GB)나 TimeMixer(11.33 GB)에 비해 약 3.70 GB의 메모리만을 요구하며 경쟁력 있는 훈련 속도를 유지함으로써 우수한 메모리 효율성을 입증했습니다.
• 시각화: 스펙트럼 응답 분석 결과, FAiT는 표준 어텐션이 억제하는 고주파 에너지를 성공적으로 복구하는 반면, 다른 주파수 기반 방법들은 여전히 스펙트럼 감쇠 현상을 보였습니다.

5. 의의 및 주장

본 논문은 FAiT가 시계열 예측에서 어텐션 메커니즘의 내재적 한계를 해결하는 데 있어 중요한 진전임을 주장합니다. 고정된 스펙트럼 기저와 전역적 연산을 넘어, FAiT는 동적이고 인스턴스 적응적인 스펙트럼 모델링 접근 방식을 도입합니다.

저자들은 자신들의 작업이 단순히 주파수 연산을 추가하는 것이 아니라, 어텐션 메커니즘을 스펙트럼 필터로서 근본적으로 **재고(rethink)**한다고 강조합니다. "인버티드 어텐션" 개념은 표준 트랜스포머가 필연적으로 손실하는 고주파 정보를 복구하기 위한 이론적, 실무적 방법을 제공합니다. 그 의의는 전역적 추세와 날카롭고 일시적인 국소 역학을 동시에 포착할 수 있는 능력에 있으며, 이는 비정상적이고 다중 스케일적인 시간 패턴을 다루는 실제 응용 분야에서 매우 중요합니다. 인버티드 어텐션 메커니즘의 모듈식 특성은 기존 트랜스포머 아키텍처를 위한 일반적인 향상 도구로서의 넓은 적용 가능성을 시사합니다.