기술 요약: 동적 관계적 프라임링이 다변량 시계열에서 Transformer 를 개선함

1. 문제 제기

표준 Transformer 아키텍처를 다변량 시계열 (MTS) 예측에 적용하는 것은 근본적인 도메인 불일치에 직면해 있습니다. Transformers 는 자연어 처리 (NLP), 컴퓨터 비전, 그래프 학습과 같이 상호작용 패턴이 상대적으로 동질적인 (예: 의미적, 공간적, 또는 구조적) 도메인에서 탁월한 성능을 발휘하는 반면, MTS 데이터는 종종 높은 수준의 이질적인 채널 간 의존성을 보입니다.

MTS 시스템에서 서로 다른 채널 쌍 (토큰) 은 완전히 다른 물리 법칙이나 시간적 역학에 의해 지배될 수 있습니다. 예를 들어, 한 채널 쌍은 선행 - 지연 (lead-lag) 관계를 보이는 반면, 다른 쌍은 즉각적인 상관관계를 보일 수 있습니다. 표준 어텐션 메커니즘은 정적 관계적 학습을 사용하는데, 여기서 토큰 표현은 레이어 내의 모든 쌍별 상호작용에 걸쳐 불변으로 유지됩니다. 토큰은 관계의 구체적인 성격과 상관없이 모든 다른 토큰에게 동일한 표현적 관점을 제시합니다. 이러한 "일률적 접근 (one-size-fits-all)" 방식은 모델이 고유한 쌍별 역학을 포착하는 능력을 제한하여, 이질적인 시스템에서 유용한 패턴 발견을 저해할 수 있습니다.

2. 방법론: 프라임 어텐션 (Prime Attention)

이러한 한계를 해결하기 위해 저자들은 동적 관계적 학습을 도입하는 프라임 어텐션을 제안합니다. 표준 어텐션과 달리 프라임 어텐션은 각 특정 쌍별 상호작용에 대해 토큰 표현을 조절하여, 고유한 관계 특성에 기반한 토큰 간의 계산적 정렬을 최적화합니다.

핵심 메커니즘

표준 어텐션에서 토큰 $j$에 대한 키 ($k_j$) 와 값 ($v_j$) 벡터는 입력 $x_j$의 고정된 투영입니다. 프라임 어텐션에서는 이러한 벡터가 토큰 $i$와 토큰 $j$ 간의 상호작용에 특화된 학습 가능한 프라이머 (primer)($F_{ij}$) 에 의해 동적으로 조절됩니다:
$$\tilde{k}_j = k_j \odot F_{ij}$$
$$\tilde{v}_j = v_j \odot F_{ij}$$
여기서 $\odot$는 요소별 곱셈을 나타냅니다. 프라이머 $F_{ij}$는 모델이 토큰 $i$와 상호작용할 때와 토큰 $k$와 상호작용할 때 토큰 $j$에 대해 서로 다른 표현적 관점을 제시할 수 있게 합니다. 이를 통해 모델은 예를 들어 한 쌍에는 선행 - 지연 특성을 강조하면서 다른 쌍에는 즉각적인 결합을 부각시킬 수 있습니다.

학습 가능한 조절기 생성

프라이머 $F_{ij}$는 학습 가능한 매개변수입니다. 저자들은 그 구성을 위한 두 가지 전략을 제안합니다:

1. 무작위 초기화: 단위 행렬 근처에서 초기화되고 다층 퍼셉트론 (MLP) 을 통해 처음부터 학습됩니다.
2. 도메인 정보 기반 초기화: 수렴을 가속화하기 위해, 선행 - 지연 계수(고속 푸리에 변환을 통해 계산됨) 및 즉각적인 상관관계와 같은 도메인 내 추정된 알려진 패턴을 사용하여 프라이머를 초기화할 수 있습니다. 이러한 추정치는 MLP 를 통해 처리되어 모델이 이후에 정제, 증폭 또는 폐기할 수 있는 편향을 생성합니다.

이론적 속성

이 논문은 정적 및 동적 관계적 학습 간의 차이를 공식화합니다. 표준 어텐션은 표현이 상호작용 파트너에 대해 불변인 정적 관계적 학습을 구현하는 반면, 프라임 어텐션은 동적 관계적 학습을 구현함을 증명합니다. 또한 저자들은 모든 프라이머가 단위 행렬로 설정된 경우 표준 어텐션을 특수한 경우로 엄격하게 포함하므로, 프라임 어텐션이 **보편적 근사 정리 (Universal Approximation Theorem)**를 만족함을 보여줍니다.

3. 주요 기여

• 관계적 학습의 공식화: 이 논문은 관계적 학습을 "정적"(표준 어텐션) 과 "동적"(프라임 어텐션) 으로 분류하며, 그들의 표현 능력에 대한 공식적 정의와 증명을 제공합니다.
• 프라임 어텐션 메커니즘: 토큰 표현을 동적으로 적응시키기 위해 쌍별 조절기를 도입한 새로운 어텐션 메커니즘으로, 이질적인 채널 간 의존성을 모델링할 수 있게 합니다.
• 귀납적 편향: 이 접근법은 어텐션 메커니즘에 학습 가능한 귀납적 편향을 주입하는 것으로 프레임됩니다. 쌍별 역학으로 모델을 편향시킴으로써 데이터가 부족하거나 매우 이질적인 시나리오에서 의미 있는 패턴 발견을 가속화합니다.
• 효율성: 학습 가능한 조절기를 추가함에도 불구하고, 이 방법은 매개변수 오버헤드를 무시할 수준으로만 증가시킵니다 (약 1.5% 증가) 반면, 훨씬 짧은 입력 시퀀스 길이로 동등하거나 우수한 성능을 달성할 가능성을 보여줍니다.

4. 실험 결과

저자들은 ETTh1/2, Weather, Solar, ECL, Traffic, PEMS 를 포함한 11 개의 널리 인정받는 벤치마크 데이터셋을 사용하여 Timer-XL, FreDF, iTransformer라는 세 가지 최첨단 Transformer 백본을 통해 프라임 어텐션을 평가했습니다.

• 예측 정확도: 프라임 어텐션은 벤치마크 전반에 걸쳐 표준 어텐션보다 일관되게 우수한 성능을 보였습니다. 가장 큰 개선은 이질적인 채널을 가진 데이터셋 (예: Weather 및 Solar) 에서 관찰되었으며, 여기서 프라임 어텐션은 표준 어텐션 대비 예측 정확도 (MSE) 에서 최대 6.5% 개선을 달성했습니다. 더 동질적인 데이터셋 (예: ECL, Traffic) 에서는 이득이 미미했지만 여전히 존재했습니다.
• 시퀀스 길이 효율성: 시퀀스 길이 분석에서 프라임 어텐션은 최대 40% 적은 입력 시퀀스 길이를 사용하여 표준 어텐션과 동등하거나 약간 더 나은 성능을 발휘할 수 있음을 보여주었습니다. 예를 들어, 특정 데이터셋에서 프라임 어텐션은 $L=96$을 사용하는 표준 어텐션 모델의 성능을 $L=48$또는 $L=64$만으로 달성했습니다.
• 전문화된 모델과의 비교: 프라임 어텐션은 정교한 관계적 학습을 적용한 최근의 다른 MTS 작업들 (예: LagTS, LIFT, DIFF Transformer, Autoformer) 보다 우수한 성능을 보였으며, 이는 정적 관계 모델링이나 특정 전처리 휴리스틱보다 동적 관계적 학습이 더 효과적인 전략임을 시사합니다.
• 어텐션 맵 분석: 시각화 결과, 표준 어텐션은 종종 단일 채널 (단일 실패 지점) 에 과도하게 의존하는 반면, 프라임 어텐션은 자기 연결이나 다양한 교차 채널 상호작용을 우선시하도록 학습하여 유익할 때는 효과적인 "소프트" 채널 독립 (CI) 모델로, 그렇지 않을 때는 견고한 채널 의존 (CD) 모델로 작용함을 보여주었습니다.
• 매개변수 효율성: 실험 결과, 표준 어텐션의 매개변수 수를 무리하게 증가시키는 것 (더 많은 헤드를 추가하는 방식) 은 프라임 어텐션과 비교할 만한 성능 향상을 가져오지 못했으며, 이는 개선이 단순한 용량이 아닌 관계 모델링의 질에서 비롯됨을 나타냅니다.

5. 중요성 및 주장

이 논문은 프라임 어텐션이 표준 Transformer 와 다변량 시계열 간의 도메인 불일치에 대한 실용적이고 이론적으로 근거 있는 해결책을 제공한다고 주장합니다. 정적에서 동적 관계적 학습으로 전환함으로써, 이 방법은 실제 세계 MTS 데이터의 이질적인 성격과 더 잘 부합합니다.

이 연구의 중요성은 동적 관계적 학습이 Transformer 에게 다음과 같은 능력을 부여한다는 데 있습니다:

1. 정적 모델이 놓치는 고유한 쌍별 물리 법칙 및 시간적 역학을 포착합니다.
2. 높은 정확도를 달성하기 위해 더 적은 역사적 컨텍스트 (짧은 시퀀스 길이) 가 필요한 더 높은 데이터 효율성을 달성합니다.
3. 복잡한 아키텍처 변경이나 무거운 매개변수 증가 없이 표준 어텐션과 전문화된 관계적 학습 방법 모두를 능가하는 통합된 접근 방식을 제공합니다.

저자들은 프라임 어텐션이 다변량 시계열 예측의 특정 과제를 위해 Transformer 를 더 적응력 있고 효과적으로 만드는 한 걸음이라고 결론지었습니다.