기술 요약: 유사성을 넘어선 시계열 분석을 위한 시간 연산자 어텐션

1. 문제 제기

이 논문은 시계열 예측 분야에서 지속적인 역설을 지적합니다. 구조적으로 단순한 모델들 (MLP 및 선형 모델, 예: DLinear, TSMixer) 이 종종 장기 예측 벤치마크에서 고용량 Transformer 기반 아키텍처와 맞먹거나 더 나은 성능을 보인다는 것입니다. 저자들은 이러한 성능 격차가 표준 Transformer 에서 사용하는 시퀀스 모델링 원시 연산의 근본적인 불일치에서 비롯된다고 주장합니다.

표준 자기 어텐션 (self-attention) 메커니즘은 각 출력을 입력 토큰들의 정규화된 볼록 결합으로 구성합니다. 이는 혼합 가중치가 확률 심플렉스 (음수가 아니며 합이 1) 에 제약됨을 의미합니다. 이는 유사성에 기반한 유연하고 입력 의존적인 라우팅을 가능하게 하지만, 구조적으로 부호화된 진동 변환의 직접적인 표현을 방해합니다.

많은 중요한 시계열 동역학 (필터링, 조화 연속, 잔차화, 잠재적 분리 등) 은 부호화된 상호작용 (양수와 음수 가중치) 과 영합 (zero-sum) 속성이 필요한 글로벌 시간 연산자에 의존합니다. 저자들은 이 한계를 심플렉스 제약 혼합 병목으로 공식화하며, softmax 어텐션이 복잡한 시간 이동, 위상 드리프트, 그리고 신호 처리에 필수적인 고주파 과도 현상을 처리하는 데 어려움을 겪는 암묵적인 저역 통과 필터로 작용한다고 주장합니다.

2. 방법론: 시간 연산자 어텐션 (TOA)

이 구조적 한계를 해결하기 위해 저자들은 표준 어텐션에 명시적이고 학습 가능한 시퀀스 공간 연산자를 추가하는 시간 연산자 어텐션 (Temporal Operator Attention, TOA) 프레임워크를 제안합니다.

핵심 메커니즘

TOA 는 softmax 의 엄격한 행 정규화를 입력 의존적 라우팅과 제약 없는 밀집 부호 혼합을 결합한 하이브리드 아키텍처로 대체합니다. 단일 헤드의 핵심 변환은 다음과 같이 정의됩니다:
$$O^{(h)} = \sigma(A^{(h)} S_1^{(h)}) S_2^{(h)} H W_V^{(h)\top}$$
여기서:

• $A^{(h)} = H W_Q^{(h)\top} W_K^{(h)} H^\top$는 표준 점수 행렬입니다.
• $S_1^{(h)}$와 $S_2^{(h)}$는 잔차 연산자로 정의된 학습 가능한 밀집 $N \times N$ 행렬입니다: $S = I + M$ (여기서 $M$은 소규모 학습된 오프셋입니다).
• $\sigma$는 포화되지 않고 정규화되지 않는 활성화 함수입니다.

$S_1$과 $S_2$를 도입함으로써 모델은 심플렉스 제약을 깨뜨립니다. $S_1$은 활성화 전 유사성 프로파일을 재분배하고, $S_2$는 활성화 후 부호화된 풀랭크 선형 매핑을 적용하여 모델이 정밀한 대역 통과 필터링과 강력한 조화 분리를 수행할 수 있게 합니다.

구조적 변형

저자들은 제약 없는 연산자의 이점을 분리하기 위해 세 가지 변형을 구현했습니다:

1. TOA-Softmax: $S_1$과 $S_2$로 softmax 활성화 함수를 감싸되 유지합니다. 이는 자유도를 추가하는 것만으로도 충분한지 테스트하기 위한 제거 실험 (ablation) 역할을 합니다.
2. TOA-ReLU: softmax 를 ReLU 활성화 함수로 대체합니다. 이는 행 정규화 제약을 완전히 제거하여 $S_2$가 유사성을 완전히 제약 없는 부호 공간으로 투영할 수 있게 합니다.
3. TOA-Gated: 동적 정역 (regime) 선택을 도입합니다. QK 헤드 수를 두 배로 늘려 두 개의 분기를 생성합니다: 음이 아닌 유사성 프로파일을 위한 ReLU 를 사용하는 왼쪽 분기와, 엄격히 양수이고 샘플 의존적인 게이트를 위한 Softplus 를 사용하는 오른쪽 분기입니다. 이러한 분기들의 요소별 곱은 동적으로 게이트된 혼합 커널을 생성하여, 모델이 입력의 거시적 속성 (예: 위상 드리프트) 에 따라 전문화된 부호 변경 서브 연산자를 선택할 수 있게 합니다.

확률적 연산자 정규화 (SOR)

밀집 $N \times N$ 연산자를 학습하는 주요 과제는 과적합입니다. 저자들은 학습을 안정화하기 위해 **확률적 연산자 정규화 (Stochastic Operator Regularization, SOR)**를 도입했습니다.

• 메커니즘: 표준 드롭아웃 대신 SOR 는 학습된 오프셋 행렬 $M$에 직접 고분산 드롭아웃 메커니즘을 적용합니다.
• 과정: 각 순전파 (forward pass) 에서 드롭률 $p$를 샘플링하고 베르누이 마스크를 $M$에 적용합니다. 오프셋은 기대값을 보존하기 위해 $1/(1-p)$로 재조정됩니다.
• 효과: 이는 $p \to 1$로 갈 때 무제한 분산을 도입하여 학습된 오프셋에 대한 과도한 의존을 억제하는 암묵적 정규화제로 작용합니다. 중요하게도, 드롭아웃 외부에 잔차 항 $I$가 추가되므로 오프셋이 드롭될 때 연산자는 단위 행렬로 수렴하여 학습 전반에 걸쳐 안정적인 신호 수송을 보장합니다.

3. 이론적 분석

이 논문은 softmax 어텐션이 특정 시계열 정역을 실현할 수 없는 이유를 증명하는 공식적 증명을 제공합니다:

• 심플렉스 제약 한계: 단일 헤드 softmax 어텐션의 경우 출력 혼합 가중치가 심플렉스에 있어야 함이 증명되었습니다. 결과적으로 영합 행을 요구하는 연산자 (예: 조화 연속) 나 음수 비대각 항목 (예: 고역 통과 필터링) 을 표현할 수 없습니다.
• 정역 실현: 저자들은 TOA 가 특히 믹서 후단 $S_2$를 통해 이러한 최적 연산자 (예: $T^* = S_2$) 를 정확히 실현할 수 있음을 보여줍니다. 아핀 매핑 $M \mapsto I + M$이 전체 $N \times N$ 행렬 공간을 spanning 하기 때문입니다.
• 토큰화 무관성: 이론적 한계와 TOA 의 해결책은 포인트 토큰화, 패치 토큰화 (PatchTST), 역 토큰화 (iTransformer) 를 포함한 다양한 토큰화 방식에 적용됨이 입증되었습니다.

4. 실험 결과

저자들은 TOA 를 장기/단기 예측, 이상 탐지, 분류라는 네 가지 핵심 작업에 적용하여 평가했으며, 이를 최신 백본 (PatchTST, iTransformer, DUET) 에 통합했습니다.

• 예측 (장기 및 단기): TOA 는 Weather, ETT, Electricity, Solar 등 9 개 장기 데이터셋과 PEMS 4 개 단기 교통 데이터셋에서 일관되게 성능을 향상시켰습니다.
  • TOA-Gated 와 TOA-ReLU 는 Softmax 베이스라인에 비해 더 낮은 MSE 와 MAE 를 달성했습니다.
  • 특히, 표준 어텐션이 과도하게 평활화하는 경향이 있는 급격한 고주파 과도 현상을 포착해야 하는 작업에서 TOA 는 상당한 개선을 보였습니다.
• 이상 탐지: PSM, MSL, SMAP, SMD, SWAT 등 5 개 벤치마크에서 TOA 통합 백본은 일관된 F1 점수 개선을 달성했습니다. 이 방법은 표준 어텐션에 내재된 스펙트럼 감쇠를 제거함으로써 희소한 이상치에 대해 더 날카로운 재구성 오차를 생성했습니다.
• 분류: 28 개 UEA 다변량 데이터셋에서 TOA-Gated 와 TOA-ReLU 는 정확도 측면에서 Softmax 베이스라인을 크게 능가했습니다. TOA-Softmax 제거 실험은 성능 향상을 이루지 못했으며, 심플렉스 제약을 깨는 것이 최적의 시간 라우팅에 필수적임을 검증했습니다.
• 합성 평가: 중대한 노이즈와 위상 드리프트가 있는 합성 조화 분리 작업에서 TOA-Gated 는 Softmax 어텐션을 압도적으로 능가했습니다 (MSE 0.0028 대 0.0972). 시각화는 Softmax 어텐션이 저역 통과 필터로 붕괴된 반면, TOA 는 배경 간섭을 제거하기 위해 혼합 부호 가중치를 성공적으로 합성했음을 확인시켜 주었습니다.

SOR 에 대한 제거 실험: 실험은 확률적 연산자 정규화 없이는 밀집 연산자가 노이즈가 많은 데이터에서 과적합되기 쉬워 성능 저하로 이어짐을 확인했습니다. SOR 는 일반화에 결정적인 것으로 나타났습니다.

5. 의의 및 주장

이 논문은 명시적 연산자 학습이 효과적인 시계열 모델링의 핵심 요소라고 주장합니다. softmax 어텐션의 심플렉스 제약 병목을 식별하고 해결함으로써 TOA 는 단순한 쌍별 토큰 유사성이 아닌 글로벌 시간 연산자에 의해 지배되는 작업에 필요한 귀납적 편향을 제공합니다.

저자들은 TOA 를 모든 어텐션 메커니즘의 대체물이 아니라, 정밀한 신호 상쇄 및 진동 동역학에 필요한 "억제적 자유도" (음수 가중치) 를 복원하는 구조적 확장으로 위치시킵니다. 이 연구는 시계열에서 단순한 선형/MLP 모델의 성공이 부분적으로 제약 없는 혼합 능력을 수행할 수 있는 능력에 기인하며, TOA 는 이러한 능력을 적응형 어텐션 기반 프레임워크로 가져옴으로써 그 격차를 메운다고 시사합니다.

한계점: 저자들은 TOA 가 밀집 연산자로 인해 $O(N^2)$의 메모리 및 계산 발자국을 도입하여 토큰 압축 없이는 매우 긴 시퀀스에 대한 직접 적용을 제한한다고 인정합니다. 또한, 그들의 공식적 불가능성 결과가 단일 층, 단일 헤드의 원시 연산자에 구체적으로 적용되며, 깊은 다중 헤드 스택의 근사 효율성은 열린 질문으로 남는다고 지적합니다.