기술 요약: EVENTTSF – 이벤트 인식 비정상 시계열 예측

1. 문제 정의

시계열 예측은 에너지 및 교통과 같은 분야에서 중요하지만, **비정상성 (non-stationarity)**과 분포 변화로 인해 지속적인 어려움에 직면해 있습니다. 최근의 진전 (예: 정규화, 모델 분해) 은 단일 모달리티 비정상성을 해결했지만, 분포 변화가 종종 다른 모달리티, 특히 자연어 텍스트 (예: 휴일, 프로모션, 날씨 보고서) 에서의 외부 이벤트와 얽혀 있다는 사실을 간과하는 경우가 많습니다.

기존 접근법은 두 가지 주요 한계를 겪고 있습니다:

1. 모달리티 간극: 대부분의 방법은 단일 모달리티 데이터에 의존하거나 조밀한 텍스트 컨텍스트를 사용하여, 이산적인 외부 이벤트와 연속적인 시계열 간의 세밀한 상호작용을 모델링하지 못합니다.
2. 확산 비효율성: 고전적인 확산 기반 예측 모델은 일반적으로 고정된 균일 분포에서 확산 시간 단계를 샘플링합니다. 이는 이벤트 유발 비정상성 변동성을 무시하는데, 서로 다른 이벤트가 신호 크기와 분산에서 distinct 한 변화를 일으키기 때문입니다. 결과적으로 균일 샘플링은 이벤트 컨텍스트에 따라 신호 대 잡음비 (SNR) 가 이질적으로 변함에 따라 확산 단계 전반에 걸쳐 불균형한 탈잡음 어려움을 초래합니다.

2. 방법론: EVENTTSF

저자들은 단계별 확산을 통해 과거 시계열과 텍스트 이벤트를 통합하도록 설계된 자기회귀 확산 프레임워크인 EVENTTSF를 제안합니다. 이 아키텍처는 이산 이벤트와 연속 시계열의 동기화 및 탈잡음 어려움의 불균형을 해결합니다.

2.1 멀티모달 자기회귀 확산

• 이벤트 동기화: 모델은 연속 시계열을 겹치지 않는 세그먼트 ($x_s$) 로 분할하고, 각 세그먼트를 해당 텍스트 이벤트 임베딩 ($c_s$) 과 정렬합니다. 이벤트가 발생하지 않으면 NULL 이벤트를 할당합니다. 이는 시간적 포인트 프로세스와 연속 시계열 간의 간극을 연결하는 통합 표현 $D = \{(x_s, c_s)\}$을 생성합니다.
• 자기회귀 생성: 모델은 예측을 세밀한 세그먼트의 자기회귀 생성으로 간주합니다. 각 단계 $s$에서, 과거를 요약한 잠재 상태 $Z_{s-1}$, 현재 노이즈가 있는 세그먼트 $x^t_s$, 그리고 정렬된 이벤트 임베딩 $c_s$에 조건을 부여합니다.
• 플로우 매칭: 표준 확산 대신, 모델은 단순한 사전 분포를 목표 데이터 분포로 변환하는 속도장 $v_t$를 학습하기 위해 플로우 매칭을 활용합니다. 탈잡음기 $M_\theta$는 이 속도장을 예측하도록 훈련되어 잠재 상태 $Z_s$를 자기회귀적으로 업데이트합니다.

2.2 이벤트 인식 시간 단계 샘플링

균일 시간 단계 샘플링으로 인한 불균형 탈잡음 어려움을 완화하기 위해, EVENTTSF 는 이벤트 인식 플로우 매칭 시간 단계를 도입합니다.

• 문제: 균일 샘플링 ($t \sim U(0,1)$) 은 서로 다른 이벤트가 서로 다른 SNR 을 유도하여 이질적인 탈잡음 어려움을 초래한다는 사실을 고려하지 못합니다.
• 해결책: 모델은 학습 가능한 매핑 함수 $\phi$를 사용하여 기본 균일 시간 단계 $\hat{t}$를 이벤트 적응형 시간 단계 $t$로 재매개변수화합니다:
  $$t = \phi(\hat{t}, c) = F^{-1}_{\text{Beta}(\alpha(c), \beta(c))}(\hat{t})$$
• 메커니즘: 두 개의 경량 선형 네트워크가 이벤트 임베딩 $c$에 조건부인 베타 분포의 매개변수 $\alpha(c)$와 $\beta(c)$를 예측합니다. 이는 특정 이벤트 유형에 대해 효과적인 탈잡음 어려움이 확산 단계 전반에 더 균일하게 할당되도록 하여, 샘플링 일정을 이벤트 의미론에 맞게 적응시킵니다.

2.3 아키텍처 세부 사항

핵심 탈잡음기는 **멀티모달 U 자형 확산 트랜스포머 (M-U-DiT)**입니다. 이는 이벤트 의미론을 다중 해상도 시간 패턴과 정렬하기 위해 스킵 연결을 갖춘 다운샘플링 및 업샘플링을 사용합니다. 이는 크로스 어텐션 메커니즘을 통해 과거 상태, 노이즈 입력, 이벤트 조건을 통합합니다.

3. 주요 기여

1. 패러다임 재정의: 본 논문은 외부 이벤트 정보를 명시적으로 통합하여 단일 모달리티 모델이 놓치는 분포 변화를 해결하는 멀티모달 패러다임으로 이벤트 인식 비정상 예측을 공식화합니다.
2. 방법론적 혁신:
   • 세밀한 정렬: 이산 이벤트 세그먼트를 연속 시계열 윈도우와 정렬하는 동기화 메커니즘을 도입합니다.
   • 이벤트 인식 시간 단계: 정적 균일 샘플링을 넘어 탈잡음 어려움을 균형 있게 만들기 위해 이벤트 조건부 확산 일정을 학습하는 새로운 재매개변수화 전략을 제안합니다.
3. 우수한 성능: 광범위한 실험을 통해 EVENTTSF 가 7 개의 데이터셋에서 12 개의 베이스라인 (비정상성 및 확산 기반 모델 포함) 을 능가함을 입증했습니다.

4. 실험 결과

이 모델은 7 개의 데이터셋 (1 개의 합성 데이터, 교통, 날씨, 대기 물리학을 다루는 6 개의 실제 세계 데이터) 에서 12 개의 베이스라인 (예: CSDI, TimeDiff, TMDM, NsDiff, Autoformer, DLinear) 과 비교하여 평가되었습니다.

• 확률론적 예측: EVENTTSF 는 모든 데이터셋에서 연속 순위 확률 점수 (CRPS) 와 가중치 양적 손실 (WQL) 에서 평균 **41.3%**의 개선을 달성했습니다.
• 결정론적 예측: 모델은 평균 절대 오차 (MAE) 를 평균 **27.5%**만큼 개선했습니다.
• 절대 실험:
  • 텍스트 이벤트를 제거하면 성능이 크게 저하되었습니다 (예: Temperature–New York 데이터셋에서 WQL 이 10.71% 증가).
  • 균일 시간 단계 샘플링을 이벤트 인식 메커니즘으로 대체하면 일관되게 오차가 감소했습니다 (예: CRPS 가 9.21% 감소).
• 효율성: EVENTTSF 는 더 빠른 훈련 시간을 보였으며 (합성 데이터에서 두 번째로 좋은 베이스라인보다 1.13 배 빠름), 세그먼트별 생성 접근 방식으로 인해 예측 지평선에 대한 훈련 시간의 하선형 성장을 보였습니다.
• 베이스라인 증강: 베이스라인에 크로스 어텐션 또는 잔차 조건부화를 통해 이벤트 임베딩을 추가하더라도, EVENTTSF 보다 여전히 현저히 열등했습니다. 이는 단순한 이벤트 주입만으로는 특정 자기회귀 확산 및 시간 단계 메커니즘 없이는 충분하지 않음을 나타냅니다.

5. 중요성 및 주장

본 논문은 비정상 시계열 예측을 위해 외부 멀티모달 지식을 통합하는 선구적인 작업을 주장합니다. 그 중요성은 다음과 같습니다:

• 모달리티 간극 해결: 이산 텍스트 이벤트와 연속 시계열 간의 상호작용을 모델링하는 통합 프레임워크를 제공하여, 전역 컨텍스트 모델이 놓치는 연쇄적 및 지연된 의존성을 포착합니다.
• 확산 불균형 해결: 탈잡음 어려움에서의 이벤트 유발 이질성 문제를 식별하고 해결하며, 훈련을 안정화하고 생성 품질을 향상시키는 학습 가능한 이벤트 조건부 샘플링 일정을 제안합니다.
• 실용적 적용성: 이 프레임워크는 미래 이벤트 (예: 계획된 프로모션, 휴일) 가 사전에 알려진 시나리오를 위해 설계되어, 과거 관찰만으로는 추론할 수 없는 분포 변화를 모델이 예측할 수 있도록 합니다.

저자들은 EVENTTSF 이 이질적인 이벤트 의미론을 시간 모델링에 통합하는 유연한 패러다임을 확립하여, 교차 모달 비정상 역학을 분석하는 새로운 방향을 열어준다고 결론지었습니다.