기술 요약: SurF – 다변량 불규칙 시계열 예측을 위한 생성 모델

문제 정의

불규칙하게 샘플링된 다변량 이벤트 스트림 (Temporal Point Processes, TPPs) 은 생성 모델링에 있어 상당한 도전 과제를 제시합니다. 고정된 간격으로 데이터가 도착하는 규칙적으로 샘플링된 시계열과 달리, 이벤트 스트림은 비동기적 도착을 특징으로 하며 이벤트 간 간격이 수 차수 (orders of magnitude) 까지 변동할 수 있습니다. 기존 접근법은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 토큰화 기반 모델 (예: TimesFM, Chronos) 은 고정된 비율 가정에 의존하므로 이벤트 간 간격이 극단적으로 변할 경우 실패합니다.
2. 신경 Temporal Point Processes (TPPs) 는 종종 관측 윈도우 $[0, T]$에 걸쳐 강도 함수 $\lambda(t)$의 수치적 적분이 필요한 최대 가능도 추정에 의존합니다. 이러한 "윈도우 수준 수치적 사분법 (quadrature)"은 윈도우 크기에 따라 확장되는 계산 병목 현상을 생성하며, 기울기 단계 동안 오차가 누적됩니다. 또한, 기존 신경 TPP 들은 일반적으로 데이터셋별로 훈련되어 이질적인 이벤트 스트림 간에 일반화하는 능력이 부족합니다.

방법론: SurF (Survival Flow)

SurF 는 시간 재스케일링 정리 (TRT) 를 단순한 평가 도구가 아닌, 이벤트 시퀀스와 i.i.d 단위율 지수 잡음 사이의 학습 가능한 양방향 전단사 함수 (bijection) 로 재해석합니다.

핵심 이론적 통찰

TRT 는 누적 강도 함수 $\Lambda^*(t) = \int_0^t \lambda^*(s|H_s) ds$가 정확하다면, 재스케일링된 도착 간격 $\Delta z_i = \Lambda^*(t_i) - \Lambda^*(t_{i-1})$이 i.i.d $\text{Exp}(1)$임을 명시합니다.
SurF 는 정리 2를 도입하여, 약한 조건 하에서 (strictly positive lower bound $\lambda_{min} > 0$을 갖는 연속 강도) $\Lambda^*$가 매끄러운 역함수를 갖는 $C^1$ 전단사 함수임을 확립합니다. 이를 통해 모델은 다음과 같은 작업을 수행할 수 있습니다:

• 전진 (훈련): 관측된 이벤트 시간을 $\text{Exp}(1)$ 잡음으로 매핑합니다.
• 역전 (샘플링): 학습된 누적 강도를 역전시켜 $\text{Exp}(1)$ 잡음을 다시 이벤트 시간으로 매핑합니다.

이러한 양방향 흐름은 윈도우 수준 적분의 필요성을 제거합니다. $\lambda$를 모델링하고 이를 적분하는 대신, SurF 는 누적 강도 $\Lambda_\theta$를 직접 모델링하고 자동 미분 (또는 폐쇄형 도함수) 을 통해 순간 강도 $\lambda_\theta$를 복원합니다.

아키텍처 및 파라미터화

SurF 는 이벤트 히스토리를 처리하여 컨텍스트 벡터 $h_{i-1}$을 생성하는 Transformer 기반 인코더를 사용합니다. 핵심 혁신은 표현력과 계산 비용 간의 서로 다른 트레이드오프를 제공하는 누적 강도 $\Lambda_\theta(\Delta t | h)$의 세 가지 고유한 파라미터화에 있습니다:

1. SurF-MoE (지수 혼합):
   • 강도를 감쇠 지수들의 합으로 모델링합니다.
   • 장점: 완전히 폐쇄형 가능도; 수치적 사분법 제로; 가장 빠른 훈련.
   • 단점: 이벤트 간의 단조 감소하는 강도로 제한됨.
2. SurF-CSB (누적 Softplus 기저):
   • 이동된 softplus 원시 함수들의 합을 사용합니다.
   • 장점: 완전히 폐쇄형; 비단조 (예: 혹 모양) 강도 프로파일을 모델링 가능; 양의 강도에 대한 보편적 근사기.
   • 단점: MoE 보다 약간 복잡하지만 여전히 정확함.
3. SurF-GLQ (가우스 - 르장드르 사분법):
   • 제약이 없는 양의 MLP 를 강도로 사용하며, $\Lambda_\theta$는 전체 윈도우가 아닌 이벤트 간 간격당 고정된 $Q$점 가우스 - 르장드르 사분법을 통해 근사됩니다.
   • 장점: 가장 높은 표현력 (제약 없는 강도); 계산 비용은 $O(NQ)$이며$Q$는 고정됨 (예:$Q=8$) 이고 시퀀스 길이$T$와 무관함.
   • 주요 발견: $Q=8$에서의 실험적 오차는 기울기 잡음 바닥선보다 낮아, 사분법 오차가 훈련 기울기에 영향을 미치지 않음을 의미합니다.

훈련 및 샘플링

• 손실 함수: 목적 함수는 변수 변환 공식에서 유도된 평균화 음의 로그 가능도입니다:
  $$L_{SurF} = \sum_{i=1}^N \Lambda_\theta(\tau_i | h_{i-1}) + \Lambda_\theta(\Delta T | h_N) - \sum_{i=1}^N \log \lambda_\theta(\tau_i | h_{i-1})$$
  이는 기존 방법의 $O(T)$ 적분 비용을 회피합니다.
• 샘플링: 이벤트는 $z \sim \text{Exp}(1)$을 샘플링하고 $\Lambda_\theta(\Delta t | h) = z$를 $\Delta t$에 대해 안전장치付き 뉴턴법 (safeguarded Newton method) 으로 풀어 생성됩니다. 이 방법은 전역적으로 2 차 수렴합니다.
• 다중 데이터셋 사전 학습: 모든 데이터셋을 동일한 표준 타겟 ($\text{Exp}(1)$) 으로 매핑함으로써, SurF 는 이질적인 데이터셋 전반에 걸쳐 단일 공유 인코더 ($\phi_\theta$) 와 누적 강도 헤드 ($\Lambda_\theta$) 를 공동 훈련할 수 있게 합니다. 이는 보지 못한 데이터셋에 대한 제로샷 전이를 가능하게 합니다.

주요 기여

1. 흐름으로서의 양방향 TRT: 논문은 TRT 를 학습 가능한 전단사 함수로 명시적으로 공식화하여, 역전환 가능성과 매끄러움을 위한 이론적 조건 (정리 2) 을 제공하며, 정확한 가능도 계산과 생성적 샘플링을 가능하게 합니다.
2. 효율적인 파라미터화: 긴 시퀀스로 확장 가능한 세 가지 단조 파라미터화 (MoE, CSB, GLQ) 를 도입했습니다. 특히 SurF-GLQ 는 $T$와 무관한 계산 비용을 달성하여 이전 신경 TPP 들의 수치적 사분법 병목 현상을 해결합니다.
3. 교차 데이터셋 기반 모델: 미세 조정 없이 보지 못한 데이터셋에서 최첨단 또는 경쟁력 있는 성능을 달성하는 여러 이질적 데이터셋에서 훈련된 단일 모델의 실증을 통해, 비동기 이벤트 스트림을 위한 기반 모델로의 초기 단계를 제시합니다.

실험 결과

SurF 는 Taobao, Taxi, Retweet, StackOverflow, Amazon, Earthquake의 여섯 가지 실세계 벤치마크에서 평가되었습니다.

• 다음 이벤트 예측:
  • SurF 는 Earthquake, Retweet, Taobao에서 보고된 최상의 시간 RMSE 를 달성했습니다.
  • 나머지 세 데이터셋에서는 최강의 전문가 베이스라인과 "시도 수준 잡음 (trial-level noise)" 내에서 성능을 보였습니다.
  • 엄격한 leave-one-out 제로샷 프로토콜 (5 개 데이터셋으로 훈련, 6 번째로 테스트) 하에서, 홀드아웃 된 SurF 체크포인트는 5/6 데이터셋에서 모든 고전적 및 신경 자기회귀 베이스라인을 능가했습니다 (StackOverflow 에서만 패배). Amazon 과 Earthquake 에서는 데이터셋별 적응 없이 모든 베이스라인을 능가했습니다.
• 멀티 호라이즌 예측: SurF 는 반복적 자기회귀 디코딩 하에서 안정성을 입증했으며, RMSE 증가는 비선형적이며 10 개의 미래 이벤트에 걸쳐 유형 정확도가 안정적으로 유지되었습니다.
• 보정: 시간 재스케일링 잔차는 잘 보정되었으며, 콜모고로프 - 스미르노프 통계량은 모델이 예측한 분포가 이론적 $\text{Exp}(1)$ 타겟과 밀접하게 일치함을 나타냈습니다.
• 효율성: SurF-MoE 와 SurF-CSB 는 훈련 시 수치적 적분이 필요하지 않습니다. SurF-GLQ 는 간격당 고정 비용 규칙을 사용합니다. 사분법 기반 베이스라인 (예: NJDTPP) 과 비교하여 SurF-MoE 는 약 9 배의 훈련 속도 향상과 약 17 배의 추론 속도 향상을 달성했습니다.

중요성 및 주장

논문은 SurF 를 비동기 이벤트 스트림을 위한 기반 모델로의 기초적인 단계로 위치시킵니다. 그 주요 중요성은 다음과 같습니다:

• 평가와 생성의 통합: TRT 를 생성 흐름으로 취급함으로써, 적합도 평가를 샘플링 메커니즘과 통합합니다.
• 확장성: 윈도우 수준 적분의 계산 장벽을 제거하여 모델이 긴 시퀀스를 효율적으로 처리할 수 있게 합니다.
• 일반화: 학습된 누적 강도가 다양한 도메인 (예: 소셜 미디어에서 지진 데이터까지) 에서 제로샷으로 전이될 수 있음을 보여주는 최초의 경험적 증거를 제공하며, 표준 $\text{Exp}(1)$ 공간이 특정 데이터셋의 규모나 주파수와 무관한 보편적 시간 역학을 포착함을 시사합니다.

저자들은 엄격하게 양수인 강도 바닥 (negligible bias 를 도입함) 에 대한 요구사항과 현재 코퍼스 크기가 언어/비전 기반 모델보다 작다는 한계를 인정하며, 확장 (scaling) 을 다음 주요 이정표로 식별합니다.