기술 요약: GenTS – 생성형 시계열 모델을 위한 포괄적 벤치마크 라이브러리

1. 문제 제기

생성형 모델이 시계열 분석 (예: 합성, 예측, 결측치 보간) 에서 상당한 잠재력을 입증해 왔음에도 불구하고, 현재 생태계에는 생성형 모델에 특화된 통합적이고 포괄적인 벤치마크 라이브러리가 부재합니다. 기존 시계열 라이브러리 (예: TSLib, GluonTS) 는 주로 판별형 모델을 위해 설계되었으며, 예측을 위한 평균 제곱 오차 (MSE) 최소화 등 특정 작업에 최적화된 경직된 워크플로우를 특징으로 합니다.

이러한 구조는 생성형 모델과 근본적으로 양립할 수 없습니다. 생성형 모델은 종종 직접적인 입력 - 출력 매핑이 아닌 근본적인 데이터 분포를 학습하는 것을 목표로 하는 고유의 복잡한 학습 패러다임 (예: 적대적 학습, 확산 과정, 미분 방정식) 을 사용하기 때문입니다. 또한, 기존 라이브러리는 다음과 같은 영역에서 포괄성이 부족합니다:

• 다양한 작업: 많은 라이브러리가 단일 작업 (예: 합성만 또는 예측만) 에만 초점을 맞추거나 다양성을 무시합니다.
• 모델 다양성: few 라이브러리가 GAN, VAE, Diffusion, Flow, 미분 방정식 등 생성형 아키텍처의 전체 스펙트럼을 통합합니다.
• 평가: 통계적 충실도와 하류 활용도를 모두 평가하는 표준화된 포괄적 평가 지표가 부족합니다.

이러한 격차는 새로운 발전의 체계적 평가와 다양한 생성형 접근법 간의 비교를 어렵게 만듭니다.

2. 방법론: GenTS 프레임워크

이러한 한계를 해결하기 위해 저자들은 PyTorch와 PyTorch Lightning을 기반으로 구축된 포괄적이고 확장 가능한 벤치마크 라이브러리인 GenTS를 제안합니다. 이 프레임워크는 전체 벤치마크 파이프라인을 아우르는 모듈식 아키텍처로 설계되었습니다:

A. 데이터 전처리

• 다중 도메인 데이터셋: GenTS 는 고주파수 (Hz) 에서 일일 해상도에 이르기까지 6 개 도메인 (교통, 에너지, 금융, 의료, 기상, 물리) 의 15 개 이상의 데이터셋을 포함합니다.
• 합성 데이터: 빠른 프로토타이핑을 위한 간단한 물리적 궤적 시뮬레이션 (Spiral2D, SineND) 을 포함합니다.
• BaseDataModule: 데이터셋 분할, 데이터 로더 인스턴스화, 작업별 전처리 (예: 보간을 위한 결측값 시뮬레이션 또는 예측을 위한 과거 창 정의) 를 처리하는 사용자 정의 가능 클래스 (LightningDataModule 상속) 입니다. 불규칙 시계열과 사용자 정의 커스텀 데이터셋을 지원합니다.

B. 모델 학습

• 모델 범위: 이 라이브러리는 5 가지 유형으로 분류된 25 개 이상의 최첨단 (SOTA) 모델과 그 변형을 구현합니다:
  • GAN: TimeGAN, RCGAN, COSCIGAN 등.
  • VAE: TimeVAE, KoVAE, TimeVQVAE 등.
  • Diffusion: DiffusionTS, CSDI, ImagenTime, TMDM 등.
  • Flow: MAF, FourierFlow 등.
  • 미분 방정식: LatentODE, LatentSDE 등.
• Naive Baseline: 작업별 적응 없이 간단한 MLP 나 1D-CNN 백본을 활용하는 4 가지 "Vanilla" 모델 (VanillaVAE, VanillaGAN, VanillaDDPM, VanillaMAF) 이 시작점으로 제공됩니다.
• BaseModel: 학습, 검증, 샘플링 단계를 표준화하는 템플릿 클래스 (LightningModule 상속) 입니다. 유연한 콜백, 로깅, 그라디언트 축적을 지원합니다. 또한 무조건부, 클래스 유도, 예측, 결측치 보간 등 다양한 조건 하에서 시계열을 생성하는 통합된 sample 메서드를 포함합니다.

C. 성능 평가

GenTS 는 단순한 MSE 를 넘어 포괄적인 평가 세트를 제공합니다:

• 모델 프리 지표: 분포 근접성을 측정하는 Wasserstein Distance, 연속 순위 확률 점수 (CRPS), MSE 등 통계적 측정치.
• 모델 기반 지표: 신경망 기반 평가:
  • 예측 점수 (PS): 하류 예측 모델 학습을 위한 합성 데이터의 유용성을 평가 (합성 데이터로 학습, 실제 데이터로 테스트).
  • 판별 점수 (DS): 사후 분류기를 사용하여 합성 데이터가 실제 데이터와 얼마나 구별 가능한지 측정.
  • Context-FID (C-FID): TS2Vec 임베딩을 사용하여 Frechet Inception Distance 를 적용하여 국소적 시간적 정렬을 측정.
• 시각화: 2D 분포의 t-SNE 시각화 도구 및 예측 구간을 포함한 예측/보간 결과 플롯 도구.

3. 주요 기여

1. GenTS 라이브러리: 무조건부 및 조건부 작업 전반에 걸쳐 데이터 준비, 학습, 평가를 위한 표준화되지만 사용자 정의 가능한 워크플로우를 제공하는 생성형 시계열 모델을 위해 설계된 최초의 포괄적 벤치마크 라이브러리.
2. 광범위한 벤치마킹: 저자들은 다양한 데이터셋과 모델을 사용하여 합성 (무조건부 및 클래스 유도), 예측, 결측치 보간이라는 세 가지 주요 작업에 걸쳐 대규모 실험을 수행했습니다.
3. 경험적 통찰 및 가이드라인: 벤치마크 결과를 바탕으로 교차 작업 및 작업별 컨텍스트에서의 모델 선택에 대한 구체적인 제안을 제공하고 잠재적인 미래 연구 방향을 식별합니다.

4. 실험 결과

벤치마크 실험은 다음과 같은 주요 발견을 도출했습니다:

• 시계열 합성:
  • 확산 모델 (예: ImagenTime, DiffusionTS) 은 일반적으로 우위를 보였으며, 특히 모델 기반 지표 (PS 및 DS) 에서 높은 충실도와 하류 활용도를 나타냈습니다.
  • GAN: 전반적으로 안정성은 낮았으나, COSCIGAN은 복잡한 데이터 분포를 적합시키는 능력에서 두각을 나타내어 C-FID 와 Wasserstein Distance 에서 좋은 성능을 보였습니다.
  • 클래스 유도 합성: TimeVQVAE가 실제 클래스 레이블이 지정된 클러스터와 가장 잘 정렬되었습니다. GAN 은 범주형 데이터를 생성했지만 실제 클러스터와 잘 정렬되지 못했습니다.
• 시계열 예측:
  • CSDI와 TMDM은 결정론적 및 확률적 예측 모두에서 최상위 성능을 자주 기록했습니다.
  • TMDM은 전문화된 백본 덕분에 비정상 데이터셋 (예: 주식) 에서 절대적인 우위를 보였습니다.
  • 놀랍게도, Naive Baseline (VanillaMAF, VanillaVAE) 은 특정 데이터셋 (ETTh, Electricity) 에서 경쟁력 있는 성능을 보여 아키텍처의 복잡성이 항상 필요한 것은 아님을 시사했습니다.
• 시계열 결측치 보간:
  • 확산 기반 모델이 절대적인 우위로 이 작업을 지배했습니다. CSDI가 일관되게 다른 모든 모델을 능가했으며, 이어 ImagenTime 과 DiffusionTS 가 뒤를 이었습니다.
  • 미분 방정식 기반 모델과 Naive Baseline 은 일반적으로 성능이 약하여 상위 3 위를 차지한 경우가 드뭅니다.
• 효율성:
  • GAN 과 VAE: 계산 부하는 주로 학습에 있으며, 추론은 빠릅니다.
  • 확산 모델: 학습 속도는 다른 모델과 비슷하지만, 반복적 탈노이즈 과정으로 인해 추론이 느려 오프라인 배포에 적합합니다.
  • 미분 방정식: 초기값 문제를 해결하기 때문에 자연스럽게 더 큰 계산 그래프로 인해 부하가 큽니다.

5. 중요성 및 미래 방향

이 논문은 GenTS 가 체계적 평가를 위한 통합 플랫폼을 제공함으로써 생성형 시계열 커뮤니티의 중요한 공백을 메운다고 주장합니다. 저자들은 확산 기반 모델이 특히 조건부 작업을 위해 현재 가장 견고하고 권장되는 범용 시계열 생성 선택지라고 강조합니다.

저자들은 겸손하게 세 가지 잠재적인 미래 연구 방향을 제안합니다:

1. 생성형 시계열 기초 모델: 다양한 하류 작업을 위해 제어 가능하게 추론될 수 있도록 전 세계 데이터 분포로 학습된 모델 개발.
2. 강건한 평가: 보조 평가자 모델 선택에 민감한 모델 기반 지표 (PS, DS) 의 민감성을 해결하기 위해 더 포괄적인 지표 개발.
3. 온라인 개발: 정적 환경을 넘어 복잡한 분포 변화를 가진 동적 실세계 시계열을 위한 적응형 패러다임 창출로 지연 시간과 계산 부하를 줄임.

저자들은 미분 방정식 기반 모델이 현재 벤치마크에서는 성능이 저조했으나, 연속 시간에 대한 고유한 귀납적 편향으로 인해 여전히 유망하고 미개척된 영역으로 남아있다고 결론지었습니다.