기술 요약: DAD4TS

문제 제기

시계열 예측 (TSF) 은 전력 관리, 교통 예측, 기상 예보와 같은 응용 분야에서 중요합니다. 그러나 충분한 훈련 데이터를 수집할 수 없는 실제 시나리오에서는 상당한 어려움이 발생하며, 이는 소규모 데이터셋으로 훈련된 효과적인 예측 모델을 필요로 합니다. 데이터 증강은 데이터 부족 문제를 해결하는 일반적인 전략이지만, 기존 방법들은 두 가지 주요 한계에 직면해 있습니다:

1. 노이즈 도입: 많은 생성 기반 방법들은 원래 분포와 밀접하게 유사한 합성 데이터를 생성하는 데 중점을 둡니다. 저자들은 이러한 접근 방식이 무의식적으로 하류 예측 작업에 부정적인 영향을 미치는 노이즈를 도입할 수 있다고 주장하며, 이는 "가우시안" 증강이 여러 데이터셋에서 성능을 저하시켰다는 예비 실험 결과로 입증되었습니다.
2. 정적 생성: 대부분의 기존 방법들은 데이터 생성을 원샷 (one-shot) 정적 전처리 단계로 수행합니다. 이들은 예측 모델의 현재 상태에 맞춰 최적화된 샘플을 동적으로 생성하거나, 예측 성능에 기반하여 어떤 생성된 샘플이 가치 있는지 명시적으로 선택하는 메커니즘이 부족합니다. 또한 많은 확산 기반 접근 방식은 DDPM 에 의존하는데, 이는 많은 수의 샘플링 단계를 요구하여 지속적인 생성을 계산적으로 불가능하게 만듭니다.

방법론: DAD4TS

저자들은 소규모 데이터 환경에서 TSF 정확도를 향상시키기 위해 합성 데이터를 생성하고 선택하도록 설계된 DAD4TS(Small-Scale Data 를 위한 시계열 예측용 데이터 증강 지향 확산 모델) 를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 포함하는 공동 훈련 전략을 통해 작동합니다:

1. 기하학적 공간 확산 모델 (Rectified Flow)

소규모 데이터셋에서 변이형 오토인코더 (VAE) 를 훈련하는 어려움을 해결하기 위해, DAD4TS 는 딥러닝 기반 잠재 공간 매핑을 피합니다. 대신 수학적 방법을 사용하여 시계열 데이터를 기하학적 공간으로 투영합니다:

• 전처리: 단변량 시계열 데이터는 분할, 표준화되며 슬라이딩 윈도우를 통해 처리됩니다.
• 기하학적 투영: 각 미니배치에 대해 그람 행렬 (Gram matrices) 을 계산하여 시계열 특징을 포착합니다. 각 미니배치마다 주성분 분석 (PCA) 모델을 적합시켜 이러한 표현을 2D 임베딩으로 변환합니다. 이러한 벡터의 외적 (대각선 외 요소를 0 으로 설정) 이 기하학적 공간 입력을 형성합니다.
• 조건부: 확산 모델은 Top-1 혼합 전문가 (MoE) 메커니즘을 통해 선택된 시계열 기반 모델 (Chronos-Tiny, Chronos-Base, Tirex) 의 임베딩에서 유래한 조건부 변수 ($c$) 를 받습니다.
• 효율적 생성: 표준 DDPM 대신 DAD4TS 는 직선 경로를 따라 분포를 이동시키는 상미분 방정식 (ODE) 기반 접근법인 Rectified Flow를 활용합니다. 이를 통해 실험에서 20 단계로 설정된 샘플링 단계를 크게 줄이면서도 고품질 데이터 생성이 가능해져 효율적인 지속적인 생성이 가능해집니다.

2. 가치 기반 샘플링 (DVRL-G)

노이즈가 있거나 정보 가치가 없는 합성 데이터의 사용을 방지하기 위해, 이 프레임워크는 딥 강화 학습 (특히 DVRL 방법) 기반의 선택기($S_\phi$) 를 사용합니다.

• 아키텍처: 선택기는 생성된 데이터 세그먼트 ($x_b, y_b$) 와 해당 데이터에 대한 예측 모델 ($F_\theta$) 의 평균 제곱 오차 (MSE) 손실을 입력으로 받는 Transformer 기반 모델입니다.
• 기능: 이는 각 샘플의 가치를 나타내는 가중치 벡터를 출력합니다. 베르누이 샘플러는 훈련을 위해 유지할 생성된 샘플을 선택합니다.
• 보상 신호: 선택기는 예측 모델의 검증 손실 개선 ($L_{base} - L_{val}$) 으로 정의된 보상을 최대화하도록 훈련됩니다. 이는 예측 성능 향상에 기여하는 샘플만 사용되도록 보장합니다.

3. 공동 훈련 전략

정적 파이프라인과 달리 DAD4TS 는 세 가지 모듈 (확산 모델, 선택기, 예측 모델) 을 모두 동적이고 온라인으로 업데이트합니다:

• 확산 모델은 데이터의 기하학적 특징과 예측 모델이 이를 어떻게 해석하는지 학습합니다.
• 선택기는 예측 모델의 현재 상태에 기반하여 생성된 샘플의 유용성을 지속적으로 평가합니다.
• 예측 모델은 실제 데이터와 선택된 합성 데이터의 혼합으로 훈련됩니다.
  이러한 동적 프로세스는 데이터 증강이 목표 예측 작업에 지속적으로 적응할 수 있도록 합니다.

주요 기여

이 논문은 네 가지 주요 기여를 제시합니다:

1. 소규모 데이터 최적화: 저데이터 환경에서 하류 예측 성능을 극대화하도록 설계된 프레임워크로, 기존 증강 방법보다 상당한 정확도 향상을 입증했습니다.
2. 가치 기반 샘플링: 모든 생성된 데이터를 무분별하게 사용하는 대신, 예측 지향 보상에 기반하여 동적으로 정보 가치가 있는 생성된 샘플을 선택하는 선택기의 도입.
3. 공동 훈련 전략: 생성기, 선택기, 예측기가 동시에 업데이트되는 온라인 훈련 메커니즘으로, 예측 작업에 적응하는 동적 증강 프로세스를 창출합니다.
4. 모델 중립적 통합: 이 프레임워크는 시계열 예측 모델의 특정 아키텍처에 독립적인 범용 확장 모듈로 작동합니다.

실험 결과

저자들은 여덟 가지 다른 예측 모델 (RNN/LSTM 에서 PatchTST 및 TimesNet 과 같은 Transformer 기반 모델까지) 을 사용하여 여섯 개의 실제 데이터셋 (Employees, Forest, German, ILI, Inventories, Consumption) 에서 DAD4TS 를 평가했습니다.

• 성능: DAD4TS 는 여섯 개 데이터셋 중 다섯 개에서 검증되었으며, TimeGAN, TimeVAE, Diffusion-TS 등의 베이스라인 및 "가우시안" 노이즈 베이스라인과 비교하여 Root Mean Squared Error(RMSE) 와 Dynamic Time Warping(DTW) 에서 일관된 개선을 보여주었습니다.
• 어블레이션 연구: 실험은 순차적 생성 전략과 선택기 모두 중요함을 확인했습니다. 선택기를 제거하거나 원샷 생성을 수행한 경우 성능 개선이 현저히 낮아져, 동적이고 보상 기반의 선택 과정의 필요성을 입증했습니다.
• 분포 분석: 시각화는 베이스라인 방법들이 실제 데이터와 유사한 데이터 분포를 생성한 반면, DAD4TS 는 약간 다른 분포를 가진 데이터를 생성했음을 나타냈습니다. 저자들은 이를 PCA 기반 기하학적 공간과 노이즈를 필터링하여 특정 예측 모델에 가치 있는 데이터만 유지하는 선택기의 능력에 기인합니다.

중요성과 주장

이 논문은 기존 데이터 증강 방법들이 노이즈 도입이나 생성의 정적 특성으로 인해 소규모 데이터 환경에서 종종 실패한다는 중요한 한계를 DAD4TS 가 해결한다고 주장합니다. 강화 학습을 통한 공동 훈련 루프로 "실제 데이터와 유사한 것"에서 "하류 작업 성능 향상"으로 초점을 전환함으로써, 이 방법은 데이터가 부족한 곳에서 예측 정확도를 크게 향상시킵니다.

저자들은 현재 구현이 단변량 시계열 예측 작업으로 제한되어 있음을 겸손하게 지적합니다. 향후 작업은 시계열 예측을 넘어 다변량 설정 및 기타 하류 작업으로 프레임워크를 확장하는 것을 목표로 합니다. 이 연구는 제안된 프레임워크가 예측 모델의 아키텍처에 어떤 제한도 부과하지 않으므로 시계열 커뮤니티를 위한 다목적 도구임을 강조합니다.