기술 요약: 합성 데이터는 도움이 되는가? 딥러닝 시계열 예측기에 대한 실증적 증거

문제 제기

합성 데이터는 대규모 언어 모델 (LLM) 과 컴퓨터 비전 시스템의 훈련을 혁신해 왔으나, 시계열 예측에서의 효과는 여전히 잘 이해되지 않고 있다. 대규모로 스크랩할 수 있는 텍스트 데이터와 달리, 시계열 데이터는 종종 유료 장벽 뒤에 있거나 개인 서버에 저장되어 있어 기초 모델 훈련의 병목 현상을 초래한다. 주요 예측 모델들 (예: Chronos, TimesFM, MOIRAI) 이 합성 데이터의 활용을 시작했지만, 이를 어떻게 효과적으로 사용할 것인지에 대한 합의는 없다. 구체적으로, 어떤 생성기 유형이 잘 전이되는지, 어떤 양이 유익한지, 커리큘럼 스케줄링이 중요한지, 그리고 실데이터가 풍부한 경우와 부족한 경우 모두에서 합성 증강이 도움이 되는지 여부가 불분명하다. 본 논문은 합성 데이터의 이론적 가능성과 다양한 딥러닝 아키텍처에 대한 실제적 영향 사이의 격차를 해소한다.

방법론

저자들은 9 개의 서로 다른 실험 그룹으로 구성된 4,218 회의 실험을 수행한 대규모 실증 연구를 실시했다. 이 연구는 ETTh1/2, ETTm1/2, Weather, Electricity, Traffic 등 7 개의 실제 장기 예측 데이터셋을 대상으로 5 가지 최첨단 아키텍처를 평가했다.

1. 합성 데이터 생성기

방법론의 핵심은 세 가지 주요 구성 요소를 갖춘 제어 가능하고 난이도 조건부 합성 시계열 생성기이다:

• 번들 시스템: 단변량 채널의 시간적 원형을 정의한다. 주요 실제 패턴을 나타내는 4 개의 번들이 생성되었다:
  • 계절성 - 추세 (ST): 푸리에 계절성, 결정론적 추세, 자기회귀 잔차를 결합한다.
  • 비정상 체제 (NR): 구조적 단절을 가진 마르코프 전환 AR 과정.
  • 장기 기억 (LM): ARFIMA 또는 분수 브라운 운동을 통한 점진적으로 감소하는 자기상관.
  • 변동성 사건 (VE): GARCH 및 호크스 과정을 통해 모델링된 금융 역학.
• 난이도 조건부: 스칼라 $d \in [0, 1]$이 복잡성 (예: 조화 수, 추세 강도, 노이즈 수준) 을 조절한다.
• 크로스 채널 상관관계: 잠재 요인 래퍼 ($p_{latent}$) 가 독립적으로 생성된 채널을 변환하여 변수 간 상관관계를 도입하고, 실제 다변량 구조를 모방한다.
• 분산 할당: 디리클레 분포 가중치를 사용하여 구성 요소를 혼합하여 총 출력 분산에 대한 통제된 기여도를 보장한다.

2. 실험 설계

연구는 9 개 그룹에 걸쳐 5 가지 요인을 체계적으로 변형했다:

• 데이터 희소성: 실제 훈련 창口的의 일부 ($s \in \{0.10, 0.25, 0.50\}$) 만 유지하여 시뮬레이션했다.
• 증강 비율: 원본 데이터셋 크기에 대한 합성 데이터의 추가량 ($r_{synth} \in \{0.25, 0.50, 1.0, 2.0\}$).
• 커리큘럼 스케줄링: "하드"(이진 전환) 대 "점진적"(선형 보간) 어닐링 스케줄을 테스트했으며, 합성에서 실데이터로, 실데이터에서 합성으로의 방향을 모두 포함했다.
• 번들 선택: 특정 번들 유형 (ST, NR, LM, VE) 의 영향을 분리했다.
• 잠재 상관관계: 크로스 채널 상관관계를 적용할 확률을 변형했다.

3. 모델 및 지표

5 가지 아키텍처가 테스트되었다: DLinear와 PatchTST(채널 독립형), SegRNN(RNN 기반), 그리고 TimesNet과 iTransformer(채널 혼합형). 성능은 $H=96$ 및 $H=336$의 예측 구간에서 홀드아웃된 실제 테스트 세트에 대한 평균 제곱 오차 (MSE) 로 측정되었다.

주요 기여

1. 제어 가능한 생성기: 4 가지 난이도 조건부 번들 유형과 디리클레 분산 할당을 특징으로 하는 새로운 합성 시계열 생성기로, 계절성, 체제 전환, 장기 기억, 변동성을 시뮬레이션할 수 있다.
2. 대규모 실증적 증거: 9 개 실험 그룹, 5 가지 아키텍처, 7 개 데이터셋에 걸친 4,218 회의 실행에 대한 포괄적 연구로, 시계열 예측에서 합성 데이터에 대한 최초의 체계적 분석을 제공한다.
3. 아키텍처 조건부 발견: 성공 또는 실패의 주요 결정 요인으로서 모델 아키텍처를 식별하여 번들 선택, 스케줄링, 배포에 대한 구체적인 지침을 제공한다.

결과

1. 아키텍처가 결정적 요인

합성 데이터의 효과는 모델 아키텍처에 따라 급격히 조건부이다:

• 채널 혼합 모델 (유익함): TimesNet과 iTransformer는 합성 증강으로 일관되게 개선되었다. TimesNet 은 67% 의 시도에서 개선되었고, iTransformer 는 71% 에서 개선되었다. 이러한 모델들은 합성 배치에서 제공되는 다양한 스펙트럼 특성과 채널 간 다양성으로부터 혜택을 받는다.
• 채널 독립 모델 (해로움): DLinear, PatchTST, SegRNN은 합성 데이터로 인해 일관되게 저하되었다. 예를 들어, DLinear 는 평균 MSE 19.2% 의 저하를 보였다. 이러한 모델들은 채널을 고립적으로 처리하여 구조적 보상이 없는 분산 불일치를 초래한다.
• 집계 영향: 모든 아키텍처와 구성에서 합성 증강은 67% 의 시도에서 성능을 저하시켰다.

2. 저자원 설정

실데이터가 희소한 시나리오 ($s \le 0.25$) 에서 합성 증강은 수용 가능한 아키텍처에 대해 놀라운 개선을 가져올 수 있다:

• 전체 데이터 베이스라인 초월: 합성 증강을 적용하여 Weather 데이터셋의 10% 만으로 훈련된 TimesNet 은 전체 데이터 실데이터 전용 베이스라인 (0.2850) 보다 낮은 MSE(0.2841) 를 달성했다.
• 회복: iTransformer 의 경우, 10% 희소성에서의 증강은 희소 데이터와 전체 데이터 모델 간의 성능 격차의 42.8% 를 회복시켰다.

3. 제거 실험 통찰

• 번들 유형: 계절성 - 추세 (ST) 번들은 벤치마크에서 가장 해가 적고 (가장 유익한) 것으로 나타났으며, 이는 테스트 데이터셋의 지배적인 계절성 - 추세 역학과 일치한다. NR, LM, VE 번들은 분산 불일치 (예: 대상 데이터에 존재하지 않는 변동성 또는 체제 전환 도입) 로 인해 더 큰 저하를 초래했다.
• 커리큘럼 스케줄링: 점진적 어닐링(합성 $\to$ 실데이터) 은 정적 혼합과 유사하게 수행되었다. 그러나 하드 스위치 스케줄 (훈련 중간에 합성에서 실데이터로 급격히 전환) 은 치명적이었으며, 정적 혼합에 비해 MSE 를 23.6% 증가시켰다.
• 난이도 조건부: 난이도 수준은 미미한 영향을 미쳤으며, 균일한 난이도가 어려운 분포보다 약간 더 잘 수행되었다.
• 잠재 상관관계: 크로스 채널 상관관계 ($p_{latent}$) 를 도입하면 특히 고차원 데이터셋의 경우 저하가 단조롭게 감소했다. $p_{latent} = 0.5$를 안전한 기본값으로 제안한다.
• 캐시 효율성: 500 개의 샘플로 구성된 고정 캐시를 사전 생성하는 것이 성능 측면에서 온더플라이 생성과 실질적으로 동등한 것으로 나타났으며, 계산 오버헤드를 줄였다.

중요성 및 주장

본 논문은 "더 많은 데이터가 항상 더 좋다"는 가정을 넘어 시계열 예측 파이프라인에 합성 데이터를 통합하기 위한 구체적이고 실행 가능한 지침을 제공한다고 주장한다.

• 아키텍처 선택: 저자들은 아키텍처가 결과의 가장 강력한 예측 변수라고 주장한다. 합성 증강은 채널 혼합 아키텍처 (CNN, 다변량 어텐션) 에 우선적으로 적용하고 채널 독립 모델에서는 피해야 한다.
• 전략적 배포: 연구는 합성 데이터가 수용 가능한 아키텍처의 저자원 설정에서 가장 효과적이며, 전체 데이터 성능과 맞먹거나 심지어 초과할 수 있다고 결론지었다.
• 운영 모범 사례: 논문은 하드 스위치 커리큘럼 스케줄을 명시적으로 권장하지 않으며, 장기 예측 작업에 대한 안전한 기본값으로 계절성 - 추세 번들을 권장한다.
• 기초 모델의 맥락화: 저자들은 Chronos2 와 같은 모델과 그들의 발견을 조화시키며, 수백만 개의 다양한 시계열을 보는 사전 훈련에서 합성 데이터의 성공은 분산 불일치를 조정할 수 있는 몇 개의 에포크만 가진 파인튜닝과 다르다고 지적한다. 그들의 결과는 합성 데이터가 특히 현대의 기초 트랜스포머가 충족하지만 단순한 선형 또는 채널 독립 모델은 충족하지 않는 공동 채널 상호작용에서 학습하도록 설계된 모델 아키텍처가 있을 때 도움이 된다는 것을 시사한다.

이 연구는 합성 데이터가 만병통치약은 아니지만, 아키텍처 인식과 적절한 스케줄링으로 적용될 때 강력한 도구임을 강조한다.