기술 요약: OATS (Online Data Augmentation for Time Series Foundation Models)

문제 정의

시계열 파운데이션 모델(TSFMs)은 대규모 데이터셋을 통해 교차 도메인 학습과 제로샷 일반화를 가능하게 함으로써 이 분야를 발전시켜 왔습니다. 그러나 이들의 효능은 결측치, 이질적인 샘플링 속도, 불균형한 도메인 분포, 데이터 중복과 같이 시계열 데이터에 만연한 데이터 품질 문제로 인해 제약을 받습니다. 합성 데이터 증강(Synthetic data augmentation)은 데이터 부족을 완화하고 강건성을 높이기 위해 널리 채택되는 전략이지만, 기존 방법론들은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 휴리스틱 의존성: 기존 접근 방식은 수동으로 설계된 패턴(예: 사인파, 분해된 시계열)이나 정적 변환(예: Jittering, TSMixup)에 의존합니다. 이러한 휴리스틱은 태스크 불가지론적(task-agnostic)이며 다양한 시계열 작업 전반에 걸쳐 일반화되는 데 실패할 수 있습니다.
2. 정적 패러다임: 기존의 증강 전략은 합성 데이터를 한 번 생성하여 전체 훈련 과정 동안 균일하게 포함시킵니다. 이는 특정 데이터 샘플의 가치와 유용성이 훈련 단계에 따라 달라지는 모델 훈련의 동적인 특성을 무시합니다.

방법론: OATS

저자들은 특정 훈련 단계에 맞춰 동적으로 합성 데이터를 생성하는 원칙적인 전략인 **OATS (Online Data Augmentation for Time Series Foundation Models)**를 제안합니다. OATS는 세 가지 핵심 모듈을 통해 작동합니다.

1. 시계열 영향력 점수 (Time-Series Influence Scores, TSIS)

합성 데이터에 대한 원칙적인 품질 지표가 부족하다는 문제를 해결하기 위해, OATS는 **데이터 기여도(data attribution)**를 활용하여 개별 훈련 샘플이 모델 성능에 미치는 영향력을 정량화합니다.

• 메커니나즘: 모델 파라미터 $w_t$를 가진 주어진 훈련 단계 $t$에 대해, TSIS 함수 $F_{D_{ref}}$는 참조 데이터셋 $D_{ref}$에 대한 샘플 $z_i$의 데이터 기여도 점수를 추정합니다.
• 공식화: 이 점수는 참조 손실(reference loss) 변화에 대한 1차 테일러 근사(first-order Taylor approximation)로부터 도출됩니다. 이는 영향력 점수(샘플과 참조 세트 간의 그래디언트 정렬)와 시계열 특유의 품질 지표인 신호 대 잡음비(SNR) 임계값을 결합합니다.
• 출력: 높은 TSIS 점수를 가진 샘플들이 "가치 있는" 것으로 식별되며, 생성 과정을 위한 가이드 신호 역할을 합니다.

2. 고품질 가이드 기반 데이터 생성

고득점 인스턴스를 단순히 오버샘플링하는 대신, OATS는 이들을 조건부 신호로 사용하여 다양하고 현실적인 합성 데이터를 생성합니다.

• 아키텍처: 선택된 고품질 샘플($H_t$)을 조건으로 하는 확산 기반 모델(diffusion-based model)이 사용됩니다.
• 조건화: 모델은 시계열 시맨틱 프로토타입(Time-Series Semantic Prototype) 모듈과 서브셋 메타데이터(예: 도메인 또는 소스)에 기반한 클래스 조건부 가이드를 통합합니다. 생성 과정은 조건부 분포 $p(\hat{z}|H_t)$를 모델링하여, 고품질 가이드의 특성을 유지하면서도 다양한 시간적 패턴을 포착하는 새로운 샘플을 합성합니다.

3. 탐색-활용(Explore-Exploit) 메커니즘

모든 단계에서 전체 데이터셋에 대해 TSIS를 계산하는 것은 계산 비용이 매우 높습니다. OATS는 계산 효율성과 데이터 품질 사이의 균형을 맞추기 위해 탐색-활용(Explore-Exploit) 메커니즘을 도입합니다.

• 탐색 단계 (Explore Steps): 시스템은 새로운 배치를 확률적으로 샘핑하여 신선한 TSIS 값을 계산하고, 지수 이동 평균을 통해 각 데이터 서브셋에 대한 동적 캐시($\Phi_{D_l}$)를 업데이트합니다. 이를 통해 시스템은 변화하는 모델 역학에 적응할 수 있습니다.
• 활용 단계 (Exploit Steps): 시스템은 캐시된 TSIS 값을 활용하여 고품질 배치를 직접 샘플링함으로써, 비용이 많이 드는 영향력 점수 재계산을 우회합니다.
• 제어: $\epsilon$-greedy 전략이 현재 단계가 "탐색" 단계인지 "활용" 단계인지를 결정하여, 새로운 고가치 데이터를 발견하는 것과 알려진 고가치 데이터를 사용하는 효율성 사이의 균형을 맞춥니다.

주요 기여

1. 온라인 데이터 증강 패러다임: 본 논문은 정적 증강에서 온라인 증강으로의 전환을 제안하며, 여기서 합성 데이터는 현재 훈련 과정의 상태에 따라 동적으로 생성됩니다.
2. 원칙적인 전략 (OATS): 데이터 기여도(TSIS)와 확산 기반 생성을 통합한 새로운 프레임워크입니다. 고영향력 샘플을 가이드 신호로 사용하여 고품질이면서도 다양한 합성 데이터를 생성합니다.
3. 효율성 메커니즘: 데이터 품질을 유지하면서도 계산 오버헤드를 크게 줄이는 탐색-활용 메커니즘을 도입했습니다.
4. 실증적 검증: 6개의 데이터셋(ETTm1, ETTm2, ETTh1, ETTh2, Weather, Electricity)과 2개의 TSFM 아키텍처(Encoder-only 및 Decoder-only Transformer)에 대한 포괄적인 평가를 수행했습니다.

실험 결과

저자들은 OATS를 일반 훈련 및 두 가지 베이스라인 증강 방법인 TSMixup(기존 샘플의 가중 합계) 및 Jitter(가우시안 노이즈 추가)와 비교 평가했습니다.

• 성능: OATS는 거의 모든 데이터셋과 지표(정규화된 평균 절대 백분율 오차 - MAPE, 음의 로그 가능도 - NLL)에서 일반 훈련 및 베이스라인 증강 방법보다 일관되게 우수한 성능을 보였습니다.
• 강건성: OATS는 두 모델 아키텍처 모두에서 6개 데이터셋 중 5개(ETTm1, ETTm2, ETTh2, Weather, Electricity)에서 최고의 결과를 달est했습니다.
• 수렴: 테스트 손실 곡선은 OATS가 베이스라인에 비해 NLL를 더 빠르게 감소시킴을 나타냈습니다.
• 하이퍼파라미터 민감도: 탐색-활용 비율($\epsilon$)을 변화시킨 실험 결과, $\epsilon=1$(순수 탐색) 설정이 항상 최적은 아니라는 것을 보여주었으며, 이는 캐시된 점수를 활용하는 것(활용)이 효율성을 위해 중요하다는 것을 시사합니다. 그러나 OATS는 $\epsilon$ 설정에 관계없이 일반 훈련보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 OATS가 정적이고 휴리스틱에 기반한 방법의 한계를 넘어, 동적 데이터 증량을 위한 원칙적인 접근 방식을 제공한다고 주장합니다. 영향력 점수를 통해 데이터 품질을 정량화하고 훈련 단계에 따라 생성을 적응시킴으로써, OATS는 TSFM의 핵심 과제인 데이터 부족 및 품질 문제를 해결합니다. 저자들은 이 방법이 모델 성능을 향상시킬 뿐만 아니라, 복잡한 실제 시계열 데이터에 대한 파운데이션 모델 훈련을 위한 확장 가능한 프레임워크를 제공한다고 단언합니다. 해당 분야의 추가 연구를 촉진하기 위해 코드가 공개되었습니다.