기술 요약: DIFFDIFF – 시계열 예측을 위한 불확실한 구성 요소로의 차분 확산 (Differencing the Diffusion Trajectory toward Uncertain Components for Time-Series Forecasting)

1. 문제 정의

확률적 시계열 예측은 과거 관측 창(historical observation window)이 주어졌을 때 미래 값의 조건부 분포를 모델링하는 것을 목표로 합니다. 디노이징 확산 확률 모델(DDPM)은 제한적인 파라미터 가정 없이 복잡한 예측 분포를 모델링할 수 있는 강력한 프레임워크로서 이 작업에 부상했으나, 표준 확산 프로세스가 해결하지 못하는 시계열 데이터의 근본적인 비대칭성 문제에 직면해 있습니다.

시계열 예측에서 미래는 백지 상태가 아니라 관측된 이력의 연장선입니다. 결과적으로 예측 불확실성은 균등하게 분포되지 않습니다. 이력과 강하게 상관관계가 있는 구성 요소(예: 매끄러운 추세, 계절적 패턴)는 남은 불확실성이 거의 없는 반면, 이력이 결정론적으로 설명하기 어려운 구성 요소(예: 급격한 변동, 체제 변화)에는 잔여 불확실성이 집중됩니다. 기존의 확산 기반 예측 모델들은 외부 규칙(예: 추세를 위해 포인트 예측기를 고정하는 방식)을 사용하여 확산 프로세스 이전에 타겟을 결정론적 구성 요소와 불확실한 구성 요소로 분리함으로써 이를 처리하려고 시도합니다. 그러나 이러한 접근 방식은 비대칭성을 확산 파이프라인 외부에서 국소화하여, 확산 과정의 훼손 궤적(corruption trajectory)이 무엇이 이력에 의해 고정되어 있는지에 대해 "맹목적"인 상태로 남겨둡니다. 결과적으로, 확산 모델의 역량은 생성적 노력이 가장 필요한 고불확실성 구성 요소에 집중되는 대신, 결정론적으로 공급될 수 있는 이력 고정 콘텐츠를 재구성하는 데 낭비됩니다.

2. 방법론: DIFFDIFF

저자들은 DIFFDIFF(Differencing Diffusion)를 제안합니다. 이는 예측 가능성의 비대칭성을 확산 궤적 자체에 직접 내재화하는 프레임워크입니다. 외부 분리에 의존하는 대신, DIFFDIFF는 순방향 연산자(forward operator)를 단계 의존적으로 만들어, 노이즈가 섞인 중간 상태를 타겟 값으로부터 2차 차분 구조로 점진적으로 이동시킵니다.

2.1 단계 의존적 순방향 프로세스 (Step-Dependent Forward Process)

핵심 혁신은 순방향 과정 $q(x_t | x_0)$에 있습니다. 등방성 가우시안 노이즈를 추가하는 표준 확산과 달리, DIFFDIFF는 다음과 같이 일반화된 순방향 한계 분포를 정의합니다:
$$q(x_t | x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t} A_t x_0, (1 - \bar{\alpha}_t)I)$$
여기서 $A_t$는 단계 의존적 전이 행렬입니다.

• 점진적 차분 (Progressive Differencing): $A_t$는 $(1 - \lambda_t)I + \lambda_t D^2$로 정의되며, 여기서 $D^2$는 2차 차분 연산자이고 $\lambda_t$는 확산 단계 $t$에 따라 단조 증가합니다.
• 효과: 초기 단계($t \approx 0$)는 원래의 타겟 $x_0$에 가깝게 유지됩니다. 확산이 진행됨에 따라 $A_t$는 이력에 의해 쉽게 고정되는 저주파 성분(레벨 및 추세)을 점점 더 억제하는 동시에, 잔여 불확실성을 담고 있는 고주파 성분(변동 및 곡률)은 보존합니다.
• 확장된 타겟 (Extended Target): 경계 연속성을 보장하기 위해, 타겟 $x_0$는 관측된 이력의 짧은 중첩 구간을 포함하는 확장 윈도우 $[x_{label}, x_{fut}]$로 정의됩니다. 이를 통해 $D^2$가 이력-미래 경계에서의 곡률을 인코딩할 수 있게 합니다.

2.2 단계 적응형 조건부 디노이저 (Stage-Adaptive Conditional Denoiser)

순방향 프로세스가 후기 단계에서 값 영역(value-domain)의 콘텐츠를 억제하므로, 역과정은 이 정보를 다시 공급할 수 있는 컨디셔닝 경로가 필요합니다. DIFFDIFF는 이력의 두 가지 뷰를 융합하는 단계 적응형 조건부 디노이저를 채택합니다.

1. 값 영역 (Value Domain): 원시 이력 $x_{hist}$를 인코딩하여 레벨, 스케일, 추세를 보존합니다.
2. 차분 영역 (Difference Domain): 1차 차분 $\Delta x_{hist}$를 인코딩하여 국소적 속도와 단기 변동을 포착합니다.

이 두 표현은 타임스텝 적응형 게이트 $g$를 통해 융합됩니다:
$$c = h_{val} + g \odot h_{diff}$$
여기서 $g$는 확산 타임스텝에 의해 조건화된 시그모이드 함수입니다. 이 게이트는 차분 브랜치의 기여도를 동적으로 조절합니다. 즉, 노이즈 섞인 상태가 더 많은 차분 구조를 유지하고 있을 때(후기 단계)는 브랜치를 열어두고, 값 영역의 콘텐츠만으로 충분할 때(초기 단계)는 차분 브랜치를 억제합니다.

2.3 훈련 및 샘플링

• 훈련: 모델은 값 영역에서의 위치 가중 재구성 손실($x_0$-예측)과 함께, 절대적 스케일을 복구하기 위해 인스턴스 정규화 통계량(평균 및 분산)을 예측하는 보조 손실을 최소화합니다.
• 샘플링: 최종 분포는 표준 가우시안 $\mathcal{N}(0, I)$에 수렴하여 기존의 가속 샘플러(예: DDIM)와의 호환성을 유지합니다. 역과정은 단계 의존적 행렬 $A_t$를 사용하여 예측값을 각 단계의 올바른 신호 표현으로 매핑합니다.

3. 주요 기여

1. 비대칭성의 내재화: DIFFDIFF는 외부 사전 분해에 의존하는 대신, 단계 의존적 순방향 연산자를 통해 결정론적-불확실성 비대칭성을 확산 궤적에 직접 내재화한 최초의 확산 프레임워크입니다.
2. 주파수 선택적 훼손 (Frequency-Selective Corruption): 순방향 프로세스에 2차 차분 연산자를 활용함으로써, 비균등한 신호 대 잡음비(SNR) 프로파일을 생성합니다. 이는 저주파(이력에 의해 고정된) 성분을 고주파(불확실한) 성분보다 더 빠르게 감쇄시켜, 모델의 생성 역량을 타겟의 가장 불확실한 부분에 효과적으로 재배분합니다.
3. 단계 적응형 컨디셔닝: 타임스텝 적응형 게이팅 메커니즘의 도입은 디노이저가 값 영역과 차분 이력 정보 사이의 균형을 동적으로 조절할 수 있게 하여, 순방향 연산자에 의한 억제를 보완합니다.
4. 이론적 일관성: 저자들은 단계 의존적 순방향 프로세스의 비마르코프(non-Markovian) 특성에도 불구하고, 역과정이 순방향 궤적과 한계 일관성(marginal consistency)을 유지하여 유효한 샘플링을 보장함을 증명합니다.

4. 실험 결과

저자들은 7개의 다양한 시계열 벤치마크(Electricity, ETTm2, Exchange Rate, Traffic, Solar-Energy, Weather, Wind)에 대해 4개의 예측 호라이즌($H \in \{96, 192, 336, 720\}$)에 걸쳐 DIFFDIFF를 평가했습니다.

• 성능: DIFFDIFF는 6개의 최첨단 확산 베이스라인(CSDI, TimeDiff, TMDM, NsDiff, MA-TSD, D3U 포함)을 상대로 84개 설정 중 53개에서 성능이 우수했습니다. 대부분의 경우에서 가장 좋은 연속 랭크 확률 점수(CRPS)를 달성했습니다.
• 절제 연구 (Ablation Studies):
  • **순방향 프로세스(차분)**가 개선의 주요 원인으로 확인되었습니다. 이것이 없는 변형 모델들은 성능이 현저히 떨어졌습니다.
  • 단계 적응형 게이트가 매우 중요했습니다. 이를 제거하거나 고정된 융합 메커니즘으로 대체하면, 특히 변동성이 큰 데이터셋에서 성능 저하가 발생했습니다.
  • **2차 차분($D^2$)**은 1차($D^1$) 또는 3차($D^3$) 연산자보다 더 견고한 것으로 입증되었으며, 곡률을 포착하는 것과 외삽 오류를 증폭시키는 것 사이의 균형을 잘 맞추었습니다.
• 분석: 스펙트럼 분석을 통해 순방향 프로세스가 확산이 진행됨에 따라 유지되는 신호 에너지를 고주파 성분 쪽으로 성공적으로 이동시킨다는 것을 확인했습니다. 또한, 게이트 역학은 데이터셋의 특성에 따라 적응하여, 주기적 시계열(Electricity, Traffic)에서는 차분 브랜치를 열어두고, 매우 확률적인 시계열(Solar, Wind)에서는 이를 억제하는 것으로 나타났습니다.

5. 의의 및 주장

DIFFDIFF 논문은 확률적 시계열 예측이 예측 가능성 비대칭성을 확산 궤적에 직접 인코딩함으로써 상당한 이득을 얻는다는 점을 입증합니다. 훼손 경로를 재설계하여 이력에 의해 고정된 콘텐츠를 점진적으로 억제함으로써, 모델은 이미 알려진 것을 재구성하는 데 생성 역량을 낭비하지 않습니다. 대신, 이력에 의해 결정되지 않은 역동적인 "어려운" 구성 요소에 집중하며, 컨디셔닝 경로를 통해 고정된 콘텐츠를 공급받습니다.

저자들은 이 접근 방식이 단일 엔드 투 엔드 확산 프로세스가 타겟의 구조를 "인지"할 수 있게 하여, 외부 분해 규칙이나 복잡한 다단계 파이프라인 없이도 우수한 교정(calibration)과 선명도(낮은 CRPS)를 달 수 있다고 강조합니다. 이 방법은 표준 확산 샘플링 기법과 호환성을 유지하므로, 기존 확산 기반 예측 프레임워크를 위한 실용적이고 효율적인 업그레이드가 됩니다.