기술 요약: HyFAD

문제 정의

시계열 결측치 보간(imputation)을 위한 기존의 확산 모델(diffusion models)은 복잡한 데이터 분포를 포착하는 데는 성공적이지만, 다음과 같은 세 가지 주요 한계점에 직면해 있습니다:

1. 불충분한 고주파 재구성: 표준 시간 영역 확산 모델은 등방성 가우시안 노이즈(isotropic Gaussian noise)를 주입하며, 이는 에너지를 모든 주파수에 균일하게 분산시킵니다. 이는 실제 시계열 데이터에서 스펙트럼 에너지가 주로 저주파에 집중되어 있다는 점과 상충하며, 이로 인해 고주파 세부 사항 및 미세한 시간적 변동을 복구하는 것이 어렵습니다.
2. 글로벌 vs 로컬 모델링의 불균형: 장기적 구조를 우선시하면 출력이 과도하게 매끄러워지는(over-smoothed) 경향이 있으며, 단기적 변동을 강조하면 전역적 일관성이 깨질 수 있습니다. 기존 모델들은 이러한 상충하는 역학 관계 사이의 균형을 맞추는 데 어려움을 겪습니다.
3. 주파수 비인지적 모델링: 현재의 접근 방식은 일반적으로 주파수 인지 능력이 없는 스텝 임베딩(step embedding)을 사용하며, 주파수 대역 전반에 걸쳐 노이즈를 균일하게 주입합니다. 이는 모델이 서로 다른 스펙트럼 성분의 고유한 복구 특성에 따라 디노이징 동작을 적응하는 것을 방해하여, 국소적 변동의 최적화된 재구성을 저해합니다.

방법론

저자들은 시간 영역과 주파수 영역을 명시적으로 결합한 DDPM(Denoising Diffusion Probabilistic Models) 패러다임 기반의 프레임워크인 HyFAD(Hybrid time-frequency Diffusion with Frequency-Aware embedding)를 제안합니다.

1. 하이브리드 시계열-주파수 확산 프레임워크

시간 영역에만 국한된 기존 방식과 달리, HyFAD는 결합된 순방향 및 역방향 과정을 채택합니다:

• 순방향 과정(Forward Process): 노이즈 주입은 순차적으로 발생합니다. 먼저 주파수 영역 표현(rDFT를 통해)에 노이즈를 주입한 후, 시간 영역에 노이즈를 주 injection 합니다. 이는 원래의 데이터 분포를 목표 가우시안 분포로 변환합니다.
• 역방향 과정(Reverse Process): 디노이징은 이와 대칭적인 순서로 진행됩니다. 먼저 시간 영역의 노이즈를 제거하여 전역적 추세를 안정화한 다음, 주파수 영역의 노이즘을 제거하여 고주파 스펙트럼 성분을 정밀하게 다듬습니다. 이는 "거친 단계에서 미세한 단계로(coarse-to-fine)" 이어지는 생성 메커니즘을 형성합니다.
• 수학적 공식화: 이 과정은 원본 신호와 두 그룹의 독립적인 가우시안 노이즈(시간 및 주파수)의 선형 결합으로 정의되는 통합된 사후 분포(posterior distribution)에 의해 정의됩니다. 손실 함수는 시간 영역 노이즈 추정, 주파수 영역 노이즈 추정, 그리고 두 브랜치 간의 불일치를 방지하기 위한 일관성 손실(consistency loss)을 결합합니다.

2. 주파수 인지 확산 임베딩 (Frequency-Aware Diffusion Embedding)

주파수별 주의력 결여 문제를 해결하기 위해, 저자들은 스텝 의존적인 스펙트럼 가이드를 제공하는 새로운 스텝 임베딩을 도입했습니다. 이 임베딩은 순방향 과정 중에 고주파 대역이 저주파 대역보다 더 빨리 열화 임계값(degradation thresholds)에 도달한다는 명제에 기반하여 구축되었습니다. 이 임베딩은 세 가지 구성 요소를 통합합니다:

• 노이즈 인지 주파수 게이트(Noise-Aware Frequency Gate): 누적된 노이즈 수준에 따라 조정되는 게이팅 메커니즘으로, 각 주파수 대역이 신호 대 잡음비(SNR)에 따라 적절히 처리되도록 보장합니다.
• 단계 인지 주파수 스케줄(Stage-Aware Frequency Schedule): 디노이징 단계가 진행됨에 따라 저주파에서 고주파로 진행되는 점진적 복구를 인코딩하는 스케줄링 가중치입니다.
• 대역 신뢰도(Band Reliability): 결측치가 스펙트럼 아티팩트를 유발할 수 있음을 고려하여, 결측 패턴에 따라 신뢰할 수 없는 주파수 대역의 가중치를 낮추는 가중치입니다.

3. 모델 아키텍처

핵심 디노이징 네트워크는 CSDI의 템포럴 피처 트랜스포머(temporal-feature transformer)를 기반으로 한 계층적 듀얼 브랜치 아키텍처를 활용합니다.

• 시간 영역 브랜치(Time-Domain Branch): 노이즈가 섞인 데이터와 조건부 정보를 처리하여 시간 영역 노이즈를 추정합니다.
• 주파수 영역 브랜치(Frequency-Domain Branch): 시간 영역 출력을 주파수 영역으로 변환하여 받아들이며, 주파수 인지 확산 임베딩을 사용하여 주파수 영역 노이즈를 추정합니다.
• 신호 프록시(Signal Proxy): 결측치로 인한 스펙트럼 누출(spectral leakage)을 완화하기 위해 "신호 프록시" 메커니즘이 사용됩니다. 이는 관측된 값과 현재 상태 추정치를 결합하여 주파수 모델링을 위한 확산 동기화된 스펙트럼 참조를 생성합니다.

주요 기여

1. 결합된 시계열-주파수 프레임워크: 단일 DDPM 프레임 much 내에서 시간 및 주파수 영역 노이즈 모델링을 통합하여, 스펙트럼 대역 간의 명시적 차별화를 가능하게 하고 coarse-to-fine 재구성을 용이하게 하는 HyFAD를 제안했습니다.
2. 주파수 인지 스텝 임베딩: 확산 단계와 주파수 대역 간의 상관관계를 모델링하는 새로운 임베딩을 도입하여, 모델이 디노이징 과정 중 적절한 스펙트럼 성분에 적응적으로 집중할 수 있도록 했습니다.
3. 최첨단 성능(SOTA): PhysioNet 및 Air Quality 벤치마크 데이터셋에 대한 광범한 실험을 통해, HyFAD가 고전적 보간법, 딥러닝 베이스라인(BRITS, SAITS, TimesNet) 및 기타 확산 모델(CSDI, SSSD)을 포함한 기존 방법들을 지속적으로 능가함을 입증했습니다.

실험 결과

저자들은 다양한 결측률(10%, 50%, 90%) 조건에서 PhysioNet 및 Air Quality 데이터셋을 통해 HyFAD를 평가했습니다.

• 성능: HyFAD는 모든 시나리오에서 가장 우수한 MAE 및 RMSE를 달 기록했습니다. 예를 들어, 10% 결측률의 PhysioNet 데이터셋에서 두 번째로 우수한 베이스라인인 LSCD 대비 MAE를 2.8% 감소시켰습니다.
• 어블레이션 연구(Ablation Studies):
  • 주파수 인지 임베딩을 표준 임베딩으로 대체했을 때 성능 저하가 발생하여, 제안된 임베딩의 필요성을 검증했습니다.
  • 시간 영역 브랜치가 전역적 구조 형성에 지배적(최적 $\lambda = 0.75$)인 반면, 주파수 브랜치는 국소적 역학을 효과적으로 정밀화함을 확인했습니다.
  • 일관성 손실 가중치($\omega$)는 두 브랜치의 균형을 맞추는 데 결정적이었으며, $\omega=0.4$일 때 최적의 트레이드오프를 보였습니다.

의의 및 주장

본 논문은 HyFAD가 실제 시계열의 불균형한 스펙트럼 에너지 분포를 명시적으로 모델링함으로써, 시간 영역 전용 확산 모델의 근본적인 한계를 해결한다고 주장합니다. 주파수 영역의 역학 및 단계별 스펙트럼 가이드를 통합함으로써, 모델은 더욱 정확한 대역별 재구성을 달성합니다. 저자들은 이 접근 방식이 전역적 추세와 미세한 국소 변동을 모두 효과적으로 복구하며, CSDI와 같은 이전 연구에서 흔히 나타나는 중-고주파 진폭의 과소평가 문제를 교정한다고 단언합니다. 이 연구는 데이터의 본질적인 주파수 특성을 존중하는 보다 견고한 시계열 보간을 향한 중요한 진전으로 제시됩니다.