기술 요약: 불규칙 다변량 시계열을 위한 잠재 라플라스 확산 (Latent Laplace Diffusion)

1. 문제 정의

의료, 기후 과학, 금융 분야에서 흔히 발생하는 불규칙 다변량 시계열(IMTS)은 장기 예측(long-horizon forecasting)에 있어 근본적인 트레이드오프를 제시한다. 기존 방식들은 일반적으로 다음 세 가지 범주로 나뉘며, 각각 중대한 한계를 지닌다:

• 이산 시간 파이프라인(Discrete-time pipelines): 이 방법들은 데이터를 정규 구조로 보간(interpolation)하거나 재격자화(re-gridding)한다. 효율적이긴 하지만, 공격적인 재격자화는 시간적 정보를 왜곡하고 심한 불규칙성 하에서의 결측(missingness)의 의미론적 특성을 흐린다.
• 연속 시간 모델 (예: Neural ODEs/CDEs): 이들은 타임스탬프를 자연스럽게 포함하지만, 순차적인 수치 적분(numerical integration)에 의존한다. 이는 계산 비용을 증가시키고, 특히 간격이 클 경우 장기 예측 시 오차 누적(drift)을 초래한다.
• 확산/스코어 기반 모델 (Diffusion/Score-based models): 강력한 불확실성 정량화를 제공하지만, 기존의 대부분의 시계열 확산 모델은 관측 공간에서 직접 디노이징(denoising)을 수행한다. 이들은 명시적인 동역학적 구조나 안정성 제어가 부족하여, 불규칙한 샘플링 환경에서의 장기 생성 시 취약성을 보인다.

핵심 과제는 불규칙성을 전처리 과정의 부산물으로 축소하지 않으면서 물리적 시간과 샘플링 간격을 존중하는 동시에, 순차적 솔버(solver)와 관련된 드리프트 없이 안정적인 장기 궤적 생성을 보장하며 IMTS를 모델링하는 것이다.

2. 방법론: 잠재 라플라스 확산 (Latent Laplace Diffusion, LLapDiff)

LLapDiff는 이산 모델링과 연속 모델링 사이의 간극을 메우는 조건부 생성 프레임워크이다. 이 방법은 물리적 시간에 대한 순차적 수치 적분을 피하기 위해, 타겟을 저차원 잠재 궤적으로 모델링하고 잠재 공간에서 확산을 수행한다.

2.1. 잠재 궤적 표현 (Latent Trajectory Representation)

이 방법은 불규칙한 타겟 호라이즌을 매니폴드 상의 저차원 잠재 궤적 $z$로 표현한다. 사전 학습된 변이형 오토인코더(VAE)가 실제 타겟을 이 잠재 공간으로 인코딩한다. 확산 과정은 희소한 관측값이 아닌 이러한 잠재 궤적을 오염시키고 디노이징함으로써, 마스킹된 데이터에 대한 직접적인 디노이징을 피한다.

2.2. 확률적 포트-해밀토니안 역학을 통한 안정성 편향 (Stability Bias via Stochastic Port-Hamiltonian Dynamics)

수치 솔버 없이 역방향 확산 과정을 유도하기 위해, 저자들은 확률적 포트-해밀토니안 시스템(stochastic port-Hamiltonian systems)에서 영감을 얻었다.

• 에너지 균형 (Energy Balance): 이 프레임워크는 기대 시스템 에너지가 컨텍스트 업데이트 사이에 비증가(non-increasing)하도록 하는 패시비티 기반 유도 편향(passivity-based inductive bias)을 부과한다. 이를 통해 예측 가능한 동역학을 확률적 변동성으로부터 분리한다.
• 라플라스 영역 파라미터화 (Laplace-Domain Parameterization): 타임스텝을 밟는 대신, 잠재 궤적의 평균 진화는 라플라스 영역에서 파라미터화된다. 시스템은 안정적인 복소 공액 극점(complex-conjugate poles) $(\rho_k, \omega_k)$를 사용하여 모델링되며, 여기서 $\rho_k$는 감쇠율을, $\omega_k$는 진동 주파수를 나타낸다.
• 안정적 모드 합성 (Stable Modal Synthesis): 디노이저(denoiser)는 히스토리에 조건화된 모달 파라미터(극점 및 잔차)를 예측한다. 그 후 잠재 궤적은 다음과 같은 감쇠된 사인 함수의 폐쇄형 합(closed-form sum)을 통해 합성된다:
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  이를 통해 순차적 적분을 우회하여 단일 병렬 실행 패스로 호라이즌 전체를 생성할 수 있다.

2.3. 갱신 평균화 및 간격 인식 조건화 (Renewal-Averaging and Gap-Aware Conditioning)

저자들은 연속 시간 극점과 무작위 샘플링 간격 사이의 이론적 연결 고리를 갱신 평균화(renewal-averaging) 분석을 통해 확립한다.

• 유효 극점 (Effective Poles): 무작위 간격은 연속 시간 극점을 유효 이벤트 도메인 극점으로 매핑한다. 간격의 분산은 유효 감쇠 및 진동을 조절한다.
• 히스토리 요약기 (History Summarizer): 학습된 동역학을 불규칙한 패턴에 적응시키기 위해, "간격 인식 히스토리 요약기"가 관측값, 시간 간격, 결측 마스크를 집계한다. 이 요약기는 모달 예측기를 조건화하여, 복잡하고 비-갱신(non-renewal) 샘в링 패턴 하에서도 일관성을 유지하는 연속 시간 파라미터를 학습할 수 있게 한다.

2.4. 아키텍처 (Architecture)

모델은 다음 세 부분으로 구성된다:

1. 히스토리 요약기 ($S_\phi$): 관측된 히스토리를 포트 신호(port signals), 동역학 프록시, 시간/간격 인코딩을 포함하는 토큰 시퀀스로 인코딩한다.
2. 모달 예측기 ($L_\theta$): 노이즈가 섞인 잠재 상태와 히스토리 요약이에 조건화되어 연속 시간 모달 파라미터(극점 및 잔차)를 예측한다.
3. 모달 합성기 ($L^+_\theta$): 예측된 파라미터를 사용하여 폐쇄형 라플라스 도메인 방정식을 통해 디노이징된 잠재 궤적을 재구성한다.

3. 주요 기여 (Key Contributions)

1. LLapDiff 프레임워크: 타임스탬프 충실도를 유지하면서 순차적 솔버의 드리프트 문제를 피하고, 잠재 궤적을 통해 진화를 모델링하는 IMTS를 위한 잠재 확산 프레임워크를 제안하였다.
2. 라플라스 도메인 모달 파라미터화: 명시적 안정성 제어(제약된 극점 감쇠 $\rho_k > 0$)를 통해 호라이즌 전체 생성을 가능하게 하는, 확률적 포트-해밀토니안 역학에 근거한 유도법을 도출하였다.
3. 샘플링 간격과의 이론적 연결: 갱신 평균화를 통해 연속 시간 극점과 무작위 샘플링 간격을 연결하는 분석을 제공하였으며, 이를 통해 간격 인식 히스토리 조건화 메커니즘을 촉발하여 불규칙한 관측 패턴 하에서도 강건한 장기 모델링을 가능케 하였다.

4. 실험 결과 (Experimental Results)

저자들은 대기 질, 의료(PhysioNet), 기상(NOAA), 금융(Crypto, US Equity)을 아우르는 7개의 실제 데이터셋에서 LLapDiff를 평가하였다.

• 예측 성능: LLapDiff는 대부분의 데이터셋에서 최상의 분포 지표(CRPS)와 경쟁력 있는 점 지표(MAE/MSE)를 달성하였다. 성능 향상은 장기 예측(예: 128 스텝) 및 고도로 불규칙한 데이터셋(예: PhysioNet, NOAA UK)에서 가장 두드러졌다.
• 결측치 보간 (Imputation): 궤적 생성의 특성 덕분에, 이 모델은 역사적 타임스탬프에서 동일한 모델을 쿼리함으로써 결측값 보간을 지원한다. 이는 확률적 보간 작업에서 CSDI와 같은 베이스라인보다 뛰어난 성능을 보였다.
• 안정성 및 강건성:
  • 극점 시각화: 학습된 극점은 일관되게 $\rho_k > 0$을 만족하여 지수적 감쇠와 안정성을 보장하였다. 모델은 간격 통계에 따라 감쇠율을 적응시켰다.
  • 스트레스 테스트: 모델은 유도된 결측 상황에서도 우아한 성능 저하(graceful degradation)를 보여주었다. 극단적인 커버리지 손실 시 성능이 하락하긴 했으나, 드리프트가 발생하거나 과도하게 매끄럽게 변하는 베이스라인들에 비해 강건함을 유지했다.
  • 레짐 시프트 (Regime Shifts): 모델은 제어된 스펙트럼 변화(주파수 및 감쇠 변화) 하에서도 안정성을 유지하였다.
• 효율성: Neural ODE나 연속 시간 트랜스포머가 순차적인 솔버 단계가 필요한 것과 달리, LLapDiff의 추론 시간은 예측 호라이즌에 관계없이 거의 일정하게 유지되었다. 추론 벽시계 시간(wall-clock time) 기준으로 TimeGrad(39.8배) 및 ContiFormer(150.6배)보다 훨씬 빨랐다.

5. 의의 및 주장 (Significance and Claims)

본 논문은 LLapDiff가 잠재 확산에 안정적인 연속 시간 유도 편향을 통합함으로써, 이산 및 연속 시계열 모델링 사이의 간극을 성공적으로 메웠다고 주장한다.

• 솔버 프리 생성 (Solver-Free Generation): 동역학 모델링을 라플라스 영역으로 옮기고 안정적인 모달 파라미터화를 사용함으로써, 물리적 시간 스텝 없이 호라이즌 전체 생성을 달성하여 순차적 솔버의 드리프트 문제를 효과적으로 해결하였다.
• 통합된 예측 및 보간: 연속적인 잠재 궤적 뷰를 통해 동일한 모델이 서로 다른 타임스탬프를 쿼리하는 것만으로 예측과 결측치 보간을 모두 수행할 수 있게 하여, 불규칙한 데이터에 대한 통합된 접근 방식을 제공한다.
• 간격 인식 적응: 갱신 평균화 분석은 샘플링 간격에 조건화하기 위한 이론적 근거를 제공하며, 이를 통해 모델이 불규칙한 관측 패턴에 강건한 동역학을 학습할 수 있도록 한다.

저자들은 사전 학습된 잠재 표현에 대한 의존성과 국소 선형 모달 근사(locally linear modal approximation)를 포함한 한계점을 인정하였다. 이들은 향후 연구에서 더 풍부한 비선형 동역학과 더 빠른 역방향 샘플링을 탐구할 수 있을 것이라고 제언하였다. 본 연구는 더 안정적이고 효율적인 실세계 불규칙 시계열 생성 모델링을 향한 진전으로 자리매김하고 있다.