🤖 AI

Discretizing Continuous Time Series for Imputation with Masked Diffusion Training

본 논문은 마스크된 값과 관측된 값을 구조적으로 분리하고, 연속적이고 서수적인 데이터에 적합하도록 마스크된 확산 학습을 조정하는 확률적 이산화(Stochastic Discretization)를 도입함으로써 기존 방식보다 우수한 강건성과 확장성을 달로 달성하는 마스크된 확산 시계열 결측치 보간 모델(Masked Diffusion Time-series Imputation Model, MDTIM)을 제안한다.

원저자: Dongbin Kim, Seungyun Lee, Geonwoo Shin, Jaewook Lee

게시일 2026-08-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongbin Kim, Seungyun Lee, Geonwoo Shin, Jaewook Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시계열 데이터는 현대 세계의 리듬이며, 도시의 온도부터 환자의 심장 박동에 이르기까지 모든 것을 기록하는 연속적인 숫자의 흐름입니다. 이러한 기록들이 완벽한 경우는 드뭅니다. 센서가 고장 나고, 신호가 끊기며, 데이터에 공백이 생기기도 합니다. 전체적인 그림을 파악하기 위해 과학자들은 이 누락된 조각들을 채워 넣어야 하며, 이 작업을 임퓨테이션(imputation, 결측치 보간)이라고 합니다. 문제는 데이터 자체의 본질에 있습니다. 데이터는 한 순간에서 다음 순간으로 매끄럽게 이어지는 연속적이고 흐르는 성질을 가지고 있으면서도, 한 시점의 값이 다음 시점의 값과 밀접하게 연결되어 있는 순서가 있는 데이터입니다. 기존 방식들은 여기서 종종 어려움을 겪습니다. 결측 지점을 단순한 0으로 처리하여 패턴을 혼란스럽게 만들거나, 실제 값 자체가 아니라 값에 추가된 노이즈를 예측함으로써 누락된 값을 추측하려는 복잡한 수학적 모델을 사용하기도 합니다.

서울대학교의 한 연구진은 이 문제에 대한 새로운 접근법을 개발했으며, 이는 컴퓨터가 누락된 데이터를 바라보는 방식을 변화시킵니다. 그들은 마스크드 디퓨전 시계열 임퓨테이션 모델(Masked Diffusion Time-series Imputation Model), 즉 MDTIM이라 불리는 시스템을 만들었습니다. 이 모델은 누-락된 데이터를 예측하려 하기보다, 올바른 단어로 채워져야 할 문장 속의 빈칸처럼 취급합니다. 언어 모델에서는 [MASK]와 같은 특수 기호를 사용하여 단어를 숨기고, 모델은 문맥을 바탕으로 원래의 단어를 추측하는 법을 배웁니다. 연구진은 이와 동일한 논리가 시계열에도 적용될 수 있다는 것을 깨달았지만, 이를 위해서는 근본적인 불일치를 해결해야 했습니다. 시계열은 매끄럽고 연속적인 반면, 언어의 단어는 뚜렷하고 분리되어 있기 때문입니다.

이 간극을 메우기 위해 연구진은 확률적 이산화(Stochastic Discretization)라는 방법을 도입했습니다. 이는 매끄럽게 흐르는 강을 오직 제한된 수의 디딤돌만을 사용하여 묘사하려고 노력하는 것과 같습니다. 만약 단순히 수위를 가장 가까운 돌로 반올림한다면, 흐름의 미세한 변화를 놓치게 될 것입니다. 새로운 방법은 매끄러운 데이터를 이러한 디딤돌 형태로 변환할 때 아주 작은 양의 제어된 무작위성을 추가합니다. 이 무작위성은 데이터가 범주로 단순화되더라도 평균적으로 정보가 보존되도록 보장합니다. 또한, 이 모델은 이러한 범주들이 단순히 무작위적인 라벨이 아니라 순서가 있다는 점을 이해합니다. 현재 값보다 약간 높은 값이 터무니없이 다른 값보다 더 정답일 가능성이 높다는 것입니다. 모델이 이 순서를 존중하도록 가르침으로써, 시스템은 원래 데이터의 매끄러운 흐름을 높은 정밀도로 재구성할 수 있습니다.

이 접근 방식의 결과는 놀랍습니다. 연구진은 전력 소비, 기상 패턴, 병원 환자 기록을 포함한 다양한 실제 데이터 세트를 대상으로 모델을 테스트했습니다. 모든 경우에서, 이 새로운 모델은 기존의 최첨단 방식들을 능가하는 성능을 보여주었습니다. 특히 센서가 장기간 고장 나는 경우와 같이 대규모의 데이터가 누락되었을 때 매우 효과적이었습니다. 다른 모델들이 누락된 값을 추측하는 데 어려움을 겪었던 이러한 까다로운 시나리오에서도, 이 새로운 시스템은 정확도를 유지했습니다. 또한 훨씬 더 빨라졌는데, 기존의 유사한 방식들이 몇 분 또는 몇 시간씩 걸렸던 계산을 단 몇 초 만에 완료했습니다.

이 연구는 누락된 시계열 데이터를 단순히 정화해야 할 노이즈 신호가 아니라, 해결해야 할 구조화된 퍼즐로 취급하는 것이 더 나은 결과를 가져온다는 것을 확인시켜 줍니다. 마스크드 언어 모델의 논리를 정교한 수치 처리 방식과 결합함으로써, 연구진은 더 정확하고 효율적인 도구를 만들어냈습니다. 이 작업은 데이터 분석의 미래가 언어 처리와 같은 한 분야의 기술을 다른 분야의 깊은 문제를 해결하기 위해 적응시키는 데 있을 수 있음을 시사하며, 단 이는 근본적인 차이점이 신중하게 가교되어야 한다는 전제가 따릅니다. 이 모델은 단순히 빈칸을 채우는 것이 아니라, 이전에는 도달할 수 없었던 명확함으로 데이터의 이야기를 재구성합니다.

기술 요약: 마스크드 확산 시계열 임퓨테이션 모델 (MDTIM)

문제 정의

시계열 임퓨테이션(결측치 보간)은 신뢰할 수 있는 분석을 위해 필수적이지만, 실제 세계의 데이터는 센서 고장이나 전송 오류로 인해 결측값이 발생하는 경우가 많습니다. 본 논문은 기존 접근 방식의 두 가지 주요 한계를 식별합니다:

표현 불일치 (Representation Misalignment): Transformer 기반 판별 모델과 연속 확산 모델을 포함한 현재의 방법들은 결측값과 관측값을 동일한 데이터 매니폴드 내에 임베딩합니다. 어텐션 마스크를 사용하더라도, 플레이스홀더 값(예: 0)이 유효한 관측값과 동일한 임베딩 공간을 점유하게 되어 잠재적인 허위 상관관계를 유발할 수 있습니다.
목적 불일치 (Objective Misalignment): 연속 확산 모델(예: CSDI)은 일반적으로 데이터에 추가된 가우시안 노이즈를 예측하도록 학습되며, 원래의 신호 자체를 예측하도록 설계되지 않았습니다. 이러한 간접적인 목적 함수는 원래 값을 직접 복구하는 것을 명시적인 목표로 하는 작업에는 최적화되지 않은 방식입니다.

또한, 마스크드 확산 모델(MDM)은 자연어 처리(NLP)에서 구조적으로 누락된 토큰을 ([MASK] 심볼을 통해) 분리하고 원래 값을 직접 예측함으로써 유망한 성과를 보여주었으나, 이를 시계열 데이터에 적용하는 것은 까ቀ롭습니다. 시계열 데이터는 본질적으로 연속적이고 서수적(ordinal)인 반면, 언어 토큰은 이산적이고 범주적이기 때문입니다. 단순한 양자화(quantization)는 서수적 관계를 끊고 미세한 정보를 손실시킵니다.

방법론

저자들은 **마스크드 확산 시계열 임퓨테이션 모델 (MDTIM)**을 제안하며, 이는 이산 마스크드 확산과 연속 시계열 모델링 사이의 간극을 메우는 프레임워크입니다. 핵심 구성 요소는 다음과 같습니다:

1. 확률적 이산화 (Stochastic Discretization)

연속적인 시계열 데이터를 정보 손실 없이 이산 토큰 공간 내에서 처리하기 위해, 저자들은 확률적 토큰화 파이프라인을 도입했습니다:

인스턴스 적응형 정규화 (Instance-Adaptive Normalization): 데이터 누수를 방지하기 위해 관측된 값들로부터 계산된 통계치를 사용하여 입력 윈도우를 정규화합니다.
확률적 토큰 생성 (Stochastic Token Generation): 정규화된 값들을 크기 $K$ 인 이산 그리드에 투영합니다. 가장 가까운 정수로 반올림하기 전에 균등 노이즈 $\epsilon \sim U(-0.5, 0.5)$ 를 주입합니다. 이는 기대값( $E[z] \approx x$ )이 연속적인 입력값과 일치하도록 보장하여, 정보의 기댓값을 보존하고 모델이 고정된 그리드 해상도를 넘어 역동성을 학습할 수 있게 합니다.

2. 서수 인지 소프트 라벨링 (Ordinal-Aware Soft Labeling)

표준 분류 방식은 토큰을 독립적인 클래스로 취급하여 서수적 특성(예: 토큰 $k$ 는 $k+1$ 에 가깝고 $k+10$ 과는 멀다)을 무시합니다. MDTIM은 서수 인지 소프트 라벨링을 채택합니다:

원-핫 타겟 대신, 모델은 정답 토큰을 중심으로 하는 절단된 가우시안 커널(truncated Gaussian kernel)에서 유도된 소프트 타겟 분포로 학습됩니다.
이는 인접한 토큰에 더 높은 확률을 할당하여 연속성을 강제합니다. 결정적으로, [MASK] 토큰은 타겟 분포에서 0의 확률을 갖도록 설정되어, 결측 상태와 관측 상태 사이의 구조적 분리를 유지합니다.

3. 모델 아키텍처 및 학습

백본 (Backbone): 확산 트랜스포머(DiT)를 기반으로 한 인수형 시간-변수 트랜스포머(Factorized Temporal-Variate Transformer)입니다. 이는 시간( $T$ ) 축과 특징( $C$ ) 축을 교차 배치된 블록을 통해 처리하여, 시간적 의존성과 변수 간 상관관계를 모두 포착합니다.
학습 목적 함수: 모델은 다음의 듀얼 도메인 손실을 최소화합니다:
- 서수 인지 마스크드 확산 손실 (Ordinal-Aware Masked Diffusion Loss): 위에서 설명한 소프트 라벨을 사용하는 가중치 적용 교차 엔트로피 손실로, MDLM의 연속 시간 학습 패러다임을 따릅니다.
- 스펙트럼 일관성 정규화 (Spectral Consistency Regularization): 재구성된 시퀀스의 고속 푸리에 변환(FFT)과 실제 값 사이의 $L_1$ 거리를 최소화하는 보조 손실로, 전역적인 시간적 일관성을 보장합니다.
연속적 재구성 (Continuous Reconstruction): 추론 과정에서 모델은 이산 토큰에 대한 확률 분포를 생성합니다. 최종적인 연속 값은 예측된 분포의 확률 가중치 기대값(Expectation-based Unmasking)을 계산한 후, 역정규화(denormalization)를 통해 복구됩니다.

주요 기여

시계열을 위한 마스크드 확산 프레임워크: 결측 표현과 관측 표현 사이의 명시적인 구조적 분리를 제공하는, 시계열 임퓨테이션을 위한 마스크드 확산 패러다임의 첫 번째 적용입니다.
새로운 양자화 파이프라인: 정보 손실 없이 범주형 토큰 공간 내에서 서수적 관계와 연속적 역동성을 보존하는 확률적 이산화 및 서수 인지 소프트 라벨링의 도입입니다.
정밀한 재구성 전략: 연속 시계열의 정밀한 재구성을 가능하게 하는 기대값 기반 언마스킹(Expectation-based Unmasking) 전략과 스펙트럼 일관성 정규화의 활용입니다.

실험 결과

저자들은 Energy, ETTh, Weather, 그리고 합성 데이터인 Sine 데이터셋에 대해 다양한 결측 패턴(Uniform 및 Geometric)과 비율(30%, 50%, 70%) 하에서 MDTIM을 평가했습니다.

임퓨테이션 정확도: MDTIM은 RNN(BRITS, GRU-D), Transformer(SAUT, PatchTST), 생성 모델(CSDI, GP-VAE)을 포함한 19개의 베이스라인과 비교하여 실제 데이터셋(Energy, ETTh, Weather) 전반에서 지속적으로 가장 낮은 평균 절대 오차(MAE)를 달eu었습니다.
강건성: MDTIM은 많은 베이스라인 모델들이 성능이 크게 저하되는 기하학적 마스킹(연속적인 결측값 발생) 상황에서도 우수한 강건성을 입증했습니다.
확장성: 성능 우위가 시퀀스 길이(최대 $L=192$ )에 따라 증가하였으며, 이는 어텐션 희석 없이 장기 의존성을 효과적으로 포착함을 나타냅니다.
확률적 품질: 연속 순위 확률 점수(CRPS) 측면에서, MDTIM은 확산 기반 베이스라인인 CSDI보다 뛰어난 성능을 보이며 더 잘 보정된 불확실성 추정치를 제공했습니다.
효율성: MDTIM은 연속 확산 모델(예: CSDI)에 비해 추론 시간을 크게 단축하여, 대규모 모델에서 수 분이 걸리던 추론을 수 초 만에 완료하면서도 더 높은 정확도를 유지했습니다.
다운스트림 영향: 고정된 PatchTST 예측기에 전처리 단계로 사용되었을 때, MDTIM으로 임퓨테이션된 데이터는 다른 임퓨테이션 방법들에 비해 실질적으로 낮은 예측 오차를 기록했습니다.

의의 및 주장

본 논문은 MDTIM이 표현(orthogonal [MASK] 토큰을 통해)과 학습 목적(원래 값의 직접 예측) 모두를 임퓨테이션 작업과 일치시킴으로써, 기존 시계열 임퓨테이션 방법들의 근본적인 불일치 문제를 해결한다고 주장합니다.

저자들은 MDTIM이 이산 마스크드 확산과 연속 시계열 데이터 사이의 간극을 성공적으로 메웠다고 단언합니다. 확률적 이산화와 서수 인지 목적 함수를 활용함으로써, MDTIM은 다양한 결측 시나리오에서 최첨단(SOTA) 수준의 강건성과 확장성을 달성했습니다. 이 연구는 적절한 이산화 전략이 동반된다면, 이전에 이산 모달리티(NLP 등)에 국한되었던 마스크드 확산 패러다임이 연속 데이터에도 매우 효과적일 수 있음을 시사합니다.

논문은 한계점에 대해 다소 겸허한 태도를 유지하며, 최적의 어휘 사전(vocabulary) 크기가 데이터셋마다 다를 수 있다는 점, 스펙트럼 일관성 손실이 매우 불규칙한 신호(예: PhysioNet)에서는 효과가 덜할 수 있다는 점, 그리고 극도로 긴 시퀀스와 비정상성(non-stationary) 도메인으로 확장하기 위한 향후 연구가 필요하다는 점을 언급했습니다.