🤖 machine learning

FADTI: Fourier and Attention Driven Diffusion for Multivariate Time Series Imputation

이 논문은 고율의 결측치와 분포 변화 상황에서도 일반화 성능을 향상시키기 위해, 학습 가능한 푸리에 편향 투영(Fourier Bias Projection) 모듈을 셀프 어텐션 및 게이트 컨볼루션과 결합하여 명시적인 주파수 영역의 귀납적 편향을 주입하는 확산 기반 다변량 시계열 결측치 보간 프레임워크인 FADTI를 소개한다.

원저자: Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 퍼즐을 완성하려고 노력 중이라고 상상해 보세요. 그런데 누군가가 그림의 거대한 조각들을 찢어버렸습니다. 어떤 부분은 무작위로 몇 조각이 빠져 있고(마치 흩어진 별들처럼), 또 어떤 경우에는 하늘 전체가 통째로 사라지기도 했습니다. 당신의 목표는 남겨진 단서들을 바탕으로 그 사라진 조각들이 원래 어떤 모습이었을지 추측하는 것입니다.

이것이 바로 FADTI가 하는 일입니다. 다만 퍼즐 대신, 데이터 스트림(기상 보고, 심박수, 교통 센서 등)에서 정보가 누락되었을 때 이를 복구하는 작업을 수행합니다.

이 논문은 이 해결책을 쉬운 용어로 다음과 같이 설명합니다.

문제점: "끊긴 레코드" 효과 (The "Broken Record" Effect)

대부분의 기존 컴퓨터 프로그램은 누락된 데이터를 채우기 위해 바로 옆에 있는 이웃 데이터를 확인합니다. 이는 문장에서 다음 단어를 맞추기 위해 바로 앞의 단어만 보는 것과 같습니다.

문제점: 만약 센서가 오랫동안 고장 난다면("긴 공백"이 발생하면), 이러한 프로그램들은 혼란에 빠집니다. 이들은 종종 빈 공간을 평평한 직선이나 무작위한 추측으로 채우려 하며, 이는 데이터의 자연스러운 리듬을 망가뜨립니다.
주파수 문제: 일부 프로그램은 데이터의 "음악"(패턴과 주기)을 분석하려고 시도합니다. 하지만 음악 중간중간에 거대한 침묵 구간이 있는 노래를 분석하려고 하면 컴퓨터는 혼란을 겪습니다. 컴퓨터는 그 침묵을 노래의 일부라고 착각하여, 왜곡되고 노이즈가 섞인 소리를 만들어냅니다.

해결책: FADTI (The "Musical Architect")

저자들은 FADTI(Fourier and Attention Driven Diffusion)라는 새로운 시스템을 구축했습니다. 이것은 단순히 구멍 옆의 벽돌을 보는 것이 아니라, 건물이 불러야 할 전체 노래를 듣는 똑똑한 건축가와 같습니다.

FADTI가 사용하는 세 가지 주요 기술은 다음과 같습니다.

1. "유령의 귀" (Fourier Bias Projection)

이것은 이 논문의 가장 큰 혁신입니다.

작동 원原理: 데이터를 직접 분석하여 왜곡을 일으키는 대신, FADTI는 깨끗한 부분의 데이터를 분석하여 전체 이야기의 "리듬" 또는 "주파수"를 학습합니다.
비유: 당신이 노래를 완성하려고 하는데 중간에 마이크가 고장 났다고 상상해 보세요. 일반적인 컴퓨터는 침묵을 보고 다음 음표를 추측하려 합니다. 하지만 FADTI는 노래의 나머지 부분을 들어서 멜로디의 "형태"를 이해합니다. 그런 다음 그 "형태"(주파수 편향)를 가이드로서 누락된 부분에 투영합니다. 이는 컴퓨터에게 이렇게 말하는 것과 같습니다: "그냥 짐작하지 마. 이 노래는 보통 부드러운 파동처럼 위아래로 움직이니까, 그 파동에 맞춰서 빈 공간을 채워."
도구: 이 리듬을 듣기 위해 세 가지 다른 "귀"를 사용합니다:
- DFT: 노래 전체를 한꺼번에 듣습니다 (일정한 리듬에 적합).
- STFT: 짧은 클립 단위로 노래를 듣습니다 (시간에 따라 변하는 리듬에 적합).
- FrSST: 다른 귀들이 놓칠 수 있는 복잡하고 흔들리는 리듬까지 들을 수 있는 매우 날카로운 귀입니다.

2. "어텐션 팀" (Self-Attention)

"유령의 귀"가 리듬을 다룬다면, FADTI는 **어텐션 메커니즘(Attention Mechanism)**도 함께 사용합니다.

비유: 탐정 팀을 상상해 보세요. 어떤 탐정은 타임라인(어제와 오늘의 관계)을 보고, 다른 탐정은 서로 다른 변수 간의 관계(예: 온도가 올라가면 습도는 내려가는가?)를 봅니다.
FADTI는 이 탐정들을 결합합니다. 장기적인 역사와 여러 센서 간의 관계를 동시에 살펴보고 스마트한 추측을 내놓습니다.

3. "노이즈 제거 조각가" (Diffusion Model)

마지막으로, FADTI는 **디퓨전 모델(Diffusion Model)**을 사용합니다.

비유: 노이즈와 정전기가 가득한 찰흙 덩어리에서 시작하는 조각가를 상상해 보세요. 조각가는 최종 형태를 즉시 깎아내는 것이 아닙니다. 대신, 단계적으로 노이즈를 조금씩 깎아내며 조각상이 선명하게 드러날 때까지 형태를 다듬어 나갑니다.
FADTI는 누락된 데이터에 대한 무작위 추측에서 시작하여, 리듬 가이드(1단계)와 탐정의 단서(2단계)를 사용하여 단계적으로 "노이즈를 제거(denoise)"하며 가장 정확한 형태를 깎아 나갑니다.

왜 더 나은가 (결과)

논문은 에너지 데이터, 기상 데이터, 교통 데이터, 효모 데이터(세포 성장을 추적하는 새로운 생물학적 데이터셋)를 포함한 여러 실제 데이터셋에서 FADTI를 테스트했습니다.

발견된 사실:

정확도: FADTI는 특히 데이터의 큰 부분(최대 50%의 데이터가 사라진 경우)이 누락되었을 때도 다른 어떤 방법보다 정확하게 빈 부분을 채웠습니다.
혼돈 처리: FFA는 "비정상성(non-stationary)" 데이터—즉, 시간이 지남에 따라 리듬이 변하는 데이터(심박수가 빨라지거나 폭풍의 방향이 바뀌는 것과 같은 데이터)—를 처리하는 데 특히 뛰어났습니다.
효율성: 복잡한 수학 연산을 수행함에도 불구하고, 이전 방식들보다 더 적은 "추측(샘플)"만으로도 고품질의 결과를 생성할 수 있어 실무에서 더 빠르게 작동합니다.

요약

요약하자면, FADTI는 깨진 데이터를 복구하는 새로운 방법입니다. 단순히 주변 데이터를 보거나 침묵 때문에 혼란을 겪는 대신, 데이터셋 전체의 "음악"을 들어서 근본적인 리듬을 이해합니다. 그런 다음 그 리듬을 사용하여 단계별 조각 과정을 안내함으로써, 나머지 이야기와 완벽하게 어우러지는 형태로 빈 공간을 채웁니다.

기술 요약: FADTI – 다변량 시계열 임퓨테이션을 위한 푸리에 및 어텐션 기반 확산 모델

1. 문제 정의

다변량 시계열 임퓨테이션(Multivariate Time Series Imputation, MTSI)은 의료, 교통 예측, 생물학적 모델링 등의 분야에서 빈번하게 발생하는 결측치 문제를 다룹니다. 이러한 공백은 센서 오류, 통신 손실, 불규칙한 샘플링 등으로 인해 발생합니다. 기존의 방법들, 특히 트랜스포머 기반 모델(예: SAITS)과 확산 기반 모델(예: CSDI)은 시계열 의존성 모델링과 불확실성 추정 능력을 개선해 왔으나, **주파수 왜곡(frequency distortion)**이라는 결정적인 한계에 직면해 있습니다.

현재의 접근 방식들은 주로 시간 영역(time-domain) 모델링에 크게 의존합니다. 마스킹되거나 0으로 채워진 입력값에 주파수 영역 기술을 직접 적용할 경우, 결측 위치가 실제 신호 값인 것처럼 취급됩니다. 이러한 나이브한 투영(naive projection)은 추정된 스펙트럼을 왜곡하며, 이로 인해 주파수 특징이 기저의 시간적 역동성이 아닌 결측으로 인한 아티팩트에 의해 지배되게 만듭니다. 결과적으로, 심각한 희소성(sparsity) 상황에서 장기적인 주기적 패턴이나 구조화된 시간적 공백을 복구하는 것은 여전히 어려운 과제로 남아 있습니다.

2. 방법론: FADTI 프레임워크

저자들은 손상된 입력으로부터 직접 스펙트럼을 추정하지 않고도 디노이징 과정에 주파수 영역의 귀납적 편향(inductive bias)을 통합하도록 설계된 조건부 확산 프레임워크인 FADTI(Fourier and Attention Driven Diffusion)를 제안합니다.

핵심 아키텍처

FADTI는 관측된 값( $x^{co}_0$ )과 관측 마스크( $m$ )에 조건화된 역과정(reverse process)을 따르는 조건부 확산 파이프라인을 따릅니다. 디노이징 네트워크는 세 가지 핵심 구성 요소를 결합한 스택형 잔차 블록(stacked residual blocks)으로 구성됩니다:

시계열-주파수 모델링(Temporal-Frequency Modeling): 핵심 혁신 요소인 푸리에 편향 투영(Fourier Bias Projection, FBP) 모듈입니다.
특징 어텐션(Feature Attention): 변수 간의 상호 의존성을 포착합니다.
게이트 필터링(Gated Filtering): 잔차 표현을 효율적으로 업데이트합니다.

푸리에 편향 투영(FBP) 모듈

마스킹된 입력에 대한 직접적인 푸리에 투영과 달리, FBP는 디노이징 네트워크의 중간 은닉 상태(intermediate hidden states)에 **학습 가능한 주파수 인식 편향(learnable frequency-aware bias)**을 주입합니다. 프로세스는 다음과 같이 작동합니다:

분해(Decomposition): 중간 은율 상태( $H$ )는 1D 평균 풀링을 사용하여 매끄러운 추세( $H_{trend}$ )와 고주파 잔차( $H_{res}$ )로 분리됩니다.
스펙트럼 변환(Spectral Transformation): 이러한 구성 요소에 채널별로 스펙트럼 연산자 $F_\nu(\cdot)$ $F_{ν} (\cdot)$ 가 적용됩니다. 논문에서는 다음 세 가지 변환을 구현하여 제시합니다:
- DFT (이산 푸리에 변환): 전역적 주기성과 안정적인 추세를 포착합니다.
- STFT (단시간 푸리에 변환): 국소적이고 시간에 따라 변하는 주파수 패턴을 포착합니다.
- FrSST (싱크로스퀴징 기반 단시간 분수 푸리에 변환): 비정상(non-stationary) 시계열-주파수 구조를 선명하게 만듭니다.
편향 주입(Bias Injection): 복소수 스펙트럼 계수는 크기와 위상 정보를 유지하기 위해 고정된 코사인 및 사인 기저(basis)로 투영됩니다. 이들은 다시 시간적 특징 공간으로 매핑되어 학습 가능한 편향( $H_{freq}$ )을 형성합니다.
통합(Integration): 이 주파수 인식 편향은 원래의 특징과 융합되어 시간적 셀프 어텐션 또는 게이트형 팽창 컨볼루션(gated dilated convolutions)에 전달되며, 네트워크가 매끄러운 추세와 주기적 구조를 보존하도록 유도합니다.

훈련 및 추론

훈련(Training): 모델은 마스크된 디노이징 스코어 매칭 목적 함수를 사용하여 훈련됩니다. 조건부 마스크( $M^{co}$ )는 관측 마스크로부터 샘플링되어 모델에 값을 드러내는 역할을 하며, 타겟 마스크( $M^{ta}$ )는 원래 관측된 값을 숨겨 감독(supervision)을 제공합니다. 손실(loss)은 감독된 타겟 엔트리에 대해서만 계산됩니다.
추론(Inference): 결측 항목은 가우시안 노이즈로 초기화됩니다. 모델은 고정된 관측값을 조건으로 하여 역 확산 과정을 반복적으로 적용함으로써 확률적 임퓨테이션을 생성합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

FADTI 프레임워크: 구조화된 결측 패턴 문제를 해결하기 위해, 직접적인 스펙트럼 추정에 의존하지 않고 디노이징 과정에 주파수 영역의 귀납적 편향을 직접 통합하는 주파수 인식 조건부 확산 프레임워크를 제안합니다.
유연한 FBP 모듈: DFT, STFT, FrSST 구현을 지원하는 새로운 모듈입니다. 이를 통해 마스킹된 입력으로부터 오염된 스펙트럼에 의존하지 않고도 정적(stationary) 및 비정상(non-stationary) 시계열 구조를 적응적으로 모델링할 수 있습니다.
효율적인 시계열 모델링: 글로벌 어텐션 의존성을 보완하기 위해 경량화된 로컬 모델링 모듈(게이트 컨볼루션)을 도입하여 계산 오버헤드를 줄였습니다.
포괄적인 평가: 새롭게 도입된 생물학적 시계열 데이터셋(Yeast)을 포함한 다양한 벤치마크에서 광범위한 실험을 수행하여 정확도, 불확실성 추정 및 샘플링 효율성 측면에서 일관된 개선을 입증했습니다.

4. 실험 결과

저자들은 세 가지 실제 데이터셋인 ETT(에너지), Weather(기상학), Yeast(생물학)에 대해 10% 및 50% 결측률 조건에서 포인트 단위(point-wise) 및 타임 단위(time-wise) 결측 패턴 모두에 대해 FADTI를 평가했습니다.

정확도 (MAE): FADT는 대부분의 설정에서 가장 낮은 평균 절대 오차(MAE)를 달 기록했습니다. 특히, 높은 결측률(50%)과 Yeast 데이터셋에서 CSDI, MTSCI, SAITS와 같은 베이스라인 모델들에 비해 유의미한 성능 향상을 보였습니다.
불확실성 (CRPS): FADTI는 우수한 교정(calibration) 및 샤프니스(sharpness)를 보여주었으며, 대부분의 경우 가장 낮은 연속 순위 확률 적분(CRPS)을 달성하여 더 나은 확률적 품질을 입증했습니다.
강건성 (Robustness): FADTI는 많은 베이스라인 모델들이 성능이 급격히 저하되는 타임 단위 결측 패턴(연속된 공백) 상황에서도 강력한 성능을 유지했습니다.
샘플링 효율성: FADTI는 CSDI 및 MTSCI와 비교했을 때 더 적은 생성 샘플 수( $K$ )로도 더 높은 정확도와 CRPS를 달성했습니다. 예를 들어, ETT 데이터셋에서 $K=2$ 일 때의 FADTI는 $K=28$ 일 때의 CSDI 및 MTSCI보다 뛰어난 성능을 보였습니다.
절제 연구 (Ablation Studies):
- FBP를 제거했을 때(단순 역투영 사용) 성능 저하가 발생하여, 편향을 주파수 투영과 결합하는 것이 매우 중요하다는 점이 확인되었습니다.
- DFT 기반 변형 모델은 규칙적인 패턴(ETT, Weather)에서 가장 좋은 성능을 보였고, 국소적 스펙트럼 분석이 필요한 타임 단위 결측 공백 상황에서는 STFT 및 FrSST 변형 모델이 더 경쟁력이 있었습니다.
제로샷 예측 (Zero-Shot Forecasting): Yeast 데이터셋에 대한 제로샷 임퓨테이션-투-포캐스팅 실험에서, FADTI는 결정론적 베이스라인 및 확산 기반 모델인 MTSCI를 능가하며 강력한 외삽(extrapolation) 능력을 보여주었습니다.

5. 의의 및 주장

본 논문은 FADTI가 주파수 영역 신호 처리와 생성적 확산 모델 사이의 간극을 메움으로써 중요한 진전을 이루었다고 주장합니다. 그 의의는 다음과 같습니다:

주파수 왜곡 해결: 원시 마스킹 입력이 아닌 중간 은닉 상태를 투영함으로써, FADTI는 나이브한 주파수 기반 접근 방식이 겪는 스펙트럼 아티팩트를 방지합니다.
비정상성 처리: FrSFT의 포함은 모델이 비정상적 진동 패턴을 포착할 수 있게 하며, 이는 MTSI 문헌에서 보기 드문 능력입니다.
희소 영역에서의 강건성: 본 프레임워크는 실제 센서 데이터에서 흔히 발생하는 높은 결측률 및 불규칙한 결측 패턴 하에서 특히 효과적입니다.
일반화 가능성: Yeast 데이터셋의 도입과 성공적인 제로샷 예측 결과는 모델의 적용 범위가 표준적인 임퓨테이션 작업을 넘어 복잡하고 비정상적인 생물학적 환경까지 확장될 수 있음을 시사합니다.

저자들은 FADTI가 최첨단(SOTA) 성능을 달성했으나, 향후 연구에서는 불규칙한 시간 그리드와 적응형 스펙트럼 변환으로 프레임워크를 확장하는 데 집중할 것이라고 결론지었습니다.