Informative Missingness to Generate Irregular Clinical Time Series

기술 요약: 불규칙한 임상 시계열 생성을 위한 정보성 결측(Informative Missingness) 연구

문제 정의
전자 건강 기록(EHR) 내의 실험실 검사 데이터는 불규칙하게 수집되며, 검사 주문의 부재는 측정값 자체만큼이나 많은 정보를 담고 있다. 이러한 "정보성 결측(informative missingness)"은 임상의의 결정과 환자의 생리학적 상태를 반영하며, 특히 결측 여부가 관찰되지 않았거나 부분적으로 관찰된 임상 상태에 의존하는 결측 불특정(Missing-Not-At-Random, MNAR) 환경에서 두드러진다. 기존의 생성 모델링 방식은 결측을 단순히 보간(imputation)해야 할 전처리 단계의 부산물로 취급하거나, 혹은 규칙적인 신호(예: 활력 징후)에 집중하는 경향이 있어, 실험실 수치와 관찰 패턴(샘플링 버스트 및 타이밍) 사이의 결합된 분포를 포착하는 데 실패한다. 결과적으로, 표준적인 보간 벤치마크는 생성 모델이 환자의 생리학과 임상 테스트 행위 사이의 복잡한 결합 관계를 재현할 수 있는지 여부를 반드시 검증해주지는 못한다.

방법론
저자들은 연속적인 실험실 수치와 이산적인 결측 패턴을 동시에 모델링하기 위해 TimeDiff 아키텍처를 변형한 확산 기반(diffusion-based) 프레임워크를 제안한다.

• 데이터셋: 본 연구는 MIMIC-III에서 파생된 DACMI(Data Analytics Challenge on Missing data Imputation) 벤치마크를 활용한다. 이 데이터셋은 13가지의 흔한 혈액 실험실 변수를 포함한다. 저자들은 각 타임스텝이 연속적인 실험실 수치와 이진 결측 마스크(관측됨은 0, 결측됨은 1)를 포함하는 쌍(paired) 표현을 구축하였다.
• 전처리:
  • 시간적 정렬(Temporal Alignment): 인위적인 결측을 최소화하기 위해 차트 시간을 4시간 간격으로 이산화하였다.
    এটি 인위적인 결측을 최소화하기 위해 차트 시간을 4시간 간격으로 이산화하였다.
  • 윈도잉(Windowing): 입원 기록을 중복되지 않는 7일 단위의 윈도우(42개 타임스텝)로 분할하였다. 7일을 초과하는 입원 기록은 연속적인 윈도우로 나누었다.
  • 정규화(Normalization): 가우시안 분포에 근사하도록 특징값들에 로그 또는 Box-Cox 변환을 적용한 후 z-score 표준화를 수행하였다.
  • 입력 표현: 모델의 입력은 26개 채널로 구성된다: 13개의 표준화된 실험실 수치와 13개의 이진 마스크.
  • 델타 컨디셔닝(Delta Conditioning): 관측의 최신성을 인코딩하기 위해 델타 컨디셔닝 텐서를 도입하였다. 각 실험실 항목과 시간 인덱스에 대해, 이 값은 가장 최근의 관측으로부터 경과된 스텝 수를 나타내며 $[0, 1)$ 범위로 정규화된다. 이 보조 컨텍스트는 최종 생성 출력의 일부는 아니지만 디노이징 네트워크를 가이드한다.
• 모델 아키텍처 및 학습:
  • 이 접근 방식은 상보적인 확산 목적 함수를 통해 혼합된 연속형(가우시안) 및 이산형(이진) 변수를 처리할 수 있도록 TimeDiff를 확장한다.
  • 손실 함수 수정: 수치적(가우시안) 손실은 실제로 결측된 실험실 값을 제외하도록 수정하여, 결측을 노이즈가 섞인 값이 아닌 '부재(absence)'로 취급하였다.
  • 최적화: Adam 옵티마이저를 사용하여 200,000 스텝 동안 학습되었다. 이산 결측 손실과 연속형 수치 손실 사이의 균형을 맞추기 위해 가중치 계수($\lambda = 10^{-5}$)가 적용되었다.
  • 샘플링: 무작위 노이즈를 반복적으로 디노이징하여 16,000개의 합성 윈도우를 생성하였다.

주요 기여

1. 결합 생성 파이프라인: 불규칙한 실험실 데이터와 정보성 결측을 타겟으로 하여, 실험실 수치와 관찰 지표를 동시에 생성함으로써 다운스트림 추론을 지원하는 확산 기반 프레임워크를 제안한다.
2. 손실 함수 적응: 결측을 부재로 명시적으로 모델링하여 재구성 오차에서 제외함으로써, 수치적 재구성을 위해 TimeDiff의 수치적 손실을 수정하였다.
3. MNAR 보존 프로토콜: 샘플링 빈도가 임상적 결정(MNAR 구조)을 반영하도록 설계된 실용적인 전처리 및 윈도잉 전략을 제시한다.
4. 포괄적 평가: 생리학적 측면과 샘플링 행위 모두에서의 현실성을 평가하기 위해 단변량 분포, 수치와 마스크의 결합 임베딩, 그리고 궤적 유사성 지표(EMD 및 DTW)를 활용한 평가 전략을 사용한다.

결과

• 단변량 분포: 합성 데이터는 개별 실험실 분포에 대해 실제 환자 궤적과 밀접하게 일치하였다. 예를 들어, 헤모글로빈(Hemoglobin)의 합성 밀도는 주요 모드(mode)와 상위 꼬리 부분에서 실제 히스토그램과 잘 일치하였으며, 백혈구(White Blood Cells) 수치(고도로 오른쪽으로 치우친 분포) 또한 고밀도 영역과 꼬리 프로파일이 잘 보존되었다.
• 결합 임베딩: 모든 26개 채널(13개 수치 + 13개 마스크)에 대해 DTW 거리를 적용한 UMAP을 사용했을 때, 합성 데이터와 실제 데이터 분포는 상당한 중첩을 보였으며, 이는 범위를 벗어난 사례 없이 고품질의 생성이 이루어졌음을 나타낸다.
• 정량적 지표:
  • 델타 컨디셔닝: 델타 컨디셔닝을 활용한 모델은 그렇지 않은 모델에 비해 더 낮은 평균 Earth Mover's Distance(EMD) 및 DTW 점수를 달eric했으며, 이는 실제 데이터-실제 데이터 참조값에 더 가깝게 도달했음을 의미한다.
  • 결측 빈도: 모델이 결합 구조를 개선했음에도 불구하고, 합성된 결측 빈도는 실제 데이터보다 일관되게 낮게 나타났다(예: 실제 평균 결측률 0.79 대비 합성 0.74). 이는 모델이 여전히 관찰되지 않은 측정값의 빈도를 과소평가하고 있음을 시사한다.
• 궤적 유사성: 궤적에 대한 DTW 거리가 전반적으로 낮게 나타났는데, 이는 관찰된 시점에 한정했을 때 생성된 데이터의 시간적 역동성이 실제 데이터와 잘 일치함을 보여준다.

의의 및 주장
저자들은 본 연구를 임상 파운데이션 모델(Clinical Foundation Models) 개발을 위한 예비 단계로 규정한다. 저자들은 확산 모델이 생리학과 테스트 행위 사이의 임상적으로 유의미한 의존성을 포착함으로써, MNAR 형태의 결측이 존재하는 현실적인 합성 실험실 데이터를 생성하는 유망한 기초가 될 수 있다고 주장한다.

본 연구의 주요 의의는 핵심적인 생리학-결측 관계를 보존하는 **합성 사전 확률(Synthetic Priors)**을 생성할 수 있다는 점에 있다. 이러한 사전 확률은 분포 변화(distribution shifts)가 발생하는 상황에서의 보간 및 예측과 같은 다운스트림 작업에서 정보성 결측을 활용하기 위해, 향후 **사전 데이터 적합 네트워크(Prior-Data Fitted Networks)**를 훈련시키는 초기 구성 요소로 사용될 예정이다. 논문은 본 결과가 다운스트림의 임상적 유용성을 완전히 검증한 것이라기보다는, 결합된 프로세스를 포착할 수 있는 모델의 능력을 보여주는 예비적 증거임을 명시하고 있다.