Identifiable Deep Latent Variable Models for MNAR Data

1. 연구 배경 및 문제 제기 (Problem)

• 결측 데이터의 보편성: 데이터 분석에서 결측치는 흔한 문제이며, 이를 처리하지 않으면 편향된 결과와 부정확한 추론을 초래합니다.
• 기존 방법의 한계 (MAR 가정): 전통적인 결측치 대체 (Imputation) 방법들은 대부분 결측 무작위성 (Missing-At-Random, MAR) 가정을 기반으로 합니다. 이는 결측 여부가 관측된 데이터에만 의존하고, 결측된 값 자체에는 의존하지 않는다는 가정입니다.
• 실제 상황 (MNAR): 현실 세계 (의료 기록, 설문 조사, 추천 시스템 등) 에서는 결측이 결측된 값 자체의 특성에 의존하는 결측 비무작위성 (Missing-Not-At-Random, MNAR) 경우가 빈번합니다.
• 심층 학습 모델의 식별성 (Identifiability) 문제: 최근 딥러닝 기반 생성 모델 (Deep Latent Variable Models, DLVMs) 이 MNAR 데이터를 처리하기 위해 제안되었으나, 이러한 모델들은 비모수적 식별성 (Nonparametric Identifiability) 문제를 간과하는 경우가 많습니다. MNAR 환경에서는 관측된 데이터 분포로부터 완전한 데이터 분포를 유일하게 복원할 수 없으므로 (식별 불가능), 모델이 여러 개의 다른 완전 데이터 분포를 학습할 수 있어 편향과 불일치가 발생할 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 MNAR 데이터에 대한 식별 가능한 심층 잠재 변수 모델 (IM-IWAE) 을 제안합니다.

A. 핵심 가정: 잠재 변수 조건부 자기 검열 없음 (Conditional No Self-Censoring)

기존의 '자기 검열 없음 (No Self-Censoring)' 가정을 확장하여, 잠재 변수 (Latent Variables) 가 주어졌을 때의 조건부 자기 검열 없음을 도입했습니다.

• 가정: 임의의 변수 $X_j$ 의 결측 지표 $R_j$ 는, 다른 모든 변수 $X_{-j}$ 와 잠재 변수 $\tilde{Z}$ 가 주어졌을 때, $X_j$ 자체와 다른 결측 지표 $R_{-j}$ 와 조건부 독립입니다.
  • 수식: $R_j \perp\!\!\!\perp (X_j, R_{-j}) \mid X_{-j}, \tilde{Z}$
• 의미: 결측 여부는 해당 변수의 값 자체에 직접 의존하지 않으며, 다른 관측된 변수들과 잠재 요인에 의해 설명된다는 것을 의미합니다. 이는 임상 시험에서 의사의 판단 (관측된 정보) 에 따라 검사가 생략되는 경우 등에 비유할 수 있습니다.

B. 모델 구조: IM-IWAE (Identifiable Missing-Not-At-Random Importance-Weighted Autoencoder)

• 데이터 생성 과정:
  1. 데이터 분포: 관측 데이터 $X$ 는 잠재 변수 $Z$ 를 통해 생성됩니다 ($p(x) = \int p(x|z)p(z)dz$).
  2. 결측 메커니즘: 결측 지표 $R$ 은 데이터 $X$ 와 별도의 잠재 변수 $\tilde{Z}$ 를 통해 생성됩니다 ($p(r|x) = \int p(r|x,\tilde{z})p(\tilde{z})d\tilde{z}$).
  3. 조건부 독립성: 제안된 가정에 따라 $R_j$ 는 $X_{-j}$ 와 $\tilde{Z}$ 에만 의존하도록 모델 구조가 설계되었습니다.
• 추론 알고리즘:
  • 관측 데이터의 로그 가능도 (Log-likelihood) 를 최대화하기 위해 중요도 가중 변분 추론 (Importance-Weighted Variational Inference, IWAE) 을 사용합니다.
  • 관측되지 않은 데이터와 잠재 변수에 대한 적분 문제를 해결하기 위해 몬테카를로 샘플링을 기반으로 한 하한선 (ELBO) 을 최적화합니다.
  • 인코더 (변분 분포) 와 디코더 (생성 분포) 는 심층 신경망 (DNN) 으로 구현됩니다.

3. 주요 기여 (Key Contributions)

1. 비모수적 식별성 확립 (Theoretical Identifiability):

   • 제안된 '잠재 변수 조건부 자기 검열 없음' 가정 하에서, MNAR 데이터의 완전한 데이터 분포가 비모수적으로 식별 가능 (Nonparametrically Identifiable) 함을 수학적으로 증명했습니다.
   • 이는 관측된 데이터 분포와 완전한 데이터 분포 사이에 1:1 대응이 성립함을 의미하며, 모델이 유일하고 편향 없는 분포를 학습할 수 있는 이론적 토대를 제공합니다.

2. 실용적인 알고리즘 개발 (IM-IWAE):

   • 이론적 식별성을 바탕으로, 실제 데이터에 적용 가능한 심층 잠재 변수 모델을 개발했습니다.
   • 이 모델은 참 데이터 분포에 대한 파라미터적 가정을 요구하지 않으면서도 점근적으로 완전 데이터 분포를 근사할 수 있습니다.
   • 결측치 대체 (Imputation) 와 합성 데이터 생성 (Data Generation) 을 동시에 수행할 수 있습니다.

3. 광범위한 실험적 검증:

   • 다양한 시뮬레이션 (저차원, 고차원, 블록 결측 등) 과 실제 데이터 (UCI, HIV, Yahoo! R3) 를 통해 기존 방법 (MICE, missForest, GINA, not-MIWAE) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 결과:

  • 대체 오차 (RMSE): 제안된 IM-IWAE 는 MAR 가정을 기반으로 한 전통적 방법 (MICE, missForest) 과 MNAR 을 가정하지만 식별성 문제가 있는 최신 딥러닝 방법 (GINA, not-MIWAE) 보다 낮은 RMSE 를 보였습니다.
  • 분포 복원: 생성된 데이터의 분포를 시각화하고 MMD (Maximum Mean Discrepancy) 를 측정한 결과, 제안 모델은 실제 완전 데이터 분포를 가장 정확하게 복원했습니다. 특히 GINA 는 데이터의 모드 (mode) 를 놓치는 경향이 있었습니다.
  • 고차원 및 블록 결측: 변수 수가 증가하거나 블록 단위로 결측이 발생하는 상황에서도 제안 모델은 안정적인 성능을 유지한 반면, 다른 MNAR 모델들은 성능이 급격히 저하되었습니다.
  • 모수 추정: 가우시안 혼합 모델의 평균 추정 실험에서 제안 모델은 참값에 수렴하는 반면, 다른 방법들은 편향을 보였습니다.

• 실제 데이터 분석:

  • UCI 데이터: 합성된 MNAR 결측치에 대해 제안 모델이 가장 낮은 대체 오차를 기록했습니다.
  • HIV 데이터 (Botswana): HAART 치료와 조산 간의 연관성을 분석할 때, 제안 모델은 완전 사례 분석 (Complete Case) 과 다른 결과를 보이며, AIPW 방법과 유사한 분포를 추정했습니다.
  • Yahoo! R3 (음악 평가): 98% 의 결측률을 가진 대규모 데이터에서, 제안 모델은 편향된 학습 데이터 분포에서 벗어나 실제 테스트 데이터 (MCAR) 분포에 더 가까운 합성 데이터를 생성했습니다.

5. 의의 및 결론 (Significance)

• 이론과 실용의 결합: MNAR 데이터 처리 분야에서 오랫동안 간과되어 온 '식별성 (Identifiability)' 문제를 딥러닝 모델에 체계적으로 통합한 최초의 시도 중 하나입니다.
• 편향 제거: 기존 딥러닝 기반 MNAR 모델들이 학습 과정에서 발생할 수 있는 모호성 (Ambiguity) 을 제거하여, 신뢰할 수 있는 통계적 추론과 데이터 생성을 가능하게 합니다.
• 강건성: 실제 데이터에서는 결측 메커니즘이 복잡하거나 명확하지 않을 수 있는데, 제안된 모델은 '자기 검열 없음' 가정이 완벽하게 성립하지 않더라도 (모델 오지정) 다른 방법들보다 강건한 성능을 보여주었습니다. 이는 데이터 변수 간의 상관관계가 모델의 가정을 완화하는 역할을 할 수 있음을 시사합니다.

이 논문은 MNAR 데이터를 다루는 딥러닝 기반 생성 모델의 이론적 기반을 다지고, 실제 응용 분야에서 더 정확하고 신뢰할 수 있는 결측치 대체 및 데이터 생성을 가능하게 하는 중요한 이정표로 평가됩니다.