기술 요약: Diff-Joint – 의미 있는 결측(Meaningful Missingness)을 위한 불확실성 인지형 확산 프레임워크

1. 문제 정의

표준적인 결측치 임퓨테이션(imputation) 방법들은 데이터셋의 모든 결측 항목이 반드시 복구되어야 하는 관측되지 않은 일반적인 값에 대응한다는 가정을 전제로 작동합니다. 그러나 많은 실제 시나리오에서 결측은 두 가지 뚜의 서로 다른 원인으로 발생합니다:

1. 의미 있는 결측 (Meaningfully Missing, MM): 본질적으로 부재하며 의미론적으로 유효한 항목 (예: 실업 상태인 응답자의 소득 항목에 대한 "N/A", 또는 임상 기록에서 처방되지 않은 검사 결과). 이를 일반적인 값으로 임퓨테이션하는 것은 데이터 분포를 왜곡하고 의미론적 정보를 제거합니다.
2. 관측 유도 결측 (Observation-Induced Missing): 관측 과정에서 발생한 결측 (예: 기록 오류, 데이터 전송 실패)이며, 임퓨테이션이 필요한 항목입니다.

핵심 과제는 이러한 두 가지 원인이 관측된 데이터에서는 직접적으로 라벨링되지 않는다는 점입니다. 두 경우 모두 동일한 결측 토큰(예: NA)으로 나타납니다. 기존 방법들은 모든 결측 항목을 복구 가능한 것으로 취급하여, 보존되어야 할 MM 항목과 임퓨테이션이 필요한 항목을 구분하지 못하는 한계가 있습니다. 본 논문은 이를 **선택적 임퓨테이션 문제(selective imputation problem)**로 공식화합니다. 즉, 목표는 어떤 결측 항목이 의미 있는 결측(보존되어야 함)인지, 그리고 어떤 항목이 관측 유도 결측(임퓨테이션되어야 함)인지를 공동으로 추론하는 것입니다.

2. 방법론: Diff-Joint

저자들은 표 형식의 데이터와 잠재적 결측 마스크를 공동으로 모델링하여 선택적 임퓨테이션을 수행하도록 설계된 확산 기반 프레임워크인 Diff-Joint를 제안합니다.

2.1 공동 확산 상태 (Joint Diffusion State)

이 방법은 다음과 같은 공동 확산 상태 $s = (x, c)$를 정의합니다:

• $x$는 완성된 표 형식의 값들을 나타냅니다.
• $c$는 어떤 항목이 의미 있는 결측($c_j=1$)인지, 혹은 관측 유도 결측($c_j=0$)인지를 나타내는 이진 마스크입니다.

2.2 반복적 정교화 프레임워크 (Iterative Refinement Framework)

Diff-Joint는 모델 학습과 잠재 상태 업데이트를 교대로 수행하는 반복 스킴으로 작동합니다:

1. 초기화: 관측된 결측 값을 무작위로 채워 초기 공동 상태를 생성하며, 이때 모든 결측 항목을 관측 유도 결측($c=0$)으로 간주합니다.
2. 모델 업데이트: 현재의 공동 상태 $\{(\hat{x}^{(t)}, \hat{c}^{(t)})\}$에 대해 확산 모델을 학습시켜, 데이터 값과 의미 있는 결측 패턴 사이의 의존성을 포착합니다.
3. 잠재 상태 업데이트 (조건부 샘플링 및 집계):
   • 샘플링: 관측된 데이터를 바탕으로, 공동 상태 $(x, c)$의 $K$개 조건부 샘플을 추출합니다.
   • 임퓨테이션 업데이트: 결측 항목에 대해, $K$개 샘플의 최빈값(이산형) 또는 평균(연속형)을 사용하여 값을 업데이트합니다.
   • 불확실성 인지형 집계: MM과 관측 유도 결측을 구분하기 위해, $K$개 샘플의 분산(연속형) 또는 엔트로피(이산형)를 기반으로 각 결측 항목에 대한 **불확실성 점수(uncertainty score)**를 계산합니다.
     • 가설: 관측 유도 결측 항목은 복구 가능한 일반적인 값에 해당하므로 낮은 불확실성(집중된 예측 분포)을 보이는 반면, 의미 있는 결측 항목은 단일한 일반 상태로 잘 설명되지 않아 높은 불확실성을 보일 것입니다.
   • 마스크 업데이트: 두 가지 신호를 결합하여 마스크 $\hat{c}$를 업데이트합니다:
     1. 불확실성 신호: 불확실성 점수가 높은 항목들을 클러스터링(k-means 활용)하여 잠재적 MM으로 플래그를 지정합니다.
     2. 샘플링된 마스크 신호: 샘플링된 마스크 $c^{(k)}$들의 다수결 투표를 사용합니다.
     3. 융합 규칙: 최종 마스크는 논리적 OR 연산을 사용하여 업데이트됩니다. 즉, 불확실성 패턴이나 샘플링된 마스크 중 어느 하나라도 MM 해석을 지지하면 해당 항목을 MM으로 분류합니다.

2.3 식별 가능성 (Identifiability)

본 논문은 관측된 데이터로부터 의미 있는 결측을 식별할 수 있는 조건(Proposition 3.1)을 확립하는 이론적 통찰을 제공합니다. 구체적으로, 관측 유도 결측 메커니즘이 알려져 있거나(예: 알려진 확률을 가진 MCAR), 데이터의 구조적 제약이 두 메커니즘의 분리를 허용하는 경우 식별 가능성이 성립합니다.

3. 주요 기여

1. 문제 공식화: 저자들은 표 형식 데이터에 대한 선택적 임퓨테이션 문제를 공식화하여, 의미 있는 결측(보존 대상)과 관측 유도 결측(임퓨테이션 대상)을 구분하였습니다.
2. Diff-Joint 프레임워크: 완성된 값과 의미 있는 결측 마스크를 공동으로 모델링하는 확산 기반 프레임워크를 도입했습니다. 이 방법은 조건부 샘플링과 불확실성 인지형 집계를 통해 임퓨테이션된 값과 MM 라벨을 반복적으로 정교화합니다.
3. 실증적 검증: 제안된 방법은 합성 Bayesian 네트워크 데이터셋과 실제 MIMIC-IV-ED 데이터셋을 통해 평가되었습니다. 실험 결과, Diff-Joint는 MM을 효과적으로 식별하는 동시에 경쟁력 있는 임퓨테이션 정확도를 유지하며 다운스트림 태스크 성능을 향상시킴을 입증했습니다.

4. 실험 결과

저자들은 Mean/Mode와 같은 단순 통계적 임퓨테이션, missForest와 같은 고전적 반복 방법, CACTI/CMAE와 같은 마스크드 오토인코더, 그리고 DiffPuter와 같은 확산 기반 임퓨테이션을 포함한 베이스라인들과 Diff-Joint를 비교 평가했습니다.

• 합성 데이터셋 (Bayesian Network):

  • MM 식별: Diff-Joint는 MM을 명시적으로 식별하는 유일한 방법입니다. 다양한 결측 비율(10%40%)에 걸쳐 높은 재현율(76.99%92.02%)을 달s성했습니다.
  • 임퓨테이션 정확도: Diff-Joint는 모든 비율에서 이산 변수에 대한 토큰 레벨 복구 정확도가 가장 높았습니다. 연속 변수의 경우, MM 식별과 값 복구라는 두 가지 목적 사이의 균형을 맞추며 경쟁력 있는 성능을 보였습니다.
  • 다운스트림 성능: 다중 클래스 분류 작업에서 Diff-Joint는 모든 베이스라인을 크게 앞질렀습니다(예: Macro-F1 기준, 차순위 모델의 약 46% 대비 75.54% 달성). 이는 MM 상태를 보존하는 것이 예측 효용을 높인다는 것을 보여줍니다.

• 실제 데이터셋 (MIMIC-IV-ED):

  • MM 식별: Diff-Joint는 임상 결과 변수에 도입된 합성 MM 라벨을 성공적으로 식별했습니다.
  • 임퓨테이션: 낮은 결측 비율에서 이산 토큰 레벨 복구에 대해 최고의 정확도를 보였으며, 연속형 임퓨테이션에서도 (최고 성능과 미미한 차이를 보이며) 매우 경쟁력 있는 성능을 유지했습니다.
  • 다운스트림 성능: Diff-Joint는 임상 결과(예: 위중 상태, ICU 전실)를 예측하는 데 있어 일관된 Macro-F1 및 ROC-AUC 상승을 보여주었으며, 특히 "의미 있는 결측" 신호를 보존하는 것이 중요한 중증 결과 예측에서 두드ert러졌습니다.

5. 의의 및 주장

본 논문은 Diff-Joint가 "적용되지 않아서 누락된 것"과 "기록되지 않아서 누락된 것"을 구분하지 못하는 기존 결측 처리 방식의 결정적 공백을 해결한다고 주장합니다.

• 의미론적 보존: "의미 있는 결측" 상태를 명시적으로 모델링함으로써, NA를 단순히 일반적인 값으로 잘못 임퓨테이션할 때 발생하는 데이터 분포의 왜곡을 방지합니다.
• 다운스트림 효용성: NA를 수정해야 할 오류가 아닌 유효한 의미론적 상태로 취급하는 것이, 특히 의료와 같은 고위험 분야에서 의사결정을 개선하는 예측 신호를 제공한다고 저자들은 주장합니다.
• 강건성: 이 방법은 다양한 결측 메커니즘(MCAR, MAR, MNAR)에 대해 강건하게 작동하며, 훈련 과정 중에 결측 유형에 대한 정답(ground-truth) 라벨을 필요로 하지 않습니다.

저자들은 한계점으로서, 이 프레임워크가 MM 후보 컬럼을 가정하고 있으며 식별 가능한 불확실성 격차에 의존한다는 점을 인정했습니다. 또한, 반복적인 확산 절차가 비반복적 베이스라인보다 계산 비용이 높지만, 이는 반복 횟수를 통해 조절 가능하다는 점도 언급했습니다. 향-후 연구로는 식별 가능성 조건을 완화하고 확장성을 개선하는 방향이 제시되었습니다.