기술적 요약: 결측치 보정에서의 분포 변화

문제 정의

본 논문은 결측치 보정의 근본적인 과제를 다루며, 특히 학습에 사용된 관측 데이터의 분포와 평가에 필요한 전체 데이터 분포 간의 불일치에 초점을 맞춥니다. 많은 최첨단 보정 방법들 (예: GAIN, MIWAE, MICE, MissForest) 은 위험 최소화 프레임워크 하에서 작동하지만, 결측 메커니즘으로 인해 발생하는 분포 변화 (distributional shift) 를 명시적으로 보정하지 않은 채 관측된 항목들로 학습하는 경향이 있습니다.

저자들은 전체 데이터 분포에 대한 평균 제곱 오차 (MSE) 위험을 최소화하는 문제로 문제를 형식화했습니다. 그들은 결측 확률이 데이터에 의존할 때 (특히 무작위 결측 (MAR) 가정 하에), 학습 분포 (관측 데이터) 와 목표 분포 (전체 데이터) 가 서로 다르다는 것을 증명합니다. 이는 관측 데이터에 대한 표준 경험적 위험 최소화가 전체 데이터 위험에 대한 편향된 추정치를 산출하는 공변량 변화 (covariate shift) 문제를 야기합니다.

방법론

이론적 기반

핵심 이론적 기여는 관측 데이터에 대한 중요도 가중 기대값 (importance-weighted expectation) 으로 보정 위험을 유도하는 것입니다.

• 위험 분해: 글로벌 MSE 위험은 좌표별 위험의 합으로 분해됩니다. 결측이 있는 특정 좌표 $i$에 대해 위험 $J_i(g_i)$는 관측되지 않은 하위 집단 ($R_i=0$) 에 대해 정의됩니다.
• 공변량 변화 연결: MAR 가정 ($p(r|x) = p(r|x_{obs})$) 과 오버랩 조건 하에서, 저자들은 관측되지 않은 하위 집단에 대한 위험을 중요도 인자로 가중치를 둔 관측된 하위 집단 ($R_i=1$) 에 대한 기대값으로 다시 쓸 수 있음을 보여줍니다:
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  이 가중치는 관측 그룹과 관측되지 않은 그룹 사이의 공변량 한계 분포의 변화를 보정합니다. 기존 방법들은 이러한 가중치 항을 암묵적으로 생략하여 실제로는 잘못된 분포를 최적화하는 것으로 나타났습니다.

제안된 알고리즘: 가중 반복 보정

이 이론을 실현하기 위해 저자들은 표준 라운드 로빈 반복 접근법 (예: MICE, HyperImpute) 을 확장한 가중 반복 보정 (Weighted Iterative Imputation) 알고리즘 (알고리즘 1) 을 제안합니다.

1. 반복 프레임워크: 이 알고리즘은 부분적으로 관측된 변수들을 순환합니다. 각 단계에서, 목표 변수에 대한 조건부 보정 모델 $g_i$를 다른 모든 변수의 현재 값을 예측 변수로 사용하여 적합시킵니다.
2. 대리 위험: 표준 재구성 손실을 최소화하는 대신, 이 알고리즘은 추정된 중요도 가중치를 통합한 대리 위험 (surrogate risk) 을 최소화합니다:
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. 가중치 추정: 실제 가중치는 알려지지 않은 분포에 의존하므로, 알고리즘 2 에서 각 반복마다 결측 확률 $p(R_i=1 | \hat{X}_{\neg i})$을 추정하기 위해 이진 분류 모델 (로지스틱 회귀) 을 사용하여 추정합니다. 그런 다음 가중치는 역확률 비율로 계산됩니다.
4. 실용적 안정화: 중요도 가중치와 관련된 높은 분산을 관리하기 위해 저자들은 여러 안정화 기법을 사용합니다:
   • 5 백분위수와 95 백분위수에서 가중치를 클리핑 (clipping).
   • 거의 0 인 분산을 가진 특성 제거.
   • 가중치의 영향을 조절하기 위해 온도 조절 매개변수 (tempering parameter) $\gamma$ (가중치가 $w_i^\gamma$가 됨) 도입 및 교차 검증을 통해 튜닝.
   • 계산 오버헤드를 줄이기 위한 $\gamma$ 튜닝을 위한 "웜 시작 (warm-starting)" 전략.

주요 기여

1. 이론적 형식화: 본 논문은 MAR 하의 보정이 공변량 변화 문제들의 집합과 동등함을 엄밀하게 입증하고, 관측 데이터 분포를 전체 데이터 분포와 정렬하기 위해 필요한 특정 중요도 가중치를 유도합니다.
2. 새로운 알고리즘: 이러한 중요도 가중치를 학습 목적 함수에 통합하여 분포 변화를 명시적으로 보정하는 실용적인 라운드 로빈 반복 알고리즘을 도입합니다.
3. 실증적 검증: 이 방법은 다양한 데이터셋 (표, 시계열, 이미지 데이터) 과 모델 클래스 (선형, 랜덤 포레스트, MLP) 에 걸쳐 가중치 없는 기준선 (동일한 조건부 모델 클래스 사용) 과 최첨단 방법들에 대해 벤치마크되었습니다.

실험 결과

저자들은 결측과 관측된 공변량 간의 의존성 강도가 다양한 MAR 조건을 시뮬레이션하여 여덟 개의 데이터셋에서 방법을 평가했습니다.

• 성능 향상: 가중치 접근법은 가중치 없는 기준선에 비해 루트 평균 제곱 오차 (RMSE) 와 와서슈타인 거리 (WD) 를 일관되게 감소시켰습니다.
  • RMSE 는 평균 3%, 와서슈타인 거리는 7% 감소.
  • 개선 효과는 단순한 모델 (선형) 과 강한 공변량 변화 (높은 MAR 의존성) 환경에서 가장 두드러졌습니다.
• 모델 표현력: 이론적 분석과 실증적 결과는 조건부 모델의 표현력이 증가할수록 (예: 랜덤 포레스트 및 MLP) 가중치의 이점이 감소함을 나타냅니다. 이는 편향 - 분산 트레이드오프에 기인합니다. 매우 표현력 있는 모델은 명시적 가중치 없이도 목표 함수를 잘 근사할 수 있는 반면, 단순한 모델은 보정에 더 크게 의존합니다.
• 하류 작업: 하류 회귀 및 분류 작업에서 가중치 보정은 일반적으로 예측 성능에 통계적으로 유의미한 개선을 이끌었으며, 특히 선형 모델과 보정되지 않은 기준선과 비교할 때 두드러졌습니다.
• 강건성: 이 방법은 MAR 가정 위반 (MNAR) 이나 가중치 모델 오명세가 발생하더라도 급격한 실패가 아닌 점진적인 성능 저하를 보였으며, 결측의 주요 원인이 관측 데이터에 포착되었다는 전제가 성립할 때 그러했습니다.
• 효율성: 계산 비용은 관리 가능한 수준이었으며, 복잡한 모델 (RF/MLP) 의 경우 실행 시간이 약 10% 만 증가했고, 특정 구현 세부 사항으로 인해 선형 모델의 경우 상당한 속도 향상을 보였습니다.

중요성과 주장

본 논문은 분포 변화가 위험 기반 보정에서 내재적이고 종종 간과되는 문제라고 주장합니다. 보정을 공변량 변화 문제로 프레임함으로써, 저자들은 중요도 가중치 사용에 대한 원칙적인 정당성을 제공합니다.

• 그 중요성은 관측 데이터 분포와 전체 데이터 분포 간의 변화를 명시적으로 고려함으로써 더 정확한 보정과 더 나은 기본 데이터 분포 보존 (정확도) 을 이끈다는 데 있습니다.
• 저자들은 기존 위험 최소화 프레임워크에 대한 필수적인 정련으로 자신의 작업을 위치시키며, 이러한 보정 없이는 보정 모델이 유효한 추론에 필요한 실제 데이터 분포가 아닌 관측 데이터 분포를 위해 최적화됨을 주장합니다.
• 본 논문은 한계에 대해 겸손하게 남아 있으며, 약한 MAR 환경이나 이미 오차율이 낮은 매우 표현력 있는 모델에서는 이 방법이 제한된 이점만 제공할 수 있으며, 성능은 가중치 추정의 품질에 의존함을 인정합니다.