Predicting missing values: A good idea?

기술 요약: 결측값 예측. 좋은 아이디어인가?

문제 제기
본 논문은 기계 학습 및 통계 분석 내 결측 데이터 처리에서 발생하는 심각한 단절을 다룹니다. 평균 제곱 오차 (MSE) 를 최소화하는 것은 점 추정치의 정확성을 우선시하는 대체제 평가의 지배적 기준이지만, 이 접근법은 하위 분석에 체계적인 편향을 도입합니다. 핵심 문제는 MSE 최적화 대체제가 본질적으로 조건부 평균 (평균) 이라는 점입니다. 이러한 결정론적 평균으로 결측값을 대체함으로써 데이터의 자연스러운 변동성이 인위적으로 축소됩니다. 이 축소는 분산, prevalence, 상관관계, 회귀 기울기, 설명된 분산 ($R^2$) 을 포함한 주요 통계 매개변수를 왜곡시켜, 후속 모델링에서 무효한 추론과 과도하게 자신감 있는 추정을 초래합니다.

방법론
저자는 다변량 정규 분포 설정 내에서 두 가지 대체 전략을 비교하기 위해 이론적 프레임워크와 시뮬레이션 연구를 활용합니다:

1. 예측 대체 (Predict): 이 방법은 관측된 예측변수를 기반으로 기대값 ($\hat{y}$) 을 대체함으로써 MSE 를 최소화합니다. 이는 결정론적이며 회귀 대체 또는 조건부 평균 대체에 해당합니다.
2. 확률적 대체 (Draw): 이 방법은 예측값에 무작위 잡음 ($\epsilon$) 을 추가하여 $\dot{y} = \hat{y} + \epsilon$이 되도록 합니다. 잡음은 대체 모델의 잔차 분포에서 추출됩니다. 이 접근법은 결측 데이터의 고유한 불확실성을 인정합니다.

본 연구는 "고신호"($R^2=0.8$) 와 "저신호"($R^2=0.2$) 데이터를 나타내는 합성 모집단을 가진 시뮬레이션 설정을 활용합니다. 결측은 완전 무작위 결측 (MCAR) 과 무작위 결측 (MAR) 의 두 가지 메커니즘을 통해 도입됩니다. 이러한 방법들의 성능은 MSE 로만 평가되는 것이 아니라, 대체된 변수가 예측변수와 결과변수 모두로 작용하는 회귀 모델에서 하위 매개변수 ($\mu, \sigma, P90, \rho, \gamma, R^2$) 에 미치는 영향으로 평가됩니다.

또한, 본 논문은 missForest, softImpute, mice라는 세 가지 인기 있는 소프트웨어 도구를 평가하여 그 기본 동작이 예측적 또는 확률적 패러다임과 일치하는지 확인합니다.

주요 결과

• 예측적 방법의 편향: "predict" 방법은 일관되게 표준 편차 ($\sigma$) 와 90 백분위수를 초과하는 사례의 비율 ($P90$) 을 감소시킵니다. 반면, 이는 상관관계 ($\rho$), 회귀 기울기 ($\delta$), 그리고 설명된 분산의 비율 ($R^2$) 을 과대평가합니다. 이러한 편향은 변수 간 관계가 약한 저신호 시나리오에서 가장 심각합니다.
• 확률적 방법의 타당성: 잡음을 포함하는 "draw" 방법은 분산, 상관관계, 기울기에 대한 추정치를 실제 모집단 매개변수와 밀접하게 일치시켜, 예측적 방법이 도입한 체계적 편향을 효과적으로 제거합니다.
• MSE 역설: "draw" 방법은 편향 없는 하위 추정치를 산출하지만, 그 결과 MSE 는 "predict" 방법보다 약 두 배 큽니다 ($MSE_{draw} \approx 2 \times MSE_{predict}$). MSE 만을 신뢰하는 것은 편향된 예측적 방법을 우월한 것으로 잘못 식별하게 됩니다.
• 소프트웨어 평가:
  • missForest는 예측적 방법과 유사하게 행동하여 상당한 편향을 도입합니다.
  • softImpute는 혼합된 결과를 보입니다. 고신호 설정에서는 분산에 대해 잘 수행되지만, 저신호 설정에서는 과도한 확산과 높은 MSE 를 보이며 여전히 설명된 분산을 과대평가합니다.
  • mice(기본 베이지안 프레임워크 사용) 는 데이터 변동성을 보존하면서 가장 정확한 하위 추정치를 생성합니다. 논문은 예측 평균 매칭을 사용할 때 mice 의 $P90$에 관한 사소한 문제를 지적하며, 이는 정규 대체로 전환함으로써 해결될 수 있다고 언급합니다.

주요 기여

1. 체계적 편향의 입증: 본 논문은 대체를 위한 MSE 최소화가 조건부 평균을 향해 데이터 분포를 압축함으로써 하위 통계적 속성을 체계적으로 왜곡한다는 경험적 증거를 제공합니다.
2. 해결책으로서의 잡음: 데이터의 자연스러운 변동성을 복원하고 편향 없는 하위 분석을 보장하는 간단하고 효과적인 메커니즘으로서 잡음 추가 (확률적 대체) 를 제안하고 검증합니다.
3. 평가 지표에 대한 비판: 이 연구는 기계 학습 커뮤니티가 대체 품질의 주요 지표로 MSE 에 의존하는 것을 도전하며, 이는 데이터 분포의 통계적 타당성보다 점 정확도를 우선시한다고 주장합니다.
4. 실용적 도구 평가: 널리 사용되는 대체 도구들의 비교 분석을 제공하여, 많은 인기 있는 "블랙박스" 방법 (missForest 등) 이 우연히 결정론적 대체의 편향을 영속화함을 강조합니다.

의의와 주장
본 논문은 결측값을 완벽하게 재현하는 것 (불가능함) 이 대체의 목표가 아니라, 유효하고 정보력 있는 하위 분석을 촉진하는 것이어야 한다고 주장합니다. 저자는 "결측값 예측"이 데이터 변동성을 보존하기 위해 잡음 추가를 수용하는 예측 과정을 수반할 때만 "좋은 아이디어"라고 주장합니다.

의의는 정확성(MSE 최소화) 에서 타당성(변동성 보존) 으로의 패러다임 전환에 있습니다. 논문은 잡음 포함이 분산, 상관관계, 기울기 추정치의 편향을 방지하는 데 필수적이라고 결론지었습니다. 잡음 추가가 MSE 를 증가시킨다는 점을 인정하면서도, 저자는 이것이 결측 데이터에 내재된 회피 불가능한 오차를 고려하기 위해 필요한 절충안이라고 주장합니다. 이 연구는 통계적 엄밀함과 실용적 유용성을 연결하여, 신뢰할 수 있는 추론이 필요한 시나리오에서 불완전한 데이터를 처리할 때 확률적 접근법이 우월함을 시사합니다.