기술 요약: 결측값 회피를 학습하는 예측 모델

문제 정의

머신러닝 모델을 실제 환경에 배포할 때, 특히 테스트 시점에 발생하는 결측값은 빈번하게 걸림돌이 됩니다. "임퓨테이션 후 회귀(impute-then-regress)"(학습 전 결측 데이터를 임퓨테이션하는 방식)나 결측 지표(missingness indicators)를 사용하는 전통적인 접근 방식은 편향을 유발하거나, 모델의 복잡성을 높이거나, 해석 가능성을 저해할 수 있습니다. 일부 특화된 모델(예: 기본 경로를 사용하는 XGBoost, 베이지안 네트워크)은 결측값을 본래적으로 처리하지만, 대개 특정 모델 클래스로 제한됩니다.

핵심 과제는 예측 정확도와 결측 특성(feature) 의존도 사이의 트레이드오프입니다. 의료와 같은 안전이 중요한 분야에서, 임퓨테이션된 값이나 테스트 시점에 자주 사용 불가능한 특성에 의존하는 모델은 신뢰하기 어렵거나 해석하기 까다로울 수 있습니다. 저자들은 모델이 결측된 데이터에 임퓨테이션된 값을 강요하거나 결측 마스크를 사용하는 대신, 특정 입력에 대해 결측된 특성을 전략적으로 피하도록 학습하는 프레임워크를 제안합니다.

방법론: 결측 회피(Missingness-Avoiding, MA) 학습

본 논문은 표준 알고리즘의 학습 목적 함수를 수정하여 결측값에 대한 의존도를 페널티로 부여하는 일반적인 프레임워크인 결측 회피(MA) 머신러닝을 소개합니다. 목적 함수는 기대 예측 손실과 기대 결측 의존도 사이의 트레이드오프를 최소화합니다:

$$\min_{h \in \mathcal{H}} \mathbb{E}_p[L(Y, h(X))] + \alpha \rho(h)$$

여기서:

• $L$은 예측 손실입니다.
• $\rho(h)$는 기대 결측 의존도로, 예측 $h(x)$를 계산하는 데 결측된 특성 $x_j$ (즉, $x_j = na$)에 접근해야 할 확률입니다.
• $\alpha \ge 0$는 페널티 강도를 조절하는 하이퍼파라미터입니다.

저자들은 세 가지 모델 클래스에 대해 구체적인 알고리즘을 도출했습니다:

1. MA 결정 트리 (MA-DT)

결정 트리는 특성에 대한 의존도가 맥락적(contextual)이기 때문에 이 작업에 자연스럽게 적합합니다. 즉, 특정 입력에 대해 해당 특성이 결정 경로(decision path)에 나타날 때만 그 특성이 필요합니다.

• 메커니즘: 저자들은 탐욕적 분할 알고리즘(C4.5 또는 ID3와 같은)을 수정합니다. 분할 선택 과정 중에 정규화 항이 추가된 기준(예: 지니 불순도)을 사용합니다.
• 정규화: 리프(leaf) $\ell$과 후보 분할 $(j, \tau)$에 대해, 비용 함수는 해당 리프 내의 샘플 중 특성 $j$가 결측된 비율에 비례하는 페널티를 포함합니다.
• 맥락적 회피: 알고리즘은 결측된 특성을 요구하지 않는 경로로 샘플을 라우팅하도록 학습하여, 데이터의 "맥락적 결측성(contextual missingness)"을 효과적으로 활용합니다.

2. MA 희소 선형 모델 (MA-LASSO)

선형 모델은 맥락적으로 결측값을 피할 수 없습니다. 계수 $\theta_j \neq 0$라면 모델은 항상 $x_j$를 필요로 합니다.

• 메커니즘: 이 프레임워크는 LASSO(L1 정규화) 접근 방식을 변형합니다.
• 정규화: 균일한 페널티 대신, 각 특성 $j$에 대한 페널티는 해당 특성의 경험적 결측률 $m_j$에 의해 스케일링됩니다. 목적 함수는 다음과 같습니다:
  $$\sum L(y_i, \theta^T x^I_i) + \sum_{j=1}^d (\lambda + \alpha m_j) |\theta_j|$$
• 효과: 결측률이 높은 특성은 더 큰 페널티를 받아 계수가 0이 되도록 유도되며, 이를 통해 결측 데이터에 대한 의존도를 줄입니다.

3. MA 트리 앙상블 (MA-RF 및 MA-GBT)

• MA 랜덤 포레스트 (MA-RF): 독립적인 MA 트리를 병렬로 학습합니다. 각 트리는 정규화된 분할 기준을 최소화합니다.
• MA 그래디언트 부스팅 트리 (MA-GBT): 이전 트리의 잔차(residual)에 적합되는 부스팅 접근 방식을 사용합니다. 결정적으로, 정규화 가중치는 동적으로 업데이트됩니다. 만약 특정 관측치 $x_i$에 대해 이전 모델이 이미 특성 $j$를 사용했다면(그리고 그것이 결측이었다면), 후속 모델은 해당 특성에 다시 의존하는 것에 대해 더 적은 페널티를 받습니다. 이는 앙상블이 서로 다른 트리들 사이에서 결측 특성에 과도하게 의존하는 것이 누적되는 것을 방지합니다.

주요 기여

1. 프레임워크 도입: 높은 정확도와 결측 특성에 대한 최소한의 의존도를 조화시키는 일반적인 "결측 회피(Missingness-Avoiding)" 프레임워크를 제안했습니다.
2. 알고리즘 구현: 결정 트리(MA-DT), 희소 선형 모델(MA-LASSO), 트리 앙상블(MA-RF, MA-GBT)에 대한 구체적인 fit-predict 호환 알고리즘을 개발했습니다.
3. 이론적 분석:
   • 관측된 변수들의 조합이 다른 변수들의 존재를 보장하는 관측 결정론적 데이터 수집(ODDC) 규칙을 식별했습니다. 저자들은 이러한 규칙이 존재할 경우, 예측 정확도를 희생하지 않고도 결측 의존도를 제로(0)로 달성할 수 있음을 증명했습니다.
   • 한계점 분석을 통해, 결측이 완전히 무작위(MCAR)이거나 테스트 시점의 분포가 크게 변화하는 경우, 정확도와 의존도 사이의 트레이드오프가 불가피할 수 있음을 보여주었습니다.
4. 실증적 검증: 6개의 실제 데이터셋(NHANES, ADNI, FICO 포함)을 통해 MA 모델이 비정규화된 베이스라인과 경쟁하는 수준의 예측 성능(AUROC)을 유지하면서도 결측 의서존도를 유의미하게 감소시킴을 입증했습니다.

실험 결과

저자들은 6개의 데이터셋에 대해 MA-DT, MA-LASSO, MA-RF, MA-GBT를 표준 베이스라인(임퓨테이션 기반 모델, M-GAM과 같은 결측 지표 모델, 그리고 XGBoost 및 NeuMiss와 같은 네이티브 핸들러)과 비교 평가했습니다.

• 성능 대비 의존도: MA 모델은 일관되게 비정규화된 모델보다 낮은 결측 의존도($\hat{\rho}$)를 달성했습니다. 예를 들어, MA-DT는 ADNI 데이터셋에서 AUROC를 유사하게 유지하면서 결측 의존도를 약 11.7%에서 0.1%로 줄였습니다.
• 베이스라인과의 비교:
  • MA 모델은 의존도 감소 측면에서 표준 임퓨테이션 방법(Zero Imputation, MICE)보다 우수하거나 대등한 성능을 보였습니다.
  • MA-DT와 MA-RF는 결측 특성에 크게 의존하는 경우가 많은 XGBoost 및 Random Forest보다 현저히 낮은 의측 의존도를 달성했습니다.
  • MA-LASSO는 최소한의 AUROC 손실로 표준 LASSO에 비해 의존도를 크게 줄였습니다.
  • 규칙 기반 모델인 MINTY는 낮은 의존도를 달성했지만, MA-LASSO는 훨씬 빠른 학습 속도(최대 292초 대비 1초 미만)를 보였습니다.
• 트레이드오프: 실험을 통해 유리한 트레이드오프가 가능하다는 점을 확인했습니다. 실무자는 $\alpha$를 튜닝함으로써 정확도와 결측 회피의 파레토 최적선(Pareto frontier) 상에서 작동하는 모델을 선택할 수 있습니다.

의의 및 주장

본 논문은 MA 학습이 결측 데이터가 존재하는 상황에서 해석 가능성과 강건성이 필요한 실무자들에게 강력한 도구를 제공한다고 주장합니다.

• 해석 가능성: 결측 특성에 대한 의존을 피함으로써, MA 모델의 결정 경로는 투명하게 유지되며 임퓨테이션의 불투명한 로직이나 결측 지표가 도입하는 복잡한 상호작용에 의존하지 않습니다.
• 실용성: 이 접근 방식은 NeuMiss와 같은 특수한 아키텍처나 복잡한 임퓨테이션 파이프라인을 요구하지 않습니다. 기존의 트리 및 선형 모델 라이브러리를 사용하여 표준 워크플로우에 통합될 수 있습니다.
• 실현 가능성: 저자들은 많은 실제 시나리오(특히 임상 가이드라인과 같이 ODDC 규칙의 지배를 받는 경우)에서 매우 높은 정확도와 결측 의존도가 전혀 없는 모델을 동시에 구축하는 것이 가능하다는 점을 강조하며, 결측 데이터가 좋은 성능을 내기 위해 반드시 임퓨테이션되거나 지표화되어야 한다는 통념에 도전합니다.

결론적으로, 결측 값을 완전히 피하는 것이 모든 시나리오(예: 결측이 순수하게 무작위이거나 활용 불가능한 방식으로 정보적(informative)인 경우)에서 가능한 것은 아니지만, MA 프레임워크는 예측 효용을 훼손하지 않으면서 이러한 의존도를 최소화할 수 있는 원칙적인 방법을 제공합니다.