기술 요약: 훈련 분포를 넘어서: 분포 변화 및 선택 편향 하에서의 예측 평가

문제 정의

머신러닝 모델은 새로운 환경에 배포될 때 두 가지 주요하고 흔히 공존하는 도전 과제인 **공변량 변화(covariate shift)**와 **선택적 레이블(selective labels)**로 인해 성능이 저하되는 경우가 많습니다.

• 공변량 변화 (Covariate Shift): 입력 특성의 주변 분포($P(X)$)가 훈련(소스) 인구와 배포(타겟) 인구 간에 다르지만, 특성과 결과 사이의 조건부 관계($P(Y|X)$)는 안정적인 상태를 유지합니다. 표준적인 홀드아웃 테스트 세트 평가 방식은, 타겟 환경에서는 흔하지만 소스 환경에서는 드문 특성 영역에서 오류가 집중될 경우 성능 저하를 은폐할 수 있습니다.
• 선택적 레이블 (Selective Labels): 의료나 대출과 같은 고위험 도메인에서는 이전의 결정 정책(예: 진단 검사를 받는 환자)에 의해 선택된 개인에 대해서만 결과 레이블이 관찰됩니다. 이는 선택 편향을 유발하며, 관찰된 레이블이 전체 인구가 아닌 결정에 의존하는 하위 집합에서 추출되었음을 의미하므로, 훈련 데이터가 전체 배포 인구를 정확하게 반영하지 못하게 만듭니다.

기존 문헌은 일반적으로 이러한 문제들을 개별적으로 다룹니다. 본 논문은 특정 인구 집단에 대해 훈련된 모델이 다양한 인구 집단에 배포되면서도, 동시에 특정 임상 프로토콜을 거친 환자에게만 결과가 관찰되는 임상 의사결정 상황과 같이 공변량 변화와 선택적 레이블링이 공존하는 시나리오를 연구합니다. 핵심 문제는 블랙박스 예측 모델의 타겟 리스크(배포 환경에서의 기대 손실)를 평가하는 것입니다. 이때 타겟 결과는 관찰되지 않으며 소스 결과는 선택적으로만 관찰됩니다.

방법론

1. 문제 정식화 및 식별

저자들은 타겟 리스크 $\psi$를 다음과 같이 정의합니다:
$$\psi := E_T [\ell(f(X), Y)]$$
여기서 $f$는 고정된 블랙박스 예측기이고 $\ell$은 일반적인 손실 함수입니다.

관찰 가능한 데이터로부터 $\psi$를 식별하기 위해, 본 논문은 네 가지 표준 가정을 따릅니다:

1. 관측 가능한 변수에 의한 선택 (소스): 공변량 $X$가 주어졌을 때, 소스 인구에서 레이블 관찰 가능성 $D$는 결과 $Y$와 독립입니다 ($Y \perp\!\!\!\perp D \mid X, R=1$).
2. 공변량 변화: 결과의 조건부 분포는 도메인 간에 불변합니다 ($P_S(Y|X) = P_T(Y|X)$).
3. 양의 확률 (Positivity): 모든 공변량 프로필은 소스 인구에서 관찰될 양의 확률을 가집니다.
4. 유계된 우도 비 (Bounded Likelihood Ratio): 타겟과 소스 분포 간의 밀도 비율이 유계되어 있습니다.

이러한 가정 하에, 타겟 리스크는 두 가지 동등한 표현식(Proposition 3.5)을 통해 식별됩니다:

1. 타겟 기대값: $\psi = E_T [\mu(X)]$, 여기서 $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$는 소스에서의 조건부 기대 손실입니다.
2. 보정이 포함된 소스 기대값: $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$, 여기서 $\frac{p_T(X)}{p_S(X)}$는 공변량 변화를 보정하고, $\frac{D}{\pi_S(X)}$는 역 확률 가중치(inverse propensity weighting)를 통해 선택적 레이블을 보정합니다.

2. 효율적 영향 함수 (Efficient Influence Function, EIF)

저자들은 타겟 리스크 추정량에 대한 **효율적 영향 함수(EIF)**를 도출합니다 (Proposition 3.6). EIF $\phi(Z; P)$는 소스 분포와 타겟 분포의 신호를 결합합니다:
$$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$$
여기서:

• $R$은 도메인 지표입니다 (소스는 1, 타겟은 0).
• $D$는 레이블 관찰 가능성 지표입니다.
• $\pi(X)$는 통합된 성향 점수(pooled propensity score)입니다.
• $g(X)$는 도메인 성향 점수입니다.
• $\rho$는 타겟 인구의 비율입니다.
• $L$은 관찰된 손실입니다.

첫 번째 항은 레이블이 있는 소스 단위에 대한 잔차 보정을 나타내며, 이를 타겟 분포로 전이시키기 위해 가중치를 부여합니다. 두 번째 항은 타겟 리스크에 의해 중심화된, 레이블이 없는 타겟 단위에 대한 플러그인(plug-in) 추정치입니다.

3. 이중 머신러닝 (Double Machine Learning, DML) 추정량

EIF를 활용하여, 본 논문은 이중 머신러닝(DML) 추정량(Equation 7)을 제안합니다:
$$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$$
이 추정량의 주요 특징은 다음과 같습니다:

• 편향 보정: 이 추정량은 방해 함수(nuisance functions, $\mu, \pi, g$)의 추정 오류에서 발생하는 1차 편향을 보정하기 위해 EIF 구조를 사용합니다.
• 샘플 분할/교차 적합 (Sample Splitting/Cross-fitting): 평가 샘플과 독립적인 보조 샘플에서 방해 함수를 추정함으로써 점근적 정규성을 보장합니다.
• 강건성: 방해 함수 추정치가 $o_p(n^{-1/4})$의 속도로 수렴한다면, 이 추정량은 준모수적 효율성(semiparametrically efficient)과 $\sqrt{n}$-일치성(consistency)을 가집니다. 이를 통해 파라미터 속도를 요구하지 않고도 비모수적 머신러닝 방법(예: 랜덤 포레스트, 신경망)을 사용하여 방해 함수를 추정할 수 있습니다.

주요 결과

이론적 보장

본 논문은 제안된 DML 추정량이 **점근적으로 선형적(asymptically linear)**이며 **준모수적으로 효율적(semiparametrically efficient)**임을 증명합니다 (Theorem 3.7). 이는 다음을 의미합니다:

• 추정량은 $\sqrt{n}$ 속도로 실제 타겟 리스크에 수렴합니다.
• 추정량은 점근적으로 정규 분포를 따르므로, 배포 전 리스크 평가를 위한 유효한 Wald 유형의 신뢰 구간을 구축할 수 있습니다.
• 방해 함수가 고차원 또는 복잡한 모델로 추정되더라도, 그 오차의 곱이 무시할 수 있는 수준이라면 추정량은 일치성을 유지합니다.

실증적 평가

저자들은 eICU 협력 연구 데이터베이스(20만 건 이상의 ICU 입원 기록)와 준합성 실험을 사용하여 방법을 평가합니다.

• 준합성 실험: 실제 eICU 공변량을 사용하고 결과와 레이블 관찰 가능성을 시뮬레이션하여, DML 추정량이 다음의 모델들과 비교했을 때 가장 적은 편향과 가장 낮은 RMSE를 보임을 입증했습니다:
  • 나이브한 플러그인(Plug-in) 추정량 (변화와 선택 모두를 위해 재가중치 적용).
  • 공변량 변화(CS) 전용 추정량 (선택 편향을 무시).
  • 선택적 레이블(SL) 전용 추정량 (공변량 변화를 무시).
    결과는 단 하나의 편향 원인만을 해결할 경우, 특히 선택 강도가 높아짐에 따라 배포 리스크를 체계적으로 잘못 나타낼 수 있음을 보여주었습니다.
• 실제 환경 실험: 특정 검사가 처방될 때만 레이블이 관찰되는 네 가지 임상 결과(BNP, Troponin-I, CK, Hypoxemia)에 적용되었습니다. DML 추정량은 여러 병원에서 베이스라인 모델과 유의미하게 다른 리스크 추정치를 생성하였으며, 이는 변화와 선택의 결합된 특성을 무시하는 것이 새로운 임상 환경에서 모델 리스크를 과소 혹은 과대 평가할 수 있음을 강조합니다.
• 강건성 검사: 추정량은 양의 확률 및 유계된 우도 비 가정이 위반되는 경우에도 합리적인 강건성을 보였습니다. 그러나 예상대로, 관측 가능한 변수에 의한 선택(unobserved confounding)이나 조건부 결과 변화가 발생할 경우 성능이 저하되었으나, 다른 벤치마크들에 비해서는 경쟁력을 유지했습니다.

의의 및 주장

본 논문은 공변량 변화와 선택적 레이블링이 동시에 존재하는 상황에서 블랙박스 예측기를 평가하기 위한 정식화와 솔루션을 제공한 최초의 연구라고 주장합니다.

• 실질적 영향: 이 연구는 모델이 특정 인구 집단에서 훈련되었으나 다른 인구 집단에 배포되고, 임상적 의사결정 과정으로 인해 결과 데이터가 본질적으로 불완전한 의료와 같은 고위험 도메인에서의 배포 전 평가를 위한 엄격한 프레임워크를 제공합니다.
• 방법론적 기여: 분포 변화 문헌과 선택적 레이블 문헌 사이의 간극을 메움으로써, 타겟 리스크의 식별을 확립하고 효율적 영향 함수를 도출하였습니다. 이는 타겟 레이블이 전혀 관찰되지 않고 소스 레이블이 편향된 상황에서도 유효한 추론이 가능하다는 것을 보여줍니다.
• 공정성 및 안전성: 저자들은 이러한 결합된 과제를 고려하지 않을 경우 특정 소수 집단에 대한 모델의 성능을 체계적으로 잘못 나타낼 수 있으며, 이는 불평등을 영속시킬 수 있다고 강조합니다. 이들의 방법론은 실무자가 배포 전에 공정성과 안전성 특성을 더 정확하게 평가할 수 있게 해줍니다.
• 광범위한 적용 가능성: 임상 환경에 초점을 맞추고 있으나, 피드백이 선택적으로 관찰되고 배포 분포가 훈련 분포와 다른 파운데이션 모델이나 LLM(거대언어모델) 관련 모든 도메인에 적용 가능합니다.

저자들은 식별이 실무에서 실패할 수 있는 실질적인 가정(예: 임상 결정이 측정되지 않은 중증도에 의존하는 경우)에 의존한다는 점을 인정하며 신중한 태도를 유지합니다. 또한, 이 방법론이 작은 위반에 대해서는 내성을 제공하지만, 향후 연구에서는 이러한 가정을 완화하거나 적응형 데이터 수집을 사용하는 방향으로 나아가야 한다고 제안합니다.