Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

기술 요약: 1차 의료 우울증 선별을 위한 트리아지 게이트로서의 선택적 예측(Selective Prediction)

문제 제기
중국의 1차 의료 현장에는 구조화된 정신 건강 평가 도구가 부족하며, 기존의 머신러닝(ML) 기반 우울증 선별 모델들은 흔히 과도하게 선택된 표본을 대상으로 개발되는 경우가 많다. 저자들은 일반적으로 중립적인 데이터 정제 단계로 취급되는 누적적인 포함 및 제외 기준이 다음과 같은 "이중 왜곡(dual distortion)"을 유발한다고 주장한다:

1. 역학적 왜곡(Epidemiological Distortion): 선택적 깔때기(selection funnels)는 역학적 연관성(예: 만성 질환과 우울증 사이의 관계)을 압축하거나 변형시켜, 선택된 표본으로부터 얻은 결과가 대상 모집단에 대해 일반화되지 못할 가능성을 높인다.
2. 지표 왜곡(Metric Distortion): 머신러닝 성능 지표, 특히 AUC(Area Under the Curve)는 이질성이 감소한 선택된 표본에서 흔히 부풀려지는 경향이 있는 반면, 교정 오차(calibration error)는 악화될 수 있다. 이는 모델의 임상 배포 준비성에 대해 오해를 불러일으킬 수 있다.

나아가, 표준적인 모델 내장형 불확실성 지표(model-embedded uncertainty indicators)는 역학 데이터에서의 "쉬운" 사례와 "어려운" 사례를 효과적으로 구분하는 데 실패하는 경우가 많으며, 이는 선택적 예측(거부 옵션이 있는 분류)의 효용성을 제한한다.

방법론
본 연구는 CHARLS 2011 기초 데이터셋(n=17,705)을 활용하며, CHARLS 2018 웨이브를 통한 시계열 외부 검증을 수행한다. 방법론은 세 가지 목표를 중심으로 구성된다:

1. 선택 편향의 정량화 (깔때기 모델링):

   • **4단계 선택 깔때기(L0–L3)**를 구축하여 표준적인 역학적 제외 과정을 시뮬레이션하였다.
     • L0: 다중 대체법(MICE) 적용 후의 완전한 표본.
     • L1: 연령 60세 이상으로 제한.
     • L2: CES-D-10 응답이 완전한 경우.
     • L3: 사회인구학적 공변량(교육, 보험, 거주지)이 완전한 경우.
   • 연관성 분석: 각 단계에서 로지스틱 회귀 모델을 적합시켜 5가지 만성 질환에 대한 우울증의 오즈비(Odds Ratio, OR) 변화를 추적하였다.
   • 성능 분석: 중첩 교차 검증(nested cross-validation)과 SMOTE를 사용하여 5가지 분류기(Logistic Regression, Random Forest, XGBoost, LightGBM, Gradient Boosting)를 각 단계별로 평가하였다. AUC, Brier 점수, ECE(Expected Calibration Error)의 단조적 추세를 Page's L 검정으로 테스트하였다.

2. 선택적 예측을 통한 편향 완화:

   • 모델 내장형 불확실성: 각 모델의 내부 불확실성 점수(예: 예측 엔트로피, 트리 분산, 분위수 잔차 구간)가 샘플을 필터링하여 AUC를 개선할 수 있는지 테스트하였다.
   • 분리된 예측기-선택기 프레임워크(Decoupled Predictor–Selector Framework): 내장된 점수의 한계를 극복하기 위해, 독립적인 선택기가 예측 신뢰도를 평가하는 분리된 접근 방식을 제안하였다. 9개의 후보 선택기를 평가하였으며, XGBoost 교차 검증 잔차가 최적의 외부 선택기로 식별되었다. 이 선택기는 모든 예측기에 적용되어 모집단의 "신뢰할 수 있는" 하위 집단을 결정하였다.

3. 해석 가능한 규칙을 통한 임상 배포:

   • 리스크 계층화: 견고한 잔차(robust residuals, 5개 하이퍼파라미터 설정의 중앙값)를 기준으로 최종 분석 세트(L3)의 샘플을 저위험, 중위험, 고위험 그룹으로 계층화하였다.
   • CART 규칙 추출: 견고한 잔차에 CART(Classification and Regression Tree)를 적합시켜, 신뢰할 수 있는 예측 영역의 경계를 정의하는 해석 가능한 "화이트박스" 규칙을 추출하였다.
   • 안정성 검사: 리스크 계층화가 데이터의 구조적 특성임을 확인하기 위해 다중 파라미터(5개 설정) 및 다중 시드(10개 시드) 안정성 분석을 수행하였다.

주요 결과

• 선택 편향 왜곡:

  • 표본 크기는 17,705명(L0)에서 4,256명(L3)으로 감소하였다 (24.0%).
  • 연관성 약화: 암-우울증의 OR은 L0에서의 1.78 (95% CI 1.32–2.41)에서 L3에서는 1.39 (95% CI 0.74–2.63)로 떨어졌으며, 통계적 유의성을 상실하였다. 다른 연관성들도 다양한 정도의 압축 현상을 보였다.
  • 지표 부풀림: 5가지 모델 모두 L0에서 L3로 갈수록 AUC가 방향성 있게 증가하였으나(예: XGBoost 0.775 $\rightarrow$ 0.783), 다중 비교 보정 후 이러한 추세는 통계적으로 유의하지 않았다. 반대로, 선택이 엄격해짐에 따라 5개 모델 중 4개에서 교정 오차(ECE)가 유의하게 증가하였다.

• 선택적 예측 성능:

  • 내장형 불확실성: 사용자 정의 Out-of-fold 분위수 잔차 구간을 사용한 XGBoost만이 유의미한 선택적 예측 이득(coverage 약 52%에서 AUC ~0.83)을 달ach했다. 다른 모델들의 내장 지표는 전체 커버리지보다 나은 AUC 정점을 식별하는 데 실패하였다.
  • 분리된 프레임워크: XGBoost 교차 검증 잔차를 외부 선택기로 사용할 때, 모든 분류기가 일관된 선택적 예측 이득을 달성하였다.
    • 커버리지: 약 20%의 샘플이 신뢰할 수 있는 것으로 식별되었다.
    • 성능: 이 커버리지에서 테스트 AUC는 모든 모델에서 0.888에서 0.901 사이였다. 정밀도(Precision)는 약 0.85–0.86, 재현율(Recall)은 약 0.89–0.90이었다.
    • 안정성: 20% 커버리지 임계값은 서로 다른 모델 아키텍처 전반에서 매우 일관되게 나타났으며, 이는 선택기가 안정적인 "신뢰 영역"을 식별함을 나타낸다.

• 해석 가능한 트리아지 규칙:

  • CART 분석을 통해 트리아지를 위한 4가지 핵심 변수를 식별하였다: 주관적 건강 상태, 교육 수준, 통증 심각도, 배우자 유무.
  • 저잔차(신뢰) 영역: 높은 교육 수준, 특정 통증 프로파일, 또는 명확한 신체적 동인을 가진 낮은 주관적 건강 상태를 특징으로 한다.
  • 고잔차(불확실) 영역: 낮은 교육 수준, 복잡한 심리사회적 요인, 그리고 높은 우울증 유병률(56.9%)을 특징으로 하며, 모델 예측이 신뢰할 수 없는 영역이다.
  • 외부 검증: 2011년 유도된 CART 규칙을 2018년 코호트에 적용했을 때 안정적인 그룹 수준의 AUC를 보여, 트리아지 로직의 시간적 견고성을 확인하였다.

의의 및 주장
본 논문은 ML 기반 스크리닝의 "블랙박스" 문제를 해결하는 배포 가능한 1차 의료 트리아지 경로를 제공한다고 주장한다. 본 연구의 의의는 세 가지 측면에 있다:

1. 방법론적 교정: 누적된 선택 편향이 이중 왜곡(압축된 연관성 및 부풀려진 지표)을 생성하며, 이를 반드시 명시적으로 보고해야 함을 입증하였다. 저자들은 성능 지표를 항상 해당 선택 레벨, 커버리지 및 교정 궤적과 함께 보고해야 한다고 주장한다.
2. 신뢰성을 위한 프레임워크: 교차 검증 잔차를 사용하는 분리된 선택적 예측이 고신뢰도 환자 하위 집단을 식별하는 강력한 방법이며, 이는 역학적 맥락에서 종종 실패하는 모델 내장형 불확실성 지표보다 우수함을 확립하였다.
3. 임상적 실행 가능성: 복잡한 ML 불확실성을 단순한 4변수 CART 규칙으로 변환함으로써, 본 연구는 실용적인 "트리아지 게이트"를 제공한다. 이를 통해 일반의(GP)는 약 20%의 환자(신뢰 영역)는 알고리즘 보조 점수 산출로 안내하고, 나머지 80%(불확실 영역)는 인간의 평가로 유도함으로써, 자원이 제한된 환경에서 환자 안전을 보장하고 해석 가능성을 유지할 수 있다.

저자들은 이 접근 방식이 모델 불확실성 모니터링을 단순한 통계적 사후 처리 단계에서 계층적 의료 시스템을 위한 일상적인 품질 관리 체크포인트로 전환시킨다고 결론짓는다.