Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression 

기술 요약: 누구의 진실이 정답(Ground Truth)인가? 우울증 예측 머신러닝 모델에서 라벨 선택의 결과

문제 제기
전자 건강 기록(EHR) 데이터를 사용하여 개발된 머신러닝(ML) 모델은 종종 제공자(의료진)가 기록한 진단명(예: ICD 코드)을 학습을 위한 "정답(ground truth)"으로 의존한다. 그러나 정신 건강 진단, 특히 우울증은 본질적으로 주관적이며 환자의 자기 보고와 의료진-환자 간의 소통에 크게 의존한다. 이러한 질환이 진단되고 기록되는 방식에는 상당한 변동성이 존재하며, 환자가 보고하는 증상(예: PHQ-9)과 의료진이 코딩한 진단 사이에는 종종 상당한 불일치가 발생한다. 본 논문은 제공자 라벨에만 의존하는 것이 편향을 유발하고, 환자의 경험을 가릴 수 있으며, 실제 환자의 상태보다는 임상 워크플로우의 격차를 반영하는 모델로 이어질 수 있다고 상정한다. 본 연구는 다음과 같은 핵심 질문을 다룬다: 우울증 라벨의 출처(환자 보고, 제공자 코딩, 또는 일치된 데이터)의 선택이 트리 기반 ML 모델의 성능과 특성 중요도(feature importance)에 어떤 영향을 미치는가?

연구 방법론

• 데이터 소스: 본 연구는 2012년부터 2019년 사이에 외래 또는 원격 진료를 받은 성인(18세 이상) 644,387명을 포함하는 OCHIN ADVANCE 네트워크의 회고적 단면 데이터셋을 활용하였다. 데이터에는 인구통계학적 특성, 활력 징후, 만성 질환, 사회적 결정 요인(SDOH) 및 환자 보고 결과가 포함되었다.
• 라벨 전략: 세 가지 뚜렷한 우울증 정의를 구축하여 타겟 변수(정답)로 사용하였다:
  1. 제공자 지표(Provider-Indicated): EHR 내의 ICD 코드로만 정의된 우울증.
  2. 환자 지표(Patient-Indicated): "가장 심각한(Most Severe)" 자기 보고식 PHQ-9 점수(26 또는 27점)로 정의된 우울증. 이는 해당되는 의료진 코드가 없는 상태에서 증상의 확실성이 높은 경우를 나타낸다.
  3. 일치형(Concordant): "가장 심각한" PHQ-9 점수와 의료진의 ICD 코드가 교차하는 지점으로 정의된 우울증.
     참고: 클래스 불균형 문제를 해결하기 위해 전통적인 PHQ-9 컷오프인 20점("Severe")을 사용하는 추가 모델(Tree 2b 및 3b)도 테스트하였다.
• 예측 변수: 특성(features)에는 인구통계학적 특성, 활력 징후, 만성 질환(예: 당뇨병, 고혈압), 정신과적 진단 및 SDOH가 포함되었다.
• 모델링 접근 방식: 해석 가능성 때문에 분류 및 회귀 트리(CART)를 채택하였다. 모델은 70/30 분할 및 10-겹 교차 검증(10-fold cross-validation)을 사용하여 학습되었다. 하이퍼파라미터는 AUC를 최대화하도록 튜닝되었다.
• 평가 지표: 성능은 AUC, 민감도(sensitivity), 특이도(specificity), 양성 예측도(PPV) 및 F1 점수를 통해 평가되었다.
• 설명 가능성: 특성 중요도를 정량화하고 시각화하기 위해 SHapley Addplicative Explanations(SHAP)를 사용하였다.

주요 결과

• 모델 성능: 전반적인 모델 성능은 완만하였으며, 모든 라벨링 전략에서 AUC 값은 0.62에서 0.64 사이였다.
  • 제공자 지표 모델 (Tree 1): 주요 모델 중 홀드아웃 테스트 세트에서 가장 높은 민감도(0.33)를 달성하였으며, AUC는 0.63이었다.
  • 환자 지표 모델 (Tree 2): 홀드아웃 세트에서 낮은 민감도(0.28)와 매우 낮은 PPV(0.03)를 보였는데, 이는 "가장 심각한" 클래스의 희소성(샘플의 1.3%) 때문인 것으로 보인다.
  • 일치형 모델 (Tree 3): 교차 검증에서는 더 높은 민감도(0.40)를 보였으나, 홀드아웃 세트에서는 더 낮은 성능(민감도 0.30, PPV 0.01)을 보였다.
  • 대안 컷오프: "가장 심각한" 컷오프를 표준 "Severe" 컷오프(PHQ-9 ≥ 20)로 완화했을 때, 환자 기반 모델의 민감도가 개선되었으나(Tree 2b: 0.49; Tree 3b: 0.37), 여전히 특이도나 F1 점수에서 제공자 모델을 능가하지는 못했다.
• 특성 중요도 격차: SHAP 분석 결과, 라벨 출처에 따라 특성 중요도가 실질적으로 변화함을 발견하였다:
  • 불안(Anxiety): 세 모델 모두에서 일관되게 영향력이 있는 유일한 특성이었다.
  • 인구통계학적 특성: 제공자 지표 모델에서는 인구통계학적 특성(특히 백인 인종 및 여성 성별)이 매우 영향력이 높았다. 반면, 환자 지표 및 일치형 모델에서는 이러한 인구통계학적 특성의 중요도가 낮았다.
  • 기타 특성: 환자 지표 모델의 경우, 젊은 연령과 혈압이 더 두드러졌다. 일치형 모델의 경우, 고혈압의 부재와 이성애 성향이 상위 특성이었다.
• 편향 함의: 제공자 라벨에 대한 의존은 모델이 인구통계학적 변수를 과도하게 가중치 있게 다루도록 만들었으며, 이는 모델이 우울증의 근본적인 병리보다는 기존의 의료진 편향을 증폭시킬 수 있다는 우려를 낳는다.

주요 기여

1. 라벨 민감성의 실증적 입증: 본 연구는 정답 라벨의 선택(환자 vs. 제공자 vs. 일치형)이 모델 성능 지표와 특성 중요도의 해석을 근본적으로 변화시킨다는 실증적 증거를 제공한다.
2. 정답(Ground Truth) 불안정성 강조: 제공자 코딩된 진단이 정신 건강 분야에서 중립적이거나 우월한 정답이라는 가설에 이의를 제기하며, 환자 보고 결과를 무시하는 것이 임상 기록의 편향을 반영하는 모델로 이어질 수 있음을 보여준다.
3. 라벨링의 인구통계학적 편향: 제공자 라벨로 학습된 모델은 질환 자체를 예측하기보다, 질환의 존재(인종 및 성별과 상관관계가 있는)에 대한 의료진의 진단 가능성을 학습할 수 있음을 시사하며, 이는 인구통계학적 특성의 높은 영향력을 통해 입증된다.
4. 방법론적 프레임워크: 본 논문은 공정하고 신뢰할 수 있는 AI를 보장하기 위해 여러 라벨링 전략과 그에 따른 설명 가능성 프로파일을 비교하는 체계적인 접근 방식을 제안한다.

의의 및 주장
저자들은 자신들의 연구 결과가 공정한 정신 건강 AI를 지원하기 위해 투명한 보고와 환자 보고 결과(PROs)의 포함이 필수적임을 강조한다고 주장한다. 저자들은 정신 건강 진단은 객적인 바이오마커가 아닌 증상 보고에 의존하므로, "신뢰할 수 있는" 모델은 반드시 환자의 관점을 통합해야 한다고 주장한다.

결론적으로, 본 논문은 제공자 유래 라벨이 일부 맥락에서 약간 더 높은 AUC나 민감도를 보일 수는 있지만, 이러한 이득은 인구통계학적 특성 중요도의 증폭으로 인해 상쇄되며, 이는 일반화 가능성에 대한 심각한 우려를 불러일들이는 데 따른 것이라고 밝힌다. 본 연구는 단순히 특정 알고리즘을 임상 배포를 위해 최적화하는 것이 아니라, 현재 정신 건강 분야의 라벨링 관행이 가진 근본적인 위험을 폭로하는 데 목적이 있다. 저자들은 모델이 겉으로 보이는 성능 뒤에 숨겨진 편향을 드러낼 수 있도록 라벨링 전략을 정기적으로 비교하고, ML 개발을 환자의 목소리를 우선시하는 측정 기반 케어 가이드라인과 일치시켜야 한다고 촉구한다.