Demographic Calibration Gaps in Breast Cancer Risk Prediction: Introducing the Demographic Calibration Gap Score

기술 요약: 유방암 위험 예측에서의 인구통계학적 보정 격차 (Demographic Calibration Gaps)

문제 정의
현재의 유방암 예측 관련 머신러닝(ML) 연구는 보정(calibration) 보고를 빈번하게 간과하고 있다. 체계적 문헌 고찰에 따르면, 보정을 평가하는 연구는 극소수에 불과하며, 인구통계학적 하위 그룹별로 이를 조사하는 경우는 더욱 드물다. 모델이 높은 변별력(AUROC)을 달رش하더라도, 특정 인종이나 성별 그룹에 대해 체계적으로 잘못 보정된 예측 확률은 편향된 임상적 의사결정으로 이어질 수 있다. 전역적 기대 보정 오차(Global Expected Calibration Error, ECE)와 같은 집계 지표는 이러한 불균형을 은폐한다. 즉, 모델이 평균적으로는 잘 보정되어 있을지라도, 특정 하위 그룹에 대해서는 체계적으로 편향된 확률을 할당할 수 있다. 평등한 기회(equalized odds)와 같은 기존의 공정성 지표는 순위 파리티(ranking parity)는 다루지만, 모델이 한 그룹에는 확률을 지속적으로 너무 높게, 다른 그룹에는 너무 낮게 할당하는 '보정 형평성(calibration equity)' 문제는 포착하지 못한다.

연구 방법론
본 연구는 인구통계학적 하위 그룹 간 보정 오차의 변동을 정량화하기 위해 설계된 지표인 **인구통계학적 보정 격차 점수(Demographic Calibration Gap Score, DCGS)**를 도입한다. 연구는 두 가지 데이터셋을 활용한 스트레스 테스트 설계를 적용하였다:

1. 훈련 및 내부 검증: 5가지 분류기(로지스istic 회귀, 랜덤 포레스트, SVM, 가우시안 나이브 베이즈, XGBoost)를 위스콘신 진단 유방암 데이터셋(n=569)에 대해 훈련시켰으며, 여기에는 FNA 핵 측정값이 사용되었다.
2. 외부 검증: 응급실 트리아지 활력 징후에서 유도된 MIMIC-IV 코호트(n=1,316)를 통해 모델을 평가하였다. 이러한 의도적인 특징 불일치(세포학적 측정값 vs. 활력 징후)는 실제 환경 배포 시 발생하는 심각한 분포 변화(distributional shift)를 시뮬레이션한다.

보정 조건:
연구는 다음 네 가지 조건 하에서 모델을 평가하였다:

• Base: 사후 보정 없음.
• Platt Scaling: 위스콘신 검증 세트에 적합된 전역 시그모이드 보정.
• Isotonic Regression: 위스콘신 검증 세트에 적합된 전역 단조 구간 상수 보정.
• Subgroup-Targeted Platt Scaling: MIMIC 코호트에만 적용되었으며, 각 인종 그룹별로 별도의 Platt 스케일러를 적합(작은 하위 그룹을 위한 전역 폴백 포함).

지표:

• DCGS: $K$개의 인구통계학적 하위 그룹(인종 및 성별)에 대해 $DCGS_{range} = \max_k(ECE_k) - \min_k(ECE_k)$로 정의된다. 임상적으로 유의미한 임계값으로, 가장 잘 보정된 그룹과 가장 못 미치는 그룹 간의 정확도 차이가 5% 포인트 차이를 나타내는 0.05를 제안한다.
• 인구통계학적 커버리지 격차(Demographic Coverage Gap, DCG): 예측 세트의 커버리지 불평등을 측정하기 위해 컨포멀 예측(conformal prediction)에 적용되었다.
• 표준 지표(AUROC, Brier Score, ECE) 또한 함께 계산되었다.

주요 결과

• 내부 성능: 위스콘신 데이터셋에서 모든 모델은 높은 AUROC(>0.98)와 낮은 ECE(<0.12)를 달성했다. 보정 방법은 기본 모델에 따라 ECE에 일관되지 않은 영향을 미쳤다.
• 외부 성능 (분포 변화): MIMIC 코호트에서 전역적 보정은 효용성을 유지하는 데 실패했다. Base 모델과 전역 보정 모델 모두 심각한 성능 저하를 겪었으며, AUROC는 0.45–0.57로 떨어졌고 Brier Skill Score는 음수로 변하여, 이는 단순 유병률 기준보다 못한 성능을 의미한다.
• 인구통계학적 보정 격차:
  • DCGS 임계값 초과: 인종 축(race axis)에 대해 40개의 모델-보정 조합 중 28개에서 DCGS가 0.05 임계값을 초 exceeded했다.
  • 전역 보정의 비효정성: 전역 Platt 스케일링이나 Isotonic 회귀 모두 DCGS를 0.05 미만으로 낮추는 데 신뢰할 만한 효과를 보이지 못했다. 일부 사례(예: XGBoost)에서는 전역 Isotonic 보정이 집계 ECE를 줄였으나, 인종별 DCGS는 변화가 없었다.
  • 하위 그룹 타겟 보정: 하위 그룹 타겟 Platt 스케일링은 변별력(AUROC가 일부 모델에서 0.59–0.75로 상승)을 개선했으나, 보정 격차를 일관되게 좁히지는 못했다. 특히, 나이브 베이즈에 하위 그룹 타겟 보정을 적용했을 때 인종 격차가 오히려 증폭(DCGS가 0.602로 증가)되었는데, 이는 동작이 불안정한 기본 모델을 가진 작고 희소한 샘플에 하위 그룹 보정을 적용하는 것이 불평등을 악화시킬 수 있음을 보여준다.
• 컨포멀 예측: 분포 변화로 인해 한계 커버리지 보장(목표 90%)이 약 25%로 붕괴되었다. 또한, 모든 모델 변형 조합에서 인구통계학적 커버리지 격차(DCG)가 0.15를 초과하여, 낮은 집계 커버리지가 그룹 간에 불평등하게 분포되어 있음을 나타냈다.

의의 및 주장
본 논문은 전역적 재보정을 통해 인구 수준의 ECE를 줄이는 것이 인구통계학적 보정 격차를 신뢰할 수 있게 좁히지는 못한다고 주장한다. 저자들의 논거는 다음과 같다:

1. 불평등의 가시성: DCGS는 연구자들이 집계 통계가 놓치는 보정 불균형을 탐지하고 보고할 수 있는 직접적이고 표준화된 방법을 제공한다.
2. 임상적 관련성: DCGS가 0.05를 초과한다는 것은 예측 확률이 서로 다른 인구통계학적 그룹에 대해 서로 다른 의미를 가짐을 의미하며, 이는 인종이나 성별에 따라 환자를 임상 결정 임계값(예: 생검 권고) 너머로 이동시킬 수 있다.
3. 현재 방법의 한론: 테스트된 어떤 단일 전역 보정 방법도 다양한 외부 코호트에서 형평성을 보장하기에 충분하지 않았다. 연구는 하위 그룹 타겟 접근 방식이 필요하지만, 효과를 거두기 위해서는 더 큰 그룹별 샘플 크기가 필요함을 시사한다.
4. 자원 가용성: 저자들은 하위 그룹 계층화 보정 보고의 채택을 촉진하기 위해 DCGS 계산 라이브러리와 전체 평가 파이프라인을 오픈 소스 Python 코드로 공개하였다.

본 연구는 인구 수준의 지표만으로는 형평성 있는 임상 AI를 구현하기에 불충분하며, 연구자들은 모델이 건강 불평등을 확산시키지 않도록 외부 코호트에 대해 반드시 DCGS를 계산하고 보고해야 한다고 결론짓는다.