Gender-Dependent Diagnostic Substitution in LLM Medical Triage: Same Symptoms, Unequal Urgency

기술 요약: LLM 의료 트리아지(Triage)에서의 성별 의존적 진단 대체 현상

문제 정의
본 연구는 환자의 성별과 연령 정보만 변했을 때, 대규모 언어 모델(LLM)이 통합된 의료 애플리케이션이 동일한 임상 양상에 대해 서로 다른 의료 트리아지 권고를 생성하는지 조사한다. 본 연구는 임상 AI의 핵심 요구 사항인 '인구통계학적 평등성(demographic parity)'을 다룬다. 구체적으로, 본 연구는 성별이 임상적 관련성(진단 자체와는 별개로 '긴급도'에 미치는 영향)을 갖지 않는 한, 동일한 신경학적 증상은 성별에 관계없이 동등한 긴급도 권고를 생성해야 한다는 가설을 테스트한다. 이 연구는 여성의 신경학적 및 심장 질환 증상이 흔히 양성 또는 정신신체적 원인으로 치부되어, 결과적으로 정밀 검사나 적극적인 처치가 지연되는 것으로 알려진 인간의 임상적 편향을 바탕으로 한다.

방법론
저자들은 세 가지 최첨단 배포 단계 LLM 제품군인 Gemini 3.5 Flash, Claude Sonnet 4.6, GPT-5.4-mini를 사용하여 역사실적 환자 변이(counterfactual patient variation, CPV) 실험을 수행하였다. 이 특정 모델들은 비용 및 지연 시간 프로필을 고려할 때 생산 단계의 증상 체크 도구에 통합될 가능성이 가장 높은 모델들로 선정되었다.

• 실험 설계: 연구는 뇌압 상승 징후(진통제에 반응하지 않는 지속적인 두통, 시야 흐림, 아침 구역질, 시각 장애)를 기술하는 단일화되고 표준화된 신경학적 증상 프로필을 활용하였다.
• 조건: 증상 텍스트는 조건 간에 동일하게 유지되었으며, 인구통계학적 식별자만 변동되었다. 조건은 세 가지 연령 그룹(25세, 38세, 65세)과 두 가지 성별(남성, 여성)을 교차하였으며, 성별 미지정 기준점(38세)을 포함하였다. 이는 총 630회의 시행(모델당 210회)으로 이어졌다.
• 출력 제약: 모델은 API를 통해 프롬프트되었으며(온도 0.3), 진단명, 중증도 점수(1–10), 긴급도 분류(응급/긴급/정기), 권장 조치(응급실/의사 예약/자가 관리) 및 감별 진단 테스트를 포함하는 구조화된 JSON을 반환하도록 설정되었다.
• 분석: 주요 결과 지표는 응급실(ER) 의뢰율이다. 이차 분석은 생성된 특정 진단명에 초점을 맞추었다. 통계적 유의성은 본페로니 교정을 적용한 피셔의 정확 검정(Fisher's exact test)을 사용하여 결정되었으며, 효과 크기는 코헨의 h(Cohen's h)를 사용하여 계산되었다.

주요 결과
연구는 젊은 환자층에서 나타나는 극명하고 체계적인 성별 격차를 확인하였으며, 이는 **진단 대체(diagnostic substitution)**라고 명명된 메커니즘에 의해 발생하였다.

1. 응급실 의뢰의 격차: 젊은 여성은 연령이 같은 남성에 비해 응급실 의뢰율이 유의미하게 낮게 나타났으나, 증상과 비교 가능한 중증도 점수(7–9/10)는 동일하였다.

   • 25세:
     • Gemini: 여성 0% ER vs 남성 23.3% ER ($p < 0.001$).
     • Claude: 여성 6.7% ER vs 남성 96.7% ER ($p < 0.001$).
     • GPT: 여성 6.7% ER vs 남성 66.7% ER ($p < 0.001$).
   • 65세: 모든 모델에서 성별 격차가 사라졌으며, 남녀 모두 90–100%의 ER 의뢰율을 보였다.

2. 메커니즘: 진단 대체: 모델들은 단순히 여성에게 동일한 진단에 대해 낮은 긴급도를 부여한 것이 아니라, 성별 기반의 역학적 사전 확률(epidemiological priors)에 따라 진단 자체를 변경하였다.

   • 젊은 여성: 모델들은 압도적으로 **특발성 두개내 고혈압(IIH)**에 고착되었다. IIH는 가임기 여성에게 통계적으로 더 흔한 질환이다. 그 결과, 모델들은 IIH가 비응급 상황에서 관리된다고 가정하여 이들을 외래 진료로 안내하였다.
   • 젊은 남성: 모델들은 감별 진단에서 공간 점유 병변(종양, 덩어리 등)을 우선순위에 두었으며, 이러한 질환을 배제하기 위해 높은 긴급도의 응급실 의뢰를 유도하였다.
   • 임상적 오류: 저자들은 IIH가 젊은 여성에게 타당한 감별 진단이 될 수 있지만, 기술된 증상(진행성 시각 장애, 지속적인 두통)은 뇌압 상승을 시사하는 적색 깃발(red flags)로서 성별과 관계없이 긴급한 평가가 필요함을 의미한다고 지적한다. 즉, 모델들은 중증도는 정확히 평가했으나, 긴급도를 진단으로부터 잘못 분리하였다.

3. 연령에 따른 조절: 이 편향은 엄격하게 연령 의존적이었다. 65세의 경우, 모델들은 여성에 대한 IIH 고착을 멈추었으며(폐경 후 IIH 역학이 감소하는 것과 일치), 연령에 적합한 감별 진단(예: 측두동맥염, 뇌혈관 질환)으로 전환하여 양쪽 성별 모두에게 긴급 경로를 작동시켰다.

기여

1. 체계적 격차 입증: 본 논문은 세 가지 주요 LLM 제품군에서 효과 크기가 Cohen's h > 2.2에 달하는 유의미한 성별 격차를 보여주는 실증적 근거를 제공한다.
2. 메커니즘 식별: 연구는 진단 대체라는 공유된 메커니즘을 식별하였다. 이는 모델이 단순한 '여성은 긴급도가 낮다'는 휴리스틱을 사용하는 대신, 성별과 연결된 진단(IIH)을 선택함으로써 의도치 않게 긴급도를 억제하는 방식이다.
3. 역학적 사전 확률 vs 임상적 긴급도: 본 연구는 모델이 학습 데이터로부터 얻은 통계적 임상 사전 확률을 적용함으로써 발생하는 편향을 보여준다. 모델은 진단 루프를 조기에 종결시키기 위해 성별 관련 진단을 사용하는 인간의 임상적 오류를 재현한다.
4. 오픈 사이언스: 저자들은 추가적인 감사를 용이하게 하기 위해 모든 코드, 프롬프트 및 원시 결과를 공개한다.

의의 및 주장
본 논문은 임상용 LLM이 명시적인 지시 없이도, 임상적으로 부적절한 역학적 사전 확률을 학습하고 적용함으로써 기록된 인간의 임상적 편향을 복제한다고 주장한다. 저자들은 다음과 같이 주장한다:

• 긴급도는 진단으로부터 분리되어야 한다: 뇌압 상승을 나타내는 증상의 경우, 긴급한 평가의 필요성은 특정 진단(예: IIH)의 확률이 아니라 증상의 중증도에 의해 결정되어야 한다.
• 감사 요구 사항의 진화: AI 트리아지 시스템을 감사하려면 최종 조치(ER vs 의사 방문)뿐만 아니라 진단적 추론(감별 진단)을 분석해야 한다. 모델은 높은 중증도 점수를 생성하면서도 진단 대체를 통해 환자를 부적절한 의료 경로로 안내할 수 있다.
• 역학적 정확성이 임상적 안전을 보장하지 않는다: 모델이 젊은 여성에게 IIH가 더 흔하다는 것을 정확히 식별하는 것만으로는 충분하지 않다. 만약 이 통계적 가능성이 즉각적인 조사가 필요한 질환에 대한 긴급도를 감소시킨다면, 그 모델은 실패한 것이다.

저자들은 모델들이 단순하게 "성차별적"인 것은 아니지만, 통계적 가능성을 즉각적인 조사의 필요성보다 우선시함으로써 여성에게 더 나쁜 결과를 초래하는 특정한, 임상에 근거한 패턴을 학습했다고 결론짓는다.