Auditing Sex/Gender Disparities in Emergency Triage with LLM-based Paired Comparisons

기술 요약: LLM 기반 쌍 비교를 통한 응급 분류(Triage)에서의 성별 불균형 감사

문제 정의
응급 분류(Triage)는 임상의가 환자의 중증도를 신속하게 평가하고 자원을 배분해야 하는 결정적인 지점이다. 표준화된 시스템(예: 미국의 ESI, 프랑스의 FRENCH/CIMU)에도 불구하고, 증거에 따르면 분류 결정은 환자의 인구통계학적 특성, 특히 성별과 관련된 체계적인 편향에 취약할 수 있다. 관상동맥 증후군, 뇌졸중 또는 복통과 같은 급성 질환을 앓고 있는 여성은 동일한 임상 양상을 보이는 남성에 비해 더 낮은 중증도 점수를 받거나 대기 시간이 길어지는 경우가 많다. 이러한 편향을 정량화하는 데 있어 주요한 장벽은 분류 결정에 대한 '골드 스탠다드(Gold Standard)'가 부족하다는 점이다. 환자의 결과(Outcome)만으로는 평가 당시 분류 간호사가 가용했던 맥락적 정보를 완전히 설명할 수 없기 때문이다. 따라서 새로운 임상 데이터를 수집하지 않고도 기록된 임상 결정의 부당한 차별적 처우를 감사할 수 있는 확장 가능한 방법론이 필요하다.

방법론
저자들은 기록된 임상 의사결정 내의 성별 관련 비대칭성을 감사하기 위해, 대규모 언어 모델(LLM)을 사용하는 도메인 불가지론적(Domain-agnostic) 쌍 비교 프레임워크를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. LLM 기반 분류 예측 모델: 연구진은 응급실(ED) 입원 데이터셋에 미스트랄 네모(Mistral NeMo 12B)를 미세 조정(Fine-tuning)하여 인간의 분류 결정을 모사하도록 했다. 모델은 구조화된 테이블 데이터(활력 징후, 인구통계학적 정보)와 비구조화된 자유 텍스트 임상 노트에 기반하여 서열 척도인 분류 점수(1–5)를 예측하도록 학습되었다. 모델의 성능은 인간의 평가자 간 일치도 표준에 따라 검증되었으며, 인간 전문가 간의 일치도와 유사한 0.718의 이차 가중 코헨 카파($\kappa_w$) 값을 달려냈다.
2. 성별 전환 쌍 생성: 별도의 LLM(Mistral Small 24B)을 사용하여 저자들은 역사실적(Counterfactual) 환자 기록을 생성했다. 각 원본 기록에 대해, 환자의 성별을 반전시킨(예: 남성에서 여성으로) 쌍을 생성하되, 모든 임상 내용(증상, 활력 징후, 병력)은 엄격하게 동일하게 유지했다. 이 변환 과정은 의미론적 불변성(Semantic invariance)을 검증하여, 오직 성별 표식(대명사, 성별이 드러나는 명사)만이 변경되고 임상적 사실이 왜곡되거나 변경되지 않도록 보장했다.
3. 편향 정량화 지표: 프레임워크는 원본과 성별이 전환된 쌍의 분류 예측을 비교하여 부당한 차별적 처우를 탐지한다. 주요 지표는 다음과 같다:
   • 방향성 분류 왜곡(Directional Triage Skew, DTS): 성별 전환 시 예측된 중증도 점수의 증가와 감소 사이의 순 균형을 측정한다.
   • 쌍별 불일치율(Pairwise Disagreement Rate, PDR): 성별 전환이 예측된 분류 등급을 변화시키는 쌍의 비율을 측정한다.
   • 순 평균 차이(Net Mean Difference, NMD): 동일한 내용에 대한 여성 버전과 남성 버전 사이의 예측 점수 간 부호가 있는 평균 차이를 측정한다.
   • 순 비대칭 분류 이동(Net Asymmetric Triage Shift, NATS): 방향성 비대칭(예: 남성 $\rightarrow$ 여성으로 변환할 때 발생하는 상향 이동이 여성 $\rightarrow$ 남성보다 더 흔한지 여부)을 포착한다.
   • 양식 격리(Modality Isolation): 연구진은 명시적인 테이블 내 성별 표식과 암묵적인 텍스트 내 성별 단서의 효과를 분리하기 위해 텍스트 전용 또는 테이블 전용 입력에 대한 변환을 실행하여 효과를 격리했다.

데이터셋
방법론의 이식성을 테스트하기 위해 프레임워크를 두 개의 서로 다른 데이터셋에 적용했다:

• 보르도 대학 병원 (프랑스): 5단계 CIMU/FRENCH 분류 척도를 사용하는 144,888건의 입원 기록(2016–2021).
• MIMIC-IV (미국): 베스 이스라엘 디콘네스 의료 센터의 5단계 ESI 척도를 사용하는 76,432건의 입원 기록 일부(2008–2019).
  두 데이터셋 모두 성별 특정적 질환(예: 임신)과 같이 역사실적 전환이 임상적으로 부적절해질 수 있는 항목을 제외하는 엄격한 필터링 과정을 거쳤다.

주요 결과

• 비대칭 탐지: 두 데이터셋 모두에서 모델은 동일한 임상 양상이 여성으로 제시되었을 때 남성으로 제시되었을 때보다 더 낮은 중증도(낮은 긴급도) 점수를 받을 가능성이 높다고 예측했다.
  • 보르도 코호트: 이 비대칭의 결합된 쌍당 비율은 1.1% (95% CI 0.9–1.3)였다.
  • MIMIC-IV 코호트: 결합된 비율은 2.2% (95% CI 1.7–2.7)였다.
• 양식 민감도: 비대칭은 결합된 이중 양식(텍스트 + 테이블) 설정에서 가장 두드러졌다.
  • 텍스트 격리: 텍스트의 성별 단서만 변경했을 때 강한 음의 왜곡이 나타났는데, 이는 텍스트의 성별 단서만 편집하는 것이 예측 점수의 증가보다 감소(즉, 더 심각한 분류 단계로의 변화)를 더 많이 유도했음을 의미한다.
  • 테이블 격리: 테이블의 성별 필드만 변경했을 경우 양의 왜곡이 나타났는데, 이는 테이블의 성별 필드만 변경하는 것이 예측 점수의 감소보다 증가(즉, 덜 심각한 분류 단계로의 변화)를 더 많이 유도했음을 의미한다.
• 명시적 표식에 의한 매개: MIMIC-IV 데이터셋에서 "성별 중립화"된 입력(텍스트와 테이블에서 모든 성별 표식을 제거)으로 모델을 재학습시켰을 때, 성별 간 예측 격차는 통계적으로 유의미한 차이에서 거의 제로에 가까운 수준으로 붕괴되었다 (NMD가 -0.033에서 -0.0005로 변화). 이는 관찰된 비대칭이 데이터 내의 명시적인 성별/성별 표식에 의해 매개됨을 나타낸다.
• 간호사-환자 일치도: 보르도 데이터셋에서 편향 패턴은 분류 간호사의 성별에 따라 달랐다. 여성 간호사는 가장 강한 편향 효과를 보였던 반면(예: 남성 환자가 여성으로 표시될 때 낮은 중증도 점수를 받음), 남성 간호사는 최소한의 차별적 처우를 보였다. 이는 모델이 무작위적인 인공물이 아니라 기록된 인간 의사결정의 안정적인 특징을 포착하고 있음을 시사한다.
• 사전 학습의 영향: 일반 도메인 사전 학습 체크포인트에서 미세 조정된 모델과 ED 데이터로부터 처음부터 학습된 모델을 비교했을 때, 사전 학습이 편향을 유의미하게 증폭시키지는 않았다. 이는 편향이 주로 임상 입력 데이터 내의 성별 단서 구조와 미세 조정 패턴에서 기인함을 시사한다.

의의 및 주장
저자들은 본 연구를 일차적으로 방법론적 타당성 연구로 규정한다. 저자들은 이 연구가 직접적인 진료 관찰이나 환자 결과에 기반한 것이 아니라, 기록된 데이터에 조건화된 모델의 행동에 의존하므로 임상 현장의 의료진 행동이나 임상적으로 유의미한 과소 분류(Undertriage)를 확립하는 것은 아니라고 명시적으로 밝힌다.

• 확장 가능한 감사 도구: 본 논문은 미세 조정된 LLM이 기록된 결정을 감사하는 확장 가능한 프로브(Probe)로서 역할을 수행하여, 임상 관행의 잠재적 편향에 대한 가설을 생성할 수 있음을 보여준다.
• 기록 수준의 신호: 탐지된 효과는 작으며(확률의 1~2% 변화), 기록 수준에서 존재한다. 저자들은 이러한 패턴이 언어와 의료 시스템 전반에 걸쳐 일관되고 재현 가능하다는 점을 언급하면서도, 임상의의 맹검 재분류(Blinded re-triage)와 같은 임상적 검증 없이는 그 임상적 관련성(예: 대기 시간이나 사망률에 미치는 영향)이 가설적 단계에 머물러 있다고 주의를 준다.
• 가설 생성: 연구는 편향이 가장 두드러지는 특정 임상 양상(예: 통증, 위장관계 증상)과 맥락(예: 간호사와 환자의 성별 일치 여부)을 식별하여, 향려의 표적 개입 및 검증 연구를 위한 기초를 제공한다.
• 한계: 저자들은 LLM이 학습 데이터의 편향을 상속받는다는 점, 이진 성별 프레임워크가 교차성(Intersectional) 분석을 제한한다는 점, 그리고 모델이 실제 응급 분류 상황에 존재하는 비언어적 단서(말투, 태도 등)를 포착할 수 없다는 점을 인정한다.

결론적으로, 본 논문은 응급 분류 기록 내의 성별 관련 비대칭성을 탐지하고 정량화하기 위해 LLM을 사용하는 새로운 프레 framework를 제시한다. 이 연구는 그러한 불균형이 기록된 데이터에 존재함을 입증하며, 추가적인 검증이 수행되기 전까지는 임상적 함의에 대해 신중한 입장을 유지하면서, 이 방법론이 다양한 언어와 의료 시스템 간에 이식 가능하다는 것을 보여준다.