WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 이 의료 정보 제공에 increasingly 활용되고 있지만, 여성 건강 (Women's Health) 분야에 대한 체계적인 평가 기준은 부재합니다. 이 분야는 다음과 같은 고유한 도전 과제로 인해 모델의 오류가 치명적일 수 있습니다.

• 지속적인 가이드라인 변경: 임신 중 갑상선 수치 (ATA) 등 임상 가이드라인이 빈번히 업데이트되므로, 모델이 구식 정보를 제공할 위험이 큽니다.
• 개인화된 의사결정: 나이, BMI, 생식력 이력, 인종 등 다양한 환자 요인이 치료 결정에 영향을 미치며, 단순 패턴 매칭이 아닌 통합적 추론이 필요합니다.
• 성별 데이터 격차 (Gender Data Gap): 기존 의학 문헌 자체가 여성 데이터를 소홀히 하여, 이를 학습한 모델은 선천적인 맹점을 가집니다.
• 기존 벤치마크의 한계: MedQA, MedMCQA 등 기존 의료 벤치마크는 객관식 형식으로 '인식' 능력을 평가할 뿐, 개방형 임상 상담에서의 안전성, 포괄성, 건강 형평성 (Health Equity) 등을 평가하지 못합니다.

2. 방법론 (Methodology)

A. WHBench 데이터셋 설계

• 구성: 10 가지 여성 건강 주제 (생식력, 호르몬 건강, 임신, PCOS, 피임 등) 에 걸쳐 47 개의 전문가 제작 임상 시나리오로 구성됨.
• 실패 모드 타겟팅: 각 질문은 LLM 의 특정 실패 모드 (예: 구식 가이드라인, 용량 오류, 건강 격차 무시 등) 를 드러내도록 설계됨 (Table 1 참조).
• 참조 답변: OB/GYN 전문의, 산부인과 종양 전문의, 일반 내과 의사, 생식 간호사 등 보드 인증 임상 전문가 4~6 명이 독립적으로 작성한 참조 답변 (평균 94 단어) 을 포함.

B. 평가 척도 (Scoring Rubric)

• 23 개 기준, 8 개 카테고리: 임상 정확성, 완전성, 안전성, 의사소통 품질, 지침 준수, 형평성 (Equity), 불확실성 관리 등 8 가지 차원으로 구성됨.
• 비대칭 페널티 (Asymmetric Penalties): 안전성 기준 (C9a, C9b) 은 실패 시 -5 점, 통과 시 +6 점으로 가중치를 두어, 형식적으로 완벽하지만 임상적으로 위험한 답변이 높은 점수를 받지 못하도록 설계됨.
• 형평성 차원 도입: 의료 LLM 벤치마크 최초로 사회적 결정 요인 (Social Determinants) 과 편향 회피를 평가하는 전용 차원 (F18a, F18b) 을 포함.

C. 실험 프로토콜

• 평가 대상: Frontier(최신), Reasoning-specialized, Open-source 등 22 개 모델 평가.
• 평가 방식: Zero-shot, Closed-book 환경에서 3 회 반복 실행 (총 3,102 회 시도, 3,100 회 채점).
• 채점자 (Judge): Claude Sonnet 4.6(주 채점자) 과 GPT-5.4(보조 채점자) 를 활용. "Default to fail(실패가 기본)" 철학을 적용하여, 명확히 요구 사항을 충족하지 않으면 실패로 간주.
• 신뢰도 검증: 채점자 간 일관성 (Inter-rater reliability) 분석 및 서버 측에서 점수 재계산으로 산술 오류 방지.

3. 주요 기여 (Key Contributions)

1. 여성 건강 특화 실패 모드 타겟팅 벤치마크: 47 개의 시나리오를 통해 모델이 구체적으로 어떤 방식으로 실패하는지 (구식 정보, 안전성 위반, 격차 무시 등) 식별 가능.
2. 다차원 평가 척도: 안전성과 형평성을 중시하는 비대칭 페널티가 적용된 23 개 기준의 루브릭 개발.
3. 대규모 평가 및 데이터 공개: 22 개 모델에 대한 3,100 개 이상의 답변을 채점하고, 전문가 검증 데이터를 공개하여 임상 AI 평가의 새로운 표준 제시.
4. 성능 한계 및 격차 규명: 최상위 모델조차도 75% 이상의 점수를 달성하지 못했으며, 특히 사회적 결정 요인 (Health Equity) 관련 성능이 극도로 낮음을 입증.

4. 주요 결과 (Key Results)

A. 전체 성능 (Overall Performance)

• 성능 천장 (Capability Ceiling): 22 개 모델 중 최고 점수는 **Claude Opus 4.6 의 72.1%**에 불과함. 상위 모델들 (Top 7) 은 60.7%~72.1% 로 밀집되어 있어, 기존 객관식 벤치마크와 달리 뚜렷한 우위 모델이 존재하지 않음.
• 정확도 부족: 최고 모델조차도 완전 정답 (Correct, ≥80% 기준) 비율이 **35.5%**에 그침. 즉, 임상 현장에서 여전히 전문가의 검토와 수정이 필수적임.
• 하위 모델 급락: 상위 7 개 모델 (평균 65.2%) 과 하위 7 개 모델 (평균 38.6%) 간의 점수 차이는 27 포인트로 큼.

B. 안전성 및 위험 (Safety & Harm)

• 위험률 (Harm%) 편차: 상위 모델 간에도 안전성 위반 비율이 크게 다름.
  • Claude Opus 4.6: 12.8% (가장 안전)
  • GPT-5.4: 47.5%, OpenAI o3: 38.6%
  • 하위 모델 (예: Gemini 2.5 Pro): 90.8%
• 이는 전체 점수가 높아도 임상적 위험이 높을 수 있음을 시사함.

C. 형평성 (Equity) 의 보편적 맹점

• 사회적 결정 요인 (F18a): 모든 모델이 이 항목에서 극도로 낮은 성능을 보임 (통과율 0.7% ~ 19.1%).
• 편향 회피 (F18b) vs 실제 통합: 모델은 편향적인 언어를 피하는 것 (78~92% 통과) 에는 능숙하지만, 인종, 사회경제적 제약, 보험 접근성 등을 임상 권고에 적극적으로 통합하는 능력은 매우 부족함.

D. 채점자 간 신뢰도

• 최종 라벨 (정답/부분/오답) 에 대한 일관성은 낮음 (κ = 0.238).
• 그러나 모델 순위 (Ranking) 에 대한 일관성은 매우 높음 (Spearman ρ = 0.916). 즉, 개별 답변의 절대적 점수 판단은 노이즈가 있더라도 시스템 간 비교에는 벤치마크가 안정적임.

5. 의의 및 결론 (Significance & Conclusion)

• 임상 현실과 벤치마크의 괴리: 기존 시험형 벤치마크 (MedQA 등) 에서 높은 점수를 받은 모델조차도, 개방형 임상 상담 시나리오에서는 안전성과 포괄성 측면에서 심각한 한계를 드러냄.
• 형평성 문제의 부각: AI 의료 시스템이 건강 격차를 해소하기보다는 오히려 사회적 결정 요인을 무시함으로써 기존 불평등을 재생산할 위험이 있음을 경고.
• 안전성 우선 평가의 필요성: 단순 정확도보다 안전성 위반 (Harm) 과 형평성 고려가 임상 AI 평가의 핵심 지표여야 함을 강조.
• 향후 과제: 현재 모델들은 의료적 미세 조정 (Fine-tuning) 을 거치더라도 WHBench 가 요구하는 안전성 추론과 형평성 기반 의사결정 능력을 충분히 갖추지 못함. 향후 다국어 지원, 더 많은 임상 전문가의 직접 채점 참여, 질문 수 확대 등이 필요함.

결론적으로, WHBench 는 여성 건강 분야에서 LLM 의 안전성과 형평성을 평가하기 위한 최초의 공개 벤치마크로, 현재 최첨단 모델조차 임상 적용에 필요한 수준의 신뢰성과 포괄성을 갖추지 못했음을 명확히 보여주었습니다.