IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings

기술 요약: IyàwóBench

문제 제기
분화되지 않은 발열성 질환은 나이지리아에서 1 차 진료 외래 방문의 가장 주요한 원인이자, 단순한 말라리아부터 생명을 위협하는 세균성 수막염 및 패혈증에 이르기까지 다양한 질환의 초기 증상이 중복되어 나타나는 중대한 진단적 과제를 제시합니다. 나이지리아의 1 차 보건 센터 (PHC) 에서는 지역사회보건확장요원 (CHEW) 이 제한된 자원으로 많은 환자 수를 관리하는 경우가 많으며, 임상 의사결정 지원 도구의 부재는 위험한 오분류를 초래하여 중증 사례의 부적절한 이송과 불필요한 과도한 이송을 야기합니다. 대규모 언어 모델 (LLM) 이 확장 가능한 임상 의사결정 지원에 유망한 가능성을 보이지만, 기존 평가 벤치마크 (예: MedQA, PubMedQA) 는 고소득 국가의 맥락이나 표준화된 면허 시험에서 파생된 것입니다. 이러한 벤치마크는 서아프리카 1 차 진료와 관련된 특정 질병 유병률, 인프라 제약, 또는 지역 지침 (예: WHO IMCI 및 나이지리아 표준 치료 지침) 을 반영하지 못합니다. 결과적으로, 이러한 특정 환경에서 LLM 의 분류 (triage) 추론을 평가할 수 있는 검증된 프레임워크는 존재하지 않습니다.

방법론
저자들은 나이지리아 1 차 보건 센터에서 분화되지 않은 발열성 질환에 대한 LLM 분류 정확도를 평가하기 위해 설계된 200 개의 합성 임상 사례로 구성된 벤치마크 데이터셋인 IyàwóBench v1.0을 소개합니다.

• 데이터 생성: 사례는 2026 년 4 월 14 일부터 28 일까지 나이지리아 오요주 (Oyo State) 의 19 개 1 차 보건 센터에서 수집된 1,200 건의 실제 환자 진료 기록에서 파생된 통계적 분포를 사용하여 프로그램적으로 생성되었습니다. 개별 환자 데이터는 사용되지 않았으며, 데이터셋은 완전히 합성 데이터로 구성됩니다.
• 사례 구조: 각 사례는 Iyawo 플랫폼 인터페이스 (연령, 활력 징후, 증상, 말라리아 RDT 결과 등) 를 반영하는 구조화된 필드와 자유 형식 임상 노트를 포함합니다.
• 기준 진실 (Ground Truth): 기대되는 분류 수준은 WHO IMCI 2014, WHO 말라리아 지침 2025, Surviving Sepsis Campaign 2021, 그리고 나이지리아 표준 치료 지침을 기반으로 할당되었습니다. 세 가지 목표 클래스는 다음과 같습니다: 즉시 이송 (REFER NOW) (응급), 오늘 이송 (REFER TODAY) (비응급), 그리고 현지 치료 (TREAT HERE) (현지에서 치료).
• 평가된 모델: 여섯 개의 LLM 이 테스트되었습니다: Claude Sonnet (claude-sonnet-4-5), Llama 4 Scout (17B), Llama 3.3 (70B), Llama 3.1 (8B), Qwen 3 (32B), 그리고 GPT OSS (20B).
• 평가 프로토콜: 모델들은 동일한 프롬프트를 제공받아 특정 구조화된 출력 형식 (분류 토큰, 진단, 추론) 을 요구받았습니다. 성능은 두 가지 지표를 통해 측정되었습니다:
  1. 분류 정확도: 예측된 분류 수준이 기대되는 수준과 정확히 일치한 사례의 비율.
  2. 안전 점수: 즉시 이송 (REFER NOW) 사례 중 모델이 환자를 *현지 치료 (TREAT HERE)*로 잘못 격하시키지 않은 사례의 비율.
• 통계 분석: 정확도 차이는 짝을 이룬 비율에 대한 McNemar 검정을 사용하여 평가되었습니다.

주요 결과

• 안전성: 여섯 개의 모든 모델이 100% 안전 점수 (95% CI: 96.4–100.0%) 를 달성했습니다. 모델의 크기나 아키텍처와 관계없이 어떤 모델도 중요한 즉시 이송 (REFER NOW) 사례를 *현지 치료 (TREAT HERE)*로 잘못 격하시키지 않았습니다.
• 분류 정확도: 구조화된 출력을 성공적으로 파싱한 모델들 사이에서 상당한 변동성이 관찰되었습니다:
  • Claude Sonnet: 67.5% 정확도 (200 개 중 135 개).
  • Llama 4 Scout: 59.5% 정확도 (200 개 중 119 개).
  • Llama 3.3 70B: 43.0% 정확도 (200 개 중 86 개).
  • Llama 3.1 8B: 39.0% 정확도 (200 개 중 78 개).
  • Qwen 3 32B 및 GPT OSS 20B: 구조화된 출력 미준수로 인해 거의 0% 에 가까운 정확도 (각각 1.0% 와 0.5%) 를 기록했습니다. 이러한 모델들은 상세한 임상 추론을 생성했지만, 파싱 가능한 형식으로 요구된 분류 토큰을 포함하지 못했습니다.
• 성능 격차: 가장 높은 성능을 보인 파싱 가능 모델 (Claude Sonnet) 과 가장 낮은 성능의 모델 (Llama 3.1 8B) 사이의 차이는 28.5 퍼센트 포인트였습니다. Llama 계열 내에서는 정확도가 일반적으로 파라미터 수와 상관관계를 보였으나, 70B 모델은 전문화된 Claude 모델보다 24.5 포인트 낮게 성능을 발휘했습니다.

의의 및 주장
본 논문은 IyàwóBench 를 서아프리카 1 차 진료에 특화된 LLM 임상 의사결정 지원을 위한 첫 번째 재현 가능한 평가 프레임워크로 위치시킵니다. 저자들은 세 가지 주요 기여를 주장합니다:

1. 안전성 검증: 보편적인 100% 안전 점수는 특정 저소득 및 중소득 국가 (LMIC) 파인튜닝 없이도 현대 LLM 이 가장 위험한 분류 오류 (응급 상황 놓침) 를 피하기에 충분한 임상적 중증도 신호를 견고하게 인코딩하고 있음을 시사합니다.
2. 정확도 변동성: 모델 간 상당한 정확도 격차 (최대 28.5 포인트) 는 파라미터 수만으로는 임상 성능을 보장할 수 없음을 강조합니다. 저자들은 기준 진실에 사용된 것과 같이 지침이 내장된 임상적으로 설계된 시스템이 범용 모델보다 우수하며, 이는 자원 제약 환경에서의 배포를 위해 도메인 특화 파인튜닝 (예: LoRA 를 통한) 이 필요함을 시사합니다.
3. 구조화된 출력의 병목 현상: 포맷팅 실패로 인한 두 개의 대형 모델의 거의 0% 에 가까운 정확도는 임상 의사결정 지원에서 임상 추론 능력만큼이나 구조화된 기계 판독 가능 출력을 생성하는 능력이 중요함을 강조합니다.

저자들은 단일 저자가 독립적인 의사 검증을 없이 기준 진실 라벨링에 사용된 점, 진단 또는 치료 정확도보다는 분류 분류에 초점을 맞춘 점, 그리고 오요주 단일 지역에서 파생된 합성 데이터의 사용으로 인해 모든 나이지리아 맥락으로 일반화되지 않을 수 있다는 점 등 한계를 명시적으로 지적합니다. 그들은 IyàwóBench 가 LMIC 1 차 진료에서 파인튜닝 및 도메인 적응 모델에 대한 엄격한 평가를 위한 기준선을 확립한다고 결론지었습니다.