PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation

기술 요약: PeruMedQA: 페루 의학 시험에 대한 대규모 언어 모델(LLMs) 벤치마킹

문제 정의
대규모 언어 모델(LLMs)은 의학 시험, 특히 영어 기반의 고소득 국가 데이터셋을 바탕으로 한 문제 해결에서 놀라운 숙련도를 입증해 왔으나, 스페인어 및 라틴 아메리카의 특정 역학적 맥락 내에서의 성능은 여전히 미개척 영역으로 남아 있다. 페루와 같은 국가는 비전염성 만성 질환과 감염성 및 열대 질환이 결합된 독특한 과제를 안고 있으며, 이는 기존 의료 LLM 학습에 사용된 데이터 소스와는 구별되는 프로필을 가진다. 따라서 지역 내 AI 기반 의료 애플리케이션의 도입 확대를 지원하기 위해, 남미 맥락의 스페인어 의학 질문에 정확하게 답할 수 있는 효과적인 LLM을 식별하는 것이 매우 중요하다.

연구 방법론
본 연구는 데이터셋 구축, 제로샷 평가, 매개변수 효율적 미세 조정이라는 세 가지 접근 방식을 따랐다.

1. 데이터셋 구축 (PeruMedQA): 저자들은 2018년부터 2025년 사이 국립 레지던트 위원회(CONREME)에서 실시한 의학 시험에서 추출한 8,380개의 문항으로 구성된 다중 선택형 질의응답(MCQA) 데이터셋인 PeruMedQA를 큐레이션하였다. 이 데이터셋은 12개의 전문 과목 및 세부 전문 과목을 다룬다. 질문들은 PDF에서 추출되었으며, 정답의 정확성을 위해 수동 검증을 거쳤다(8,380개 중 16개의 오류 수정). 또한, 4개의 선택지를 5개로 표준화하기 위해 필요한 경우 "해당 사항 없음" 옵션을 추가하여 선택지 수를 통일함으로써 표준화를 보장하였다. 2025년 시험 문항은 테스트 세트로 예약되었다.

2. 제로샷 평가: 38억 개에서 700억 개의 매개변수를 가진 10개의 의료용 LLM을 대상으로 스페인어를 사용한 제로샷, 태스크 특화 프롬프트를 통해 평가를 진행하였다. 평가 대상 모델에는 medgemma-4b-it, medgemma-27b-text-it, OctoMed-7B, Llama3-OpenBioLLM-70B 등이 포함되었다. 모델들은 정답에 해당하는 단일 알파벳 옵션(A–E)을 선택하도록 지시받았다. 성능은 정확도(정답 수 / 유효한 답변 수)와 환각 현상 발생률(모델이 형식 지침을 준수하지 못하거나 유효하지 않은 옵션을 제공한 사례)로 측정되었다.

3. 미세 조정 (Fine-Tuning): 자원 제약을 해결하기 위해 저자들은 Low-Rank Adaptation(LoRA)을 사용하여 medgemma-4b-it 모델에 매개변수 효율적 미세 조정(PEFT)을 적용하였다. 모델은 90%의 비-2025년 데이터(6,282개 문항)와 10%의 검증 분할을 사용하여, 5e-5의 학습률로 10 에포크(epoch) 동안 학습되었다. 이후 미세 조정된 모델은 홀드아웃(held-out) 2025년 테스트 세트를 대상으로 평가되었으며, 일반(vanilla) 모델들과 비교되었다.

주요 기여

• PeruMedQA 데이터셋: 본 논문은 페루의 의사 레지던트 및 세부 전문의 시험 문항을 정형화된 컴퓨터 판독 가능 형태로 구축한 최초의 데이터셋을 소개한다. 이 리소스는 스페인어권 의료 맥락에서의 추가 연구 및 AI 개발을 촉진하기 위해 오픈 액세스로 공개된다.
• 포괄적 벤치마킹: 본 연구는 다양한 전문 분야, 연도 및 매개변수 크기에 걸쳐 라틴 아메리카의 역학적 맥맥 내에서 10개의 다양한 의료용 LLM을 체계적으로 평가한다.
• 미세 조정 전략: 저자들은 작은 규모(4B 매개변수)의 모델을 미세 조정하여 성능을 높이는 자원 효율적인 접근 방식을 입증함으로써, 계산 인프라가 제한적인 지역에서도 높은 정확도의 의료 AI를 더 쉽게 접할 수 있도록 하였다.

결과

• 모델 성능: medgemma-27b-text-it는 정신의학 분야에서 89.29%의 정확도에 도달하며 가장 높은 전체 정확도를 기록했다. OctoMed-7B는 다른 모델들에 비해 신경외과 및 방사선과에서 약간의 우위를 보였다. 반대로, 100억 개 미만의 매개변수를 가진 대부분의 LLM은 일반 상태에서 50% 미만의 정확도를 보였다.
• 환각 현상: 지시 이행 능력에서 상당한 변동성이 관찰되었다. meditron-7b는 가장 높은 환각 발생률(66.37%)을 보였으나, Llama3-OpenBioLLM-70B와 미세 조정된 medgemma-4b-it는 유효하지 않은 답변이 0.00%였다.
• 미세 조정의 영향: 미세 조정된 버전의 medgemma-4b-it (medgemma-4b-it-FT)는 일반 버전의 모델 및 100억 개 미만의 매개변수를 가진 모든 다른 모델보다 성능이 크게 향상되었다. 이 모델은 다양한 시험에서 70B 매개변수 모델(Llama3-OpenBioLLM-70B)과 대등한 성능을 보였으며, 다른 어떤 모델도 정답을 맞히지 못한 전체 데이터셋의 0.72%(60개 문항)를 유일하게 맞혔다.
• 현재 모델의 한계: 높은 성능에도 불구하고, 전체 문항의 2.27%(190개 문항)는 평가된 모든 LLM에 의해 오답 처리되었다. 이러한 실패율은 최근 연도로 갈수록 증가하였으며(2025년 기준 21.05%), 특히 안과학 및 일반 외과와 같은 수술 분야에서 두드러졌다.

의의 및 주장
본 논문은 스페인어나 페루의 역학적 데이터로 주로 학습되지 않은 의료용 LLM이 고급 의학 질문에 성공적으로 답할 수 있지만, 그 성능은 모델 구조와 크기에 따라 매우 가변적이라고 주장한다. 연구는 페루와 유사한 역학적 프로필을 가진 스페인어권 국가의 지식 기반을 필요로 하는 의료 AI 애플리케이션 및 연구를 위해, 현재 가장 효과적인 옵션은 medgemma-27b-text-it라고 결론짓는다. 그러나 미세 조정된 소규모 모델(medgemma-4b-it-FT)이나 OctoMed-7B가 훨씬 더 큰 모델에 필적하는 실행 가능한 자원 효율적 대안이 될 수 있음을 보여준다.

저자들은 이러한 모델을 배포할 때 특정 작업 및 실제 시나리오에 대한 신중한 평가가 필요함을 강조한다. 미세 조정이 도메인 특화 정확도를 향상시키지만, 일반 지식에 대한 "파괴적 망각(catastrophic forgetting)"을 모니터링해야 한다고 경고한다. 본 연구는 PeruMedQA를 다양한 의료 인구, 특히 글로벌 사우스(Global South)를 위한 LLM 역량 향상의 기초적인 벤치마크로 자리매김한다.