EuropeMedQA Study Protocol: A Multilingual, Multimodal Medical Examination Dataset for Language Model Evaluation

1. 연구 배경 및 문제 제기 (Problem)

• 영어 중심 편향 (English-Centric Bias): 기존 대규모 언어 모델 (LLM) 은 USMLE(미국 의사 면허 시험) 와 같은 영어 기반 의료 시험에서 뛰어난 성능을 보이지만, 비영어권 언어나 다양한 문화적/임상적 맥락에서는 성능이 급격히 저하됩니다.
• 데이터 오염 (Data Contamination): MedQA, MedMCQA 등 기존 공개 데이터셋은 온라인에 광범위하게 존재하여, 모델이 실제 학습이 아닌 데이터셋을 암기 (Training Data Contamination) 하여 성능이 과대평가될 위험이 큽니다.
• 다양성 및 멀티모달성 부족: 기존 벤치마크는 텍스트 기반이 주를 이루며, 유럽의 다양한 임상 관행, 질병 유병률, 진료 지침, 용어 차이를 반영하지 못합니다. 또한, 실제 진료에서 필수적인 이미지 (영상의학적 소견 등) 를 포함한 멀티모달 평가가 부재합니다.
• 대안 부재: 합성 데이터 생성은 현실적인 복잡성과 문화적 뉘앙스를 재현하지 못하며, 기존 연구들은 유럽의 규제 시험을 기반으로 한 포괄적인 벤치마크가 부족했습니다.

2. 연구 방법론 (Methodology)

본 연구는 EuropeMedQA라는 새로운 데이터셋을 구축하고 이를 활용한 LLM 평가 프로토콜을 제시합니다.

가. 데이터셋 구축 (Dataset Construction)

• 출처: 이탈리아, 프랑스, 스페인, 포르투갈의 공식 의료 면허 및 레지던트 입학 시험 (예: 이탈리아 SSM, 프랑스 ECN 등) 에서 공식적으로 공개된 문제를 수집합니다.
• 포함 기준:
  • 정부 기관이나 공식 규제 당국이 발행한 문제.
  • 원어 및 편집되지 않은 형태.
  • 텍스트 기반 및 관련 이미지가 포함된 멀티모달 문제.
  • 공식 문서나 레지던트 준비 자료에서 이미지를 재현 가능하게 확보한 경우.
• 제외 기준: 비공식 출처 (학원 등) 문제, 이미지 소스가 불분명한 경우.
• 데이터 추출 및 정제:
  • 6 명의 의사가 언어 및 임상 정확성을 검증하며 데이터를 추출합니다.
  • 6 명의 연구자가 독립적으로 교차 검증을 수행합니다.
  • FAIR 원칙과 SPIRIT-AI 가이드라인을 준수하여 메타데이터, 데이터 출처, 주석 절차를 투명하게 문서화합니다.
  • GPT-4o mini를 사용하여 영어 번역을 수행하고, 원어와 번역본 모두를 평가에 활용합니다.
• 구조: 질문 ID, 연도, 문제 유형, 이미지 유무, 보기 (A-E), 정답, 이미지 링크 등을 포함하는 표준화된 포맷을 가집니다. 프랑스 데이터셋의 경우 하나의 임상 사례에 여러 하위 질문과 이미지가 연결된 계층적 구조를 반영합니다.

나. 평가 프로토콜 (Evaluation Pipeline)

• 모델: OpenAI 의 GPT-5-mini, Anthropic 의 Claude-3.5-Haiku 및 Claude Sonnet 4.5 등 최신 멀티모달 LLM 을 대상으로 합니다.
• Zero-Shot 전략: 사전 학습된 지식을 기반으로 한 Zero-Shot 평가만 수행하며, 파인튜닝이나 인-컨텍스트 학습 (Few-shot) 은 사용하지 않습니다.
• 편향 제거 기법:
  • 정답 순서 무작위화 (Shuffling): 정답의 위치 편향을 제거하기 위해 고정된 시드 (Seed 42) 를 사용하여 보기 순서를 무작위로 섞습니다.
  • 프롬프트 제약: 모델에게 엄격한 출력 형식 (QuestionID 와 정답 선택지만) 을 요구하며, 추가 설명이나 추론 과정을 금지하여 일관성을 유지합니다.
  • 멀티모달 입력: 텍스트와 함께 관련 이미지 (메인 케이스 이미지, 하위 질문 이미지) 를 API 호환 형식으로 입력합니다.
• 프랑스 데이터셋 특수 규칙: 프랑스 시험은 여러 정답이 동시에 유효할 수 있으므로, 모든 예상 정답을 정확히 식별했을 때만 '정답'으로 간주합니다.
• 메트릭: 정답률 (Accuracy) 을 주요 평가 지표로 사용하며, 텍스트 전용, 멀티모달, 원어 vs 번역어별로 결과를 계층화하여 분석합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 유럽 중심 멀티모달 벤치마크: 유럽 4 개국 (이탈리아, 프랑스, 스페인, 포르투갈) 의 공식 규제 시험을 기반으로 한 최초의 포괄적인 다국어, 멀티모달 의료 평가 데이터셋을 제시합니다.
2. 오염 저항성 (Contamination-Resistance): 공식 시험 문제와 최신 데이터 수집 방식을 통해 기존 데이터셋의 학습 데이터 오염 문제를 해결하고, 모델의 실제 일반화 능력을 측정할 수 있는 환경을 제공합니다.
3. 엄격한 평가 프로토콜: 데이터 오염, 위치 편향, 프롬프트 민감성 등을 통제하기 위한 엄격한 Zero-Shot 평가 파이프라인을 제시하여 모델 간 공정한 비교를 가능하게 합니다.
4. 멀티모달 및 다국어 능력 검증: 텍스트뿐만 아니라 의료 이미지 이해 능력과 언어 간 전이 (Cross-lingual transfer) 능력을 동시에 평가할 수 있는 체계를 마련했습니다.

4. 기대 결과 및 분석 계획 (Expected Results & Analysis)

• 성능 비교: 다양한 LLM 이 EuropeMedQA 데이터셋에서 원어와 영어 번역어, 텍스트 전용과 멀티모달 조건에서 어떻게 수행하는지 비교 분석합니다.
• 언어 및 문화적 편향 식별: 영어 중심 모델이 비영어권 임상 관행과 언어적 뉘앙스에서 겪는 한계를 정량화합니다.
• 멀티모달 가치 입증: 복잡한 의료 질문 해결에 있어 텍스트만 사용하는 모델 대비 이미지 정보를 활용한 모델의 성능 향상 폭을 규명합니다.
• 데이터 공개: 데이터셋과 메타데이터, 재현 가능한 스크립트를 공개하여 투명성과 재현성을 보장합니다.

5. 의의 및 중요성 (Significance)

• 의료 AI 의 일반화 능력 향상: 영어 중심의 편향을 넘어 전 세계 다양한 임상 환경에 적용 가능한 보다 강건한 의료 AI 모델 개발을 촉진합니다.
• 실제 임상 역량 평가: 단순한 지식 암기 수준을 넘어, 실제 진료에서 요구되는 복잡한 의사결정, 이미지 해석, 다국어 소통 능력을 평가할 수 있는 표준을 제시합니다.
• 연구 투명성 증대: FAIR 원칙과 SPIRIT-AI 가이드라인을 준수하여 의료 AI 연구의 방법론적 엄격성과 신뢰성을 높이는 데 기여합니다.
• 유럽 의료 시스템 반영: 유럽 각국의 고유한 의료 시스템, 진료 지침, 용어를 반영함으로써 지역별 맞춤형 AI 솔루션 개발의 기초를 제공합니다.

결론적으로, 본 논문은 의료 LLM 의 성능 평가가 영어와 텍스트에 국한되지 않도록 하기 위해, 유럽의 실제 규제 시험을 기반으로 한 고품질의 다국어·멀티모달 벤치마크 EuropeMedQA를 제안하고, 이를 통해 모델의 진정한 임상 적용 가능성을 검증할 엄격한 프로토콜을 제시한다는 점에서 중요한 의의를 가집니다.