MMRareBench: A Rare-Disease Multimodal and Multi-Image Medical Benchmark

MMRareBench: 희귀질환을 위한 멀티모달 및 다중 이미지 의료 벤치마크

1. 문제 제기 (Problem)

• 희귀질환의 진단 난이도: 전 세계 3 억 명 이상의 희귀질환 환자가 존재하지만, 각 질환은 드물게 발생하여 '롱테일 (long-tail)' 분포를 형성합니다. 이로 인해 질환별 사전 지식 (prior) 이 부족하고, 임상적 판단이 특정 사례의 증거에 엄격하게 의존해야 합니다.
• 기존 벤치마크의 한계:
  • 현재 존재하는 의료 AI 벤치마크는 주로 흔한 질환 (common conditions) 이나 단일 이미지 (single-image) 기반의 시험 문제 형식에 초점을 맞추고 있습니다.
  • 희귀질환의 복잡한 진단 과정 (텍스트, 표, 여러 시점/모달리티의 이미지 통합) 을 평가할 수 있는 체계가 부재합니다.
  • 기존 희귀질환 벤치마크는 텍스트 기반 진단 정확도 위주이며, 시각적 증거의 통합이나 다중 이미지 분석 능력을 평가하지 못합니다.
• 핵심 요구: 희귀질환 진단을 위해서는 (1) 텍스트, 시각, 표 데이터의 멀티모달 통합과 (2) 한 사례 내 여러 이미지를 선택, 정렬, 비교하는 다중 이미지 분석 능력이 필수적입니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 큐레이션 (Data Source & Curation)

• 소스: 2005 년부터 2025 년까지 발표된 14,700 건의 PMC(미국 의학중앙도서관) 사례 보고서 수집.
• 처리 파이프라인: 5 단계 프로세스를 거쳐 1,756 개의 벤치마크 항목 (403 가지 희귀질환) 으로 구성.
  • Ontology 정렬: Orphanet(희귀질환 명명법) 의 ORPHA 코드에 매핑하여 질환을 표준화.
  • 증거 기반: 각 사례는 텍스트 블록, 이미지, 표로 분해되어 영구 식별자 (persistent identifier) 를 부여받음.
  • 단일 환자 필터링: 다중 환자 보고서는 제외하고 단일 환자 사례만 선별.

2.2 누출 방지 및 질문 생성 (Leakage Control & QA Generation)

• 누출 방지 (Leakage Control): 진단 결론이 입력 문맥에 노출되는 것을 방지하기 위해 3 단계 가림 (Masking) 처리를 적용.
  • 1 단계: 메타데이터 및 요약 (제목, 초록, 결론) 제거.
  • 2 단계 (T1, T4): 주요 진단명 및 동의어를 [DIAGNOSIS_MASKED] 로 대체.
  • 3 단계 (T1, T3, T4): 그림 및 표 캡션을 [CAPTION_MASKED] 로 대체.
• 질문 생성: 가림된 문맥과 이미지를 기반으로 GPT-5.1 을 사용하여 트랙별 질문, 정답, 구조화된 목표 (계획 요소, 관계 유형 등) 를 생성.
• 증거 체인 (Evidence Chain): 모델은 답변 시 2~5 개의 주장 (claim) 을 생성해야 하며, 각 주장은 특정 증거 단위 (evidence-unit) 와 인용구를 명시해야 함.

2.4 작업 정의: 4 가지 임상 트랙 (Task Definition)
희귀질환 진단 워크플로우에 맞춰 4 가지 트랙을 정의:

1. T1 진단 (Diagnosis): 가림된 임상 서술과 여러 이미지를 바탕으로 주요 진단을 예측 (개방형).
2. T2 치료 계획 (Treatment Planning): 진단이 주어졌을 때, 안전성, 불확실성 하의 연기, 모니터링 등을 포함한 단계별 치료 계획 수립.
3. T3 교차 이미지 증거 정렬 (Cross-Image Evidence Alignment): 서로 다른 모달리티 (예: 방사선 vs 병리) 의 여러 이미지 간 발견 사항을 설명하고, 이미지 간 관계를 정렬하여 통합된 임상 통찰 도출.
4. T4 검사 제안 (Examination Suggestion): 특정 시점까지의 가림된 사례를 바탕으로, 진단 불확실성을 줄이기 위한 차기 우선 검사 항목 및 근거 제안.

2.5 평가 프로토콜 (Evaluation Metrics)

• 2 단계 평가:
  • L1 모델 기반 채점 (Model-graded Rubric Scoring): Qwen3-VL-235B 를 심사자로 활용. 트랙별 엄격한 채점 기준 (Rubric) 을 적용 (예: T1 은 정답 일치도, T2 는 치료 구체성 등). LLM 의 관대함 편향을 막기 위해 '기본값은 부정 (NO)' 원칙 적용.
  • L2 결정적 검증 (Deterministic Verification): T1 의 경우 SQuAD 스타일 토큰 수준 F1 점수를 계산하여 정량적 정확도 측정.

3. 주요 기여 (Key Contributions)

1. 최초의 희귀질환 멀티모달 벤치마크: Orphanet 에 정렬된 최초의 멀티모달 (텍스트+이미지) 및 다중 이미지 (Multi-image) 희귀질환 벤치마크인 MMRareBench를 제안.
2. 워크플로우 정렬 평가: 진단, 치료 계획, 교차 이미지 정렬, 검사 제안 등 4 가지 임상 워크플로우에 맞춘 구조화된 평가 태스크 정의.
3. 대규모 모델 벤치마킹 및 통찰: 23 개의 멀티모달 대규모 언어 모델 (MLLM) 을 평가하여 희귀질환 워크플로우에서의 체계적인 능력 격차와 '용량 희석 (Capacity Dilution)' 현상을 발견.

4. 실험 결과 (Results)

• 전체 성능 (RQ1):
  • 치료 계획 (T2) 이 가장 어려운 트랙: 모든 모델에서 T2 점수가 현저히 낮음 (최고 모델 기준 49.2 점). 표준 프로토콜이 부재하고 위험 감수 판단이 필요한 영역이라 모델이 어려움을 겪음.
  • 폐쇄형 모델 우위: GPT-5, Claude 등 폐쇄형 모델이 오픈소스 모델보다 전반적으로 높은 성능을 보임.
• 전문성 격차 (RQ2):
  • 진단 (T1) vs 교차 이미지 정렬 (T3): 의료 도메인 특화 모델 (Medical-domain MLLMs) 은 일반 목적 모델보다 진단 (T1) 성능이 비슷하거나 약간 뒤처질 뿐임.
  • 용량 희석 효과 (Capacity Dilution): 그러나 다중 이미지 트랙 (T3) 에서 의료 특화 모델은 일반 목적 모델보다 성능이 크게 떨어짐 (최고 의료 모델이 최고 일반 오픈소스 모델보다 29 점 이상, 폐쇄형 모델보다 43.5 점 이상 낮음).
  • 원인: 의료 파인튜닝이 제한된 파라미터 모델에서 흔한 질환의 패턴 인식을 강화하는 대신, 희귀질환에 필요한 복잡한 다중 이미지 증거 통합 능력을 약화시키는 것으로 분석됨.
• 평가의 일관성 (RQ3):
  • 단일 트랙에서의 높은 점수가 다른 트랙에서의 성능을 보장하지 않음. 현재 어떤 아키텍처도 4 가지 트랙을 모두 종합적으로 수행하지 못함.

5. 의의 및 결론 (Significance)

• 임상적 중요성: 희귀질환 진단은 단순한 패턴 인식이 아니라, 불완전하고 모순될 수 있는 다중 증거 (텍스트, 여러 이미지) 를 통합하는 고도화된 추론이 필요합니다. MMRareBench 는 이러한 능력을 평가할 수 있는 표준을 제시합니다.
• 모델 개발 방향성: 의료 특화 모델이 진단 정확도는 높일 수 있으나, 다중 이미지 통합 능력은 오히려 저하시킬 수 있음을 경고합니다. 향후 의료 AI 개발은 단순한 진단 정확도 향상을 넘어, 다중 모달리티 증거를 통합하고 교차 검증하는 능력을 강화해야 함을 시사합니다.
• 향후 연구: 치료 계획 수립의 어려움과 용량 희석 현상을 해결하기 위한 새로운 아키텍처 및 학습 전략 개발의 필요성을 제기합니다.

이 벤치마크는 익명화되어 공개될 예정이며 (anonymous.4open.science), 희귀질환을 위한 증거 기반 멀티모달 임상 평가의 새로운 기준이 될 것으로 기대됩니다.