Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework

1. 문제 정의 (Problem)

의료 분야에 대형 언어 모델 (LLM) 을 도입할 때, 단순히 평균 정확도 (Average Accuracy) 가 높다는 것만으로는 충분하지 않습니다.

• 일관성 부재의 위험: 동일한 질문을 반복적으로 입력했을 때 모델이 매번 substantively(실질적으로) 다른 답변을 반환한다면, 이는 신뢰할 수 있는 의료 도구가 될 수 없습니다.
• 기존 평가의 한계: 현재 의료 NLP 벤치마크 (MedQA, PubMedQA 등) 는 단일 실행 (Single-pass) 시의 정확도만 평가하며, 모델 실행 간 변동성 (Run-to-run variance) 을 측정하지 않습니다.
• 실제 적용의 필요성: Reddit 과 같은 온라인 건강 커뮤니티나 의료 보조 도구로 LLM 을 활용할 때, 답변의 정확성뿐만 아니라 출력 일관성 (Consistency) 과 재현성 (Reproducibility) 이 안전과 신뢰를 위해 필수적입니다.

2. 방법론 (Methodology)

저자는 재현성을 1 순위 지표로 삼는 실용적인 오픈소스 평가 프레임워크를 제안했습니다.

• 데이터셋:
  • MedQuAD 사용: NIH 온라인 건강 리소스에서 추출된 16,412 개의 의료 Q-A 쌍 중 고정된 시드 (seed=42) 로 무작위 추출한 50 개의 질문을 사용했습니다.
  • 각 질문에 대해 모델당 10 회 반복 추론 (N=10) 을 수행하여 총 1,500 개의 응답을 생성했습니다.
• 평가 대상 모델:
  • Llama 3.1 8B: 범용 지시 튜닝 모델 (8B 파라미터).
  • Gemma 3 12B: 더 큰 규모의 범용 모델 (12B 파라미터).
  • MedGemma 1.5 4B: 임상 코퍼스로 파인튜닝된 모델 (4B 파라미터).
  • 참고: 모든 모델은 Ollama 런타임을 통해 로컬에서 실행되었으며, 시스템 프롬프트와 생성 파라미터 (Temperature=0.2, Top-p=1.0 등) 를 동일하게 고정했습니다.
• 평가 지표 (Metrics):
  1. 품질 지표 (Quality Metrics): 생성된 답변과 금표준 (Gold Standard) 답변을 비교.
     • BERTScore, ROUGE-L, BLEU, Token F1, String Similarity, Exact Match 등 6 가지 지표.
     • LLM-as-judge: 로컬 호스팅된 20B 오픈소스 모델을 심사관으로 사용하여 사실적 정확성과 임상적 안전성을 0~1 점으로 평가.
  2. 재현성 지표 (Reproducibility Metrics):
     • 자기 일치율 (Self-agreement rate): N 번 실행 중 가장 빈번한 (Modal) 답변과 일치하는 비율.
     • 답변 고유성 비율 (Response uniqueness rate): N 번 실행 중 서로 다른 답변이 생성된 비율.
  3. 효율성: 지연 시간 (Latency) 및 처리량 (Throughput).
• 파이프라인:
  • Python CLI 기반 모듈러 파이프라인 (run → score → report) 으로 구현되어 재현성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 재현성 우선 평가 프로토콜: 정확도 평가와 병행하여 모델 내 실행 간 일관성 (Self-agreement) 과 응답 고유성을 정량화하는 새로운 평가 체계 제시.
2. 오픈소스 모듈러 파이프라인: 재현 가능한 평가를 위한 재개 가능한 (Resumable) CLI 도구 공개.
3. 실증적 발견: 낮은 온도 (T=0.2) 설정에서도 재현성 실패가 지속됨을 입증하고, 임상 파인튜닝 모델이 규모가 큰 범용 모델보다 성능이 낮을 수 있음을 보여줌 (단, 파라미터 수 차이로 인한 혼란 변수 존재).

4. 실험 결과 (Results)

50 개 질문, 모델당 10 회 실행 (총 1,500 회) 의 결과는 다음과 같습니다.

• 재현성의 심각한 부재:
  • T=0.2라는 낮은 온도 설정임에도 불구하고, 모델의 자기 일치율은 최대 0.20(20%) 에 불과했습니다.
  • Gemma 3 12B: 86.8% 의 고유한 답변 생성.
  • MedGemma 1.5 4B: 93.6% 의 고유한 답변 생성.
  • Llama 3.1 8B: 97.4% 의 고유한 답변 생성 (가장 일관성 없음).
  • 즉, 동일한 질문에 대해 모델이 거의 항상 다른 답변을 내놓는다는 것을 의미합니다.
• 품질 vs. 재현성 트레이드오프:
  • Llama 3.1 8B: 가장 빠른 처리량 (43.0 tok/s) 과 높은 어휘적 품질 (Token F1) 을 보였으나, 재현성은 가장 낮았습니다.
  • Gemma 3 12B: 가장 높은 심사관 점수 (0.600) 와 가장 좋은 재현성 (상대적으로 86.8% 고유성) 을 보였으나, 속도가 가장 느렸습니다.
• 임상 파인튜닝의 한계:
  • 임상 특화 모델인 MedGemma 1.5 4B는 품질, 재현성, 효율성 모든 면에서 더 큰 규모의 범용 모델 (Llama 8B, Gemma 12B) 보다 낮은 성능을 보였습니다.
  • 주의: MedGemma(4B) 는 다른 모델들 (8B, 12B) 보다 파라미터 수가 2~3 배 적어, 성능 차이가 파인튜닝의 실패인지 모델 규모 (Scale) 의 차이인지 명확히 구분하기 어렵습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 의료용 LLM 배포에 있어 다음과 같은 중요한 시사점을 제공합니다.

1. 낮은 온도 (Low Temperature) 는 재현성을 보장하지 않음: T=0.2 설정만으로는 안정적인 출력을 기대할 수 없으며, 의료 환경에서는 다중 실행 (Ensembling), 다수결 투표, 또는 인간 검토 (Human-in-the-loop) 와 같은 출력 안정화 전략이 필수적입니다.
2. 규모 (Scale) 가 파인튜닝보다 중요할 수 있음: 소규모 모델에 대한 임상 파인튜닝은 대규모 범용 모델의 성능을 대체하지 못했습니다. 모델 선택 시 브랜드나 도메인 라벨보다는 동일한 규모 (Same-size) 의 베이스라인과 비교하여 실증적으로 검증해야 합니다.
3. 새로운 평가 패러다임의 필요성: 의료 분야에서는 평균 정확도뿐만 아니라 출력 변동성 (Variance) 을 반드시 보고해야 합니다. 단일 실행 벤치마크는 이러한 위험을 완전히 감추고 있습니다.
4. 실용적 도구 제공: 연구진은 모든 코드, 데이터 처리 파이프라인, 실험 결과를 오픈소스로 공개하여, 실무자들이 자신의 모델 선정 워크플로우에 이 재현성 지표를 쉽게 적용할 수 있도록 했습니다.

결론적으로, 이 논문은 의료 AI 의 안전성을 확보하기 위해 정확도 (Accuracy) 와 재현성 (Reproducibility) 을 동등한 차원의 평가 기준으로 삼아야 함을 강력하게 주장합니다.