기술 요약: Fully Open Meditron: 임상용 LLM 을 위한 감사 가능한 파이프라인

문제 제기

현재 대규모 언어 모델 (LLM) 기반 임상 의사결정 지원 시스템 (LLM-CDSS) 은 근본적인 투명성 부재를 겪고 있습니다. 많은 '오픈' 의료 모델이 가중치를 공개하지만, 모델 행동을 결정하는 데이터 출처, 큐레이션 절차, 생성 파이프라인은 공개하지 않습니다. 이러한 불투명성은 모델이 가이드라인 기반 증거, 벤치마크 아티팩트, 또는 합성 환각에서 학습되었는지에 대한 엄격한 감사를 불가능하게 만듭니다. 또한, 표준 의료 벤치마크는 종종 포화 상태에 이르러, 성능 향상이 실제 임상 역량이 아닌 데이터 오염이나 암기에 반영될 수 있습니다. 현재 의료 분야에는 학습 스택을 엔드투엔드로 완전히 공개하는 '완전 오픈 (Fully Open, FO)' 모델이 존재하지 않아, 감사 가능한 AI 에 대한 필요성과 불투명한 적응 파이프라인의 현실 사이에 격차가 존재합니다.

방법론

저자들은 FO 기반 모델을 의료 전문 모델로 적응시키는 첫 번째 완전 오픈 파이프라인인 Fully Open Meditron을 소개합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. Fully Open Meditron 코퍼스

코퍼스는 공개 의료 데이터셋의 분포적 격차 (예: 응급 치료, 생명 위협 사례, 저자원 환경의 과소 대표성) 를 해결하도록 구축되었습니다.

• 집계: 여덟 개의 공개 의료 QA 데이터셋 (MedQA, MedMCQA, PubMedQA, MedExpQA, HealthSearchQA, LiveQA, AfriMed-QA v1/v2) 이 단계별 논리와 함께 정규화된 대화 형식으로 통합되었습니다.
• 합성 확장: 커버리지를 확장하기 위해 저자들은 GPT-OSS-120B를 활용하여 네 명의 의사가 검증한 세 가지 합성 구성 요소를 생성했습니다:
  • 합성 큐레이션 QA: 큐레이션 풀에서 시드된 새로운 시험 스타일의 QA 쌍으로, 질문 유형별로 층화되었습니다.
  • 가이드라인 QA: 16 개 글로벌 기관의 46,469 개 임상 진료 가이드라인에 기반한 QA 쌍입니다.
  • 합성 MOOVE: 복잡한 진단 추론을 유도하기 위해 MOOVE 학습 분할에서 시드된 개방형 임상 사례입니다.
• 품질 관리: 파이프라인은 평가 벤치마크와의 중복을 제거하기 위해 (Apertus 에서 적응된) 2 단계 n-그램 및 토큰 정렬 파이프라인을 사용하여 시스템 전체의 오염 제거를 강제합니다. 합성 목표물은 환각을 완화하기 위해 골드 레이블 거부 샘플링 (T=0.7 에서 최대 8 배) 을 거칩니다.

2. 학습 프레임워크

이 레시피는 다섯 개의 완전 오픈 기반 모델에 적용되었습니다: Apertus-70B/8B-Instruct, OLMo-2-32B-SFT, EuroLLM-22B/9B-Instruct, 그리고 하나의 오픈 가중치 제어 모델인 Gemma-3-27B-IT.

• 모델들은 Fully Open Meditron 코퍼스에서 지도 미세 조정 (SFT) 을 통해 적응되었습니다.
• 학습은 각 기반 모델의 네이티브 지시 미세 조정 형식을 유지합니다.
• 인프라는 Flash Attention 2 와 혼합 정밀도 학습을 갖춘 NVIDIA GH200 노드를 활용합니다.

3. 평가 프로토콜

저자들은 개방형 임상 추론을 포착하기 위해 표준 객관식 질문 (MCQ) 을 넘어선 평가를 수행합니다.

• 구조화된 벤치마크: MedQA, MedMCQA, PubMedQA, 그리고 OOD 검사를 위한 홀드아웃 MedXpertQA 에 대한 평가.
• 개방형 평가:
  • HealthBench: 의사가 작성한 루브릭을 사용하여 개방형 응답을 점수화합니다.
  • Auto-MOOVE: 임상 사례에 대한 쌍별 비교를 수행하기 위해 Qwen3-235B-A22B를 사용하는 자동화된 'LLM-as-a-judge' 프로토콜 (204 명의 인간 평가자에 대해 검증됨). 이는 질문 이해, 논리적 추론, 관련성, 해로움 없음, 공정성, 문맥 인식, 의사소통, 명확성, 가이드라인 정렬 등 아홉 가지 기준을 평가합니다.

주요 기여

1. 완전 오픈 의료 적응 프레임워크: 코퍼스 구축, 합성 생성, 오염 제거, 학습, 평가를 아우르는 재현 가능한 엔드투엔드 파이프라인.
2. 임상가 감사 지식 코퍼스: 공개 QA 와 합성 확장을 결합한 통합 데이터셋으로, 응급 치료 (15.0% → 38.7%) 와 생명 위협 심각도 (8.6% → 31.8%) 에 대한 커버리지를 크게 변화시킴.
3. 자동화된 개방형 평가 프로토콜: 인간 간 평가자 일치도를 검증받은 Auto-MOOVE 프레임워크로, 다차원 임상 추론을 평가함.
4. 완전 오픈 의료 전문 모델 패밀리: FO 제약 하에서도 경쟁력 있는 의료 전문화가 가능함을 보여주는 다섯 개의 새로운 모델.

결과

• 벤치마크 성능: 모든 MeditronFO 변형은 각각의 기반 모델보다 우수한 성능을 보입니다. Apertus-70B-MeditronFO는 완전 오픈 모델에 대한 새로운 최첨단 (SoTA) 을 수립하여, 집계 의료 벤치마크 점수를 47.2% 에서 **53.8%**로 6.6 포인트 향상시켰습니다.
• 전유/오픈 가중치 모델과의 비교:
  • Apertus-70B-MeditronFO 는 MedGemma-27B 와의 격차를 좁혔습니다 (60.67% 대 53.77%) 하지만 여전히 가장 강력한 완전 오픈 시스템입니다.
  • Gemma-3-27B-MeditronFO는 전유 모델인 MedGemma보다 Auto-MOOVE 쌍별 비교에서 58.6% 선호되며, HealthBench 에서도 우세합니다 (58.0% 대 55.9%).
• 개방형 평가: 모든 MeditronFO 변형은 쌍별 평가에서 해당 기반 모델보다 선호됩니다 (승률 67.2% 에서 92% 범위). 개선은 아홉 가지 임상 기준 전반에 걸쳐 일관되며, 단일 차원에 국한되지 않습니다.
• 애블레이션 연구: 특정 코퍼스 구성 요소를 제거하면 트레이드오프가 드러납니다. '가이드라인 QA'를 제거하면 MCQA 정확도가 약간 향상되었으나 개방형 선호도는 변함없었고, '큐레이션 QA'를 제거하면 개방형 품질이 크게 저하되어 시험 스타일 감독이 광범위한 임상 추론에 기여함을 시사합니다.

중요성 및 주장

이 논문은 Fully Open Meditron이 감사 가능성이나 재현성을 희생하지 않고도 완전 오픈 파이프라인이 최첨단 도메인별 성능을 달성할 수 있음을 보여준다고 주장합니다. 저자들은 오픈 모델과 폐쇄 모델 간의 성능 격차가 오픈 모델의 고유한 한계가 아닌 코퍼스 구축의 결과라고 논합니다. 투명하고 임상가가 감사한 파이프라인을 제공함으로써, 이 연구는 엄격한 검증을 가능하게 하고 의료 AI 의 '불투명성' 문제를 해결합니다. 결과는 임상적으로 경쟁력 있는 전문화가 규율 있는 데이터 큐레이션과 개방형 평가를 통해 달성될 수 있음을 시사하며, 향후 완전 오픈 의료 모델을 위한 재사용 가능한 기반을 제공합니다.

저자들은 한계에 대해 겸손하게 언급하며, 그들의 오염 제거가 의미론적이 아닌 구문적이며, 합성 데이터가 코퍼스의 약 64% 를 차지하고 (감사는 샘플링된 QA 쌍으로 제한됨), 단일 교사/심사자 설정이 스타일적 편향을 도입할 수 있음을 지적합니다. 그들은 코퍼스의 오픈 특성이 위험에 대한 부분적 완화 (감사 가능) 이지만, 동시에 부분적 증폭 (감사하지 않을 수 있는 당사자에 의한 재현성) 이라고 강조합니다.