MedGPT-oss: Training a General-Purpose Vision-Language Model for Biomedicine

이 논문은 환자 프라이버시와 PHI 준수를 위한 온프레미스 배포가 가능한 오픈 가중치 20B 파라미터 비전 - 언어 모델인 MedGPT-oss 를 소개하며, 이는 복잡한 아키텍처 없이도 최적화된 3 단계 훈련 커리큘럼을 통해 더 큰 오픈 의료 모델보다 우수한 성능을 보임과 동시에 상용 GPU 환경에 적합함을 입증합니다.

핵심

MEDGPT-OSS: 병원을 위한 '열린 눈'과 '똑똑한 두뇌'를 가진 AI

이 기술 보고서는 **'MEDGPT-OSS'**라는 새로운 인공지능 모델을 소개합니다. 이 모델을 쉽게 이해하기 위해, 마치 **병원을 운영하는 '만능 수석 의사'**를 상상해 보세요.

1. 왜 이 모델이 필요한가요? (현실의 문제)

지금까지 의료용 AI 는 대부분 **'특수한 일꾼'**들이었습니다.

• 어떤 AI 는 엑스레이만 보고,
• 어떤 AI 는 병리 슬라이드만 보고,
• 또 다른 AI 는 환자 기록 텍스트만 읽었습니다.

하지만 실제 진료는 이 모든 것을 동시에 봐야 합니다. 엑스레이 사진, 병리 검사 결과, 그리고 환자의 이야기까지 모두 종합해서 판단해야 하죠. 문제는 최고의 성능을 내는 AI 들은 **'비밀스러운 블랙박스'**처럼 외부에 공개되지 않았거나, 너무 비싸서 일반 병원이 쓸 수 없다는 점입니다. 병원에서는 환자 정보를 외부로 보낼 수 없기 때문에 (개인정보 보호), 자체 서버에서 돌릴 수 있는 AI 가 꼭 필요합니다.

2. MEDGPT-OSS 는 무엇인가요? (해결책)

이 모델은 **200 억 개의 파라미터 (뇌세포 수)**를 가진 **'열린 두뇌'**입니다.

• 오픈 소스 (Open-Weight): 누구나 무료로 다운로드하고, 병원 내부 서버에 설치해 쓸 수 있습니다.
• 범용성 (Generalist): 엑스레이, 조직 검사, 환자 기록 등 모든 정보를 한 번에 이해하고 대화할 수 있습니다.
• 가벼움: 거대하고 비싼 슈퍼컴퓨터가 아니라, 일반적인 병원용 그래픽 카드 (GPU) 도 충분히 돌릴 수 있을 정도로 효율적입니다.

3. 어떻게 만들었나요? (교육 과정)

이 모델은 처음부터 의료 전문가가 아니었습니다. 대신 세 단계의 특별한 교육 과정을 거쳤습니다.

1. 1 단계: 기초 다지기 (Pretraining)
   • 수백만 장의 의료 이미지와 설명을 보며 "이 사진은 폐렴이야", "이건 종양이야"라고 배우는 단계입니다. 이때는 '눈 (시각)'을 훈련시키고, '입 (언어)'은 잠자게 둡니다.
2. 2 단계: 심화 학습 (Mid-training)
   • 이제 '눈'과 '입'을 함께 움직이게 합니다. 긴 엑스레이 보고서나 복잡한 환자 기록을 읽으며, 이미지와 텍스트가 어떻게 연결되는지 깊이 이해시킵니다.
3. 3 단계: 실전 훈련 (Instruction Tuning)
   • 의사가 환자에게 질문하듯, "이 사진을 보고 소견을 써줘"나 "환자의 증상을 분석해줘" 같은 명령을 수행하도록 훈련합니다. 특히 **추론 능력 (왜 그런 결론이 나왔는지 설명하는 능력)**을 강화했습니다.

4. 이 모델의 특별한 능력 (성능)

이 모델은 놀라운 성과를 냈습니다.

• 작지만 강한 (20B vs 30B+): 보통 AI 는 크기가 클수록 똑똑하다고 생각하지만, MEDGPT-OSS 는 200 억 파라미터 크기임에도 불구하고, 300 억 이상인 다른 모델들보다 **더 어려운 문제 (예: 복잡한 임상 추론, 새로운 유형의 검사)**를 더 잘 풀었습니다.
• 비밀스러운 정보도 잘 처리 (OOD): 훈련 데이터에 없던 새로운 종류의 질병이나 이미지도 잘 이해합니다. 마치 새로운 환자를 처음 봐도 과거 경험을 바탕으로 잘 진단하는 것처럼요.
• 맥락 학습 (In-Context Learning): 몇 가지 예시만 보여줘도 새로운 업무를 척척 해냅니다. 다른 모델들은 예시를 보여줄 때 오히려 혼란을 겪는 경우가 많았는데, 이 모델은 예시를 통해 더 똑똑해집니다.

5. 요약: 왜 이것이 중요한가요?

MEDGPT-OSS 는 병원에서 직접 쓸 수 있는, 투명하고 안전한 의료 AI 의 기초를 닦았습니다.

• 비유하자면: 이전에는 고가의 '외부 전문 컨설팅 회사'를 부를 수밖에 없었는데, 이제는 병원이 자체적으로 **'만능 수석 의사'**를 채용하고, 필요할 때마다 교육시켜서 쓸 수 있게 된 것입니다.
• 미래: 이 모델은 아직 완성된 최종 제품이 아니라, 연구자들이 더 발전시키고 검증할 수 있는 **'튼튼한 토대'**입니다. 앞으로는 3D 영상 (CT/MRI) 을 더 잘 보고, 의사와 대화하며 복잡한 진료 과정을 도와주는 '지능형 에이전트'로 성장할 예정입니다.

결론적으로, 이 기술은 환자의 프라이버시를 지키면서도, 누구나 접근할 수 있는 최첨단 의료 AI를 현실화하는 중요한 한 걸음입니다.

기술 요약

MEDGPT-OSS: 의학을 위한 범용 비전 - 언어 모델 학습에 대한 기술 요약

이 보고서는 환자 프라이버시 보호와 PHI(개인건강정보) 규정 준수를 위해 온프레미스 배포가 필수적이지만, 기존 최첨단 시스템은 폐쇄형이거나 계산 비용이 너무 높아 배포가 어렵다는 문제를 해결하기 위해 MEDGPT-OSS를 소개합니다. MEDGPT-OSS 는 200 억 (20B) 파라미터 규모의 오픈 가중치 (open-weight) 범용 비전 - 언어 모델 (VLM) 로, 복잡한 임상 추론과 접근 가능한 배포 사이의 균형을 맞추도록 설계되었습니다.

1. 문제 정의 (Problem)

• 전문성 vs. 범용성: 기존 의료 AI 는 대부분 단일 작업 (예: 방사선학, 병리학, 임상 텍스트) 에 특화된 '전문가' 모델로, 실제 임상 환경에서 필요한 다중 모드 (이미지 + 텍스트) 및 장기적 (longitudinal) 의사결정을 통합하기 어렵습니다.
• 배포 장벽: 최첨단 범용 모델들은 대부분 폐쇄형 (closed-source) 이거나, 온프레미스 배포에 필요한 컴퓨팅 리소스가 너무 커서 병원 내부에서 실행하기 어렵습니다.
• 규모의 딜레마: 작은 모델 (예: 7B) 은 복잡한 다단계 임상 논리를 수행할 역량이 부족하고, 큰 모델 (30B 이상) 은 메모리 병목과 높은 서비스 비용을 초래합니다.
• 아키텍처 의존성: 많은 기존 접근법은 의료 도메인에 특화된 비전 인코더 (예: BiomedCLIP) 에 대한 의존도가 높아 유연성이 떨어집니다.

2. 방법론 (Methodology)

MEDGPT-OSS 는 복잡한 아키텍처보다는 최적화된 3 단계 학습 커리큘럼과 데이터 정제에 중점을 둡니다.

2.1 모델 아키텍처

• 비전 인코더 (Visual Encoder): 도메인 특화 모델 대신 CLIP-ViT-L/14를 사용합니다. 실험 결과, 대규모 일반 사전 학습에서 얻은 광범위한 시각적 사전 지식이 의료 추론에 더 강건한 기반을 제공함이 입증되었습니다.
• 프로젝션 모듈 (Projection Module): Q-Former 와 같은 복잡한 어텐션 메커니즘 대신, CLIP 특징을 언어 공간에 직접 매핑하는 **2 층 MLP(다층 퍼셉트론)**를 사용하여 공간적 정합성을 유지합니다.
• 언어 백본 (LLM Backbone): 임상 추론 벤치마크에서 뛰어난 성능을 보이는 **GPT-oss (20B)**를 기반으로 합니다. 이는 상용 GPU 에서 효율적으로 실행 가능한 크기를 유지하면서도 강력한 일반 능력을 보장합니다.

2.2 3 단계 학습 커리큘럼 (Training Curriculum)

모델의 도메인 적응을 위해 다음 3 단계를 거칩니다:

1. 프리트레이닝 (Pretraining): 짧은 컨텍스트의 의료 이미지 - 텍스트 쌍 (ROCOv2, Quilt-1M 등) 을 사용하여 다중 모드 정렬을 수행합니다. 이 단계에서는 LLM 백본을 고정하고 비전 인코더와 프로젝터만 학습시킵니다.
2. 미드트레이닝 (Mid-training): 긴 컨텍스트의 포괄적인 데이터 (MIMIC-CXR, MedTrinity 등, 약 19M 샘플) 를 사용하여 의료 지식을 통합합니다. 이 단계에서는 비전 인코더, 프로젝터, LLM 백본의 전체 파라미터를 업데이트합니다.
3. 지시 튜닝 (Instruction Tuning): 다양한 의료 지시사항과 추론 경로 (reasoning trajectories) 를 포함한 약 7M 쌍의 데이터로 모델의 추론 능력과 지시 준수 능력을 강화합니다.

2.3 구현 세부사항

• 하드웨어: 8 개의 NVIDIA B200 GPU 사용.
• 최대 시퀀스 길이: 32,768 (YaRN RoPE 스케일링을 통해 131,072 까지 확장 가능).
• 데이터: 훈련 데이터와 평가 데이터의 중첩을 방지하여 누출 (leakage) 을 최소화했습니다.

3. 주요 기여 (Key Contributions)

1. 통합된 다단계 학습 레시피: 20B 모델이 특수 비전 인코더 없이도 전략적인 데이터 정제와 결합된 파라미터 업데이트를 통해 최상위 성능을 낼 수 있음을 입증했습니다.
2. 최고 수준의 실증적 성능: 복잡한 다단계 임상 추론 및 다중 모드 컨텍스트 학습 (In-Context Learning) 을 요구하는 OOD(Out-of-Distribution) 벤치마크에서 30B+ 모델들을 능가하거나 경쟁하는 성능을 보였습니다.
3. 접근 가능한 임상 배포: 오픈 가중치 체크포인트, 데이터 레시피, 표준화된 평가 도구를 공개하여, 기관이 민감한 환자 데이터를 외부로 반출하지 않고도 온프레미스에서 프라이버시를 보호하며 검증 가능한 임상 AI 를 구축할 수 있는 생태계를 제공합니다.

4. 실험 결과 (Results)

MEDGPT-OSS-20B 는 다양한 벤치마크에서 SOTA(최고 수준) 성능을 기록했습니다.

• 시각적 질문 응답 (VQA):
  • MedXQA (멀티모달): 49.23% 정확도로 2 위 모델 대비 +14.88% 의 압도적인 개선을 보이며 1 위를 차지했습니다.
  • MMMU-Med (dev): 61.49% 로 1 위를 기록했습니다.
  • MedFrameQA: 63.01% 로 1 위를 기록했습니다.
  • 32B 모델 (Lingshu-32B 등) 과 비교했을 때, OOD 벤치마크에서 더 우수한 성능을 보였습니다.
• 텍스트 기반 질문 응답 (Text QA):
  • Medbullets: 68.71% 로 1 위 (실제 USMLE 시나리오를 모방한 고난도 데이터셋).
  • MedXQA (텍스트 전용): 25.38% 로 32B/27B 모델들을 모두 제치고 1 위를 차지했습니다.
• 보고서 생성 (Report Generation):
  • MIMIC-CXR 벤치마크에서 RadGraph-F1, RaTEScore 등 3 가지 임상 지표에서 32B 모델들에 이어 3 위를 기록하며, 동급 모델 (MedGemma-27B 등) 보다 월등히 높은 성능을 보였습니다.
• 컨텍스트 학습 (In-Context Learning):
  • Patient-trial: 0-shot(48.81%) 에서 1-shot(55.60%) 으로 성능이 크게 향상되었습니다.
  • 반면, 다른 베이스라인 모델들은 추가적인 데모를 제공받았을 때 오히려 성능이 하락하는 (negative transfer) 경향을 보였으나, MEDGPT-OSS 는 새로운 컨텍스트 정보를 효과적으로 통합했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 성능의 균형: 20B 파라미터라는 상대적으로 작은 규모로, 더 큰 모델들을 능가하는 임상 추론 능력을 보여주어 "작지만 강력한 (punch above its weight)" 모델의 가능성을 입증했습니다.
• 프라이버시 중심의 AI: 폐쇄형 모델에 의존하지 않고도 온프레미스, 에어갭 (air-gapped) 환경에서 안전한 의료 AI 를 구축할 수 있는 길을 열었습니다.
• 연구의 투명성: 전체 학습 레시피, 데이터, 평가 코드를 공개하여 의료 AI 연구 커뮤니티가 검증 가능하고 신뢰할 수 있는 기반 위에서 발전할 수 있도록 기여했습니다.

한계 및 향후 과제:
현재 모델은 연구용 기반 (foundation) 으로 위치하며, 실제 임상 배포를 위해서는 다양한 의료 기관 간의 도메인 시프트 검증이 필요합니다. 또한, 장기 텍스트 생성 시 발생할 수 있는 환각 (hallucination) 문제를 해결하기 위해 강화 학습 (RLHF/RLAIF) 과 3D 이미지 처리, 에이전트 기능 (외부 도구 활용) 통합 등을 향후 발전 방향으로 제시하고 있습니다.