⚡ electrical engineering

OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

OpenMedQ는 335만 개의 샘플로 구성된 광범위하고 완전 개방된 데이터셋을 통해 사전 학습된 최첨단 의료 시각-언어 모델로, 주요 벤치마크에서 Med-PaLM M과 같은 훨씬 더 큰 모델보다 성능이 뛰어나며 다운스트림 의료 분류 작업에서도 우수한 성능을 달성합니다.

원저자: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 의학이라는 복잡한 세상을 이해하도록 가르치려 한다고 상상해 보십시오. 보통 이를 위해서는 두 가지가 필요합니다. 의료 보고서를 읽을 수 있는 '두뇌'와 X-레이, 현미경, 병리 슬라이드를 볼 수 있는 한 쌍의 '눈'입니다.

오랫동안 이 분야에서 가장 뛰어난 로봇(AI 모델)들은 비밀스러운 천재와 같았습니다. 그들은 매우 똑똑하지만, 제작자들이 그들의 훈련 교재(데이터)와 두뇌 가중치를 숨겨두었습니다. 당신은 그들이 어떻게 학습했는지 알 수 없고, 그 지식을 재사용할 수도 없으며, 그들의 실수를 바로잡을 수도 없습니다. 다른 모델들은 특화된 견습생과 같습니다. 특정 작업(예: X-레이 판독)에는 뛰어나지만, 전체적인 그림을 이해할 만큼 충분한 책을 읽지는 못했습니다.

OpenMedQ는 이 문제에 대한 논문의 해답입니다. 이는 저자들이 이 정도 규모의 모델을 훈련시키기 위해 지금까지 집계된 것 중 가장 방대하고 자유로운 오픈 소스 의학 교과서 및 이미지 세트를 모아 구축한 새로운 '오픈 소스' 의료 로봇입니다.

다음은 그들이 무엇을 했고 무엇을 발견했는지에 대한 내용을 쉬운 비유를 사용하여 정리한 것입니다.

1. "도서관" (훈련 데이터)

대부분의 의료 AI 모델은 작고 좁은 도서관의 책들로 훈련됩니다. 하지만 OpenMedQ는 약 335만 개의 예시가 담긴 14개의 서로 다른 데이터셋을 포함하는 거대하고 다양한 도서관에서 훈련되었습니다.

이렇게 생각해 보세요:

다른 모델들은 심장 X-레이에 관한 책만 읽을 수도 있습니다.
OpenMedq는 심장 X-레이, 뇌 스캔, 세포의 현미경 슬라이드, 심지어 텍스트 기반의 의학 퀴즈까지 모든 종류의 책을 읽었습니다.
결정적으로, 이 도서관에 있는 모든 책은 누구나 사용할 수 있도록 공개되어 있고 자유로운 것이었습니다. 저자들은 자신들의 출처를 숨기지 않았습니다.

2. "두뇌"와 "눈" (아키텍처)

이 모델은 표준적인 현대 AI(LLaVA 스타일이라 불림)처럼 구축되었습니다.

눈 (비전 인코더): 의료 이미지를 보는 데 이미 능숙한 사전 훈련된 "눈"(BiomedCLIP이라는 모델)을 사용합니다.
두뇌 (언어 모델): 그 눈을 의학 텍사를 잘 다루는 거대 언어 두뇌(LLaMA-7B)에 연결합니다.
훈련: 그들은 "다음 토큰 예측(next-token prediction)"이라는 기술을 사용하여 눈과 두뇌가 서로 대화하도록 가르쳤습니다. 로봇에게 이미지와 질문을 보여주고, 패턴을 배울 때까지 정답의 다음 단어를 계속해서 추측하게 하는 과정을 상상해 보십시오.

3. "시승 테스트" (결과)

저자들은 OpenMedQ가 얼마나 잘 배웠는지 확인하기 위해 두 가지 주요 테스트를 실시했습니다.

테스트 A: "일반 지식" 퀴즈 (시각적 질의응답)
그들은 로봇에게 이미지를 바탕으로 한 의학적 질문을 던졌습니다 (예: "이 X-레이가 보여주는 것은 무엇인가?").

결과: OpenMedQ는 현존하는 가장 크고 비싼 모델들보다 높은 점수를 기록했습니다.
비유: OpenMedQ가 7B 파라미터의 두뇌(중간 크기의 두뇌)를 가진 학생이라고 가정해 봅시다. 이 학생은 거대한 562B 파라미터의 두뇌(거대 슈퍼컴퓨터 두뇌)를 가진 모델과 대결했습니다. 이 거대 모델보다 약 80배나 작음에도 불구하고, OpenMedQ는 특정 테스트(PathVQA)에서 더 높은 점수를 받았고, 또 다른 테스트(VQA-MED)에서는 최고 점수와 대등한 성적을 냈습니다.
주장: 이는 방대하고 '거대한 비밀 두뇌'를 갖는 것보다, 폭넓고 공개된 도서관의 훈련 데이터를 갖는 것이 더 중요하다는 것을 증명합니다.

테스트 B: "전문가" 시험 (이미지 분류)
그들은 OpenMedQ의 "눈"(비전 부분)만을 가져와서, 모델이 이전에 본 적 없는 8가지 의료 이미지 작업(예: 초음파에서의 유방암 식별 또는 흉부 X-레이에서의 폐렴 식별)에 대해 테스트했습니다.

결과: OpenMedQ의 눈은 세 가지 최상위 의료 모델(BiomedCLIP, PMC-CLIP, PubMedCLIP) 및 처음부터 훈련된 모델보다 평균적으로 더 나은 성능을 보였습니다.
비유: 이는 모든 것을 조금씩 경험해 본 일반의에게 특정 질병을 진단하라고 요청하는 것과 같습니다. 훈련 과정에서 매우 다양한 사례를 보았기 때문에, 좁은 분야에만 특화된 의사들보다 새로운 상황에서 패턴을 찾아내는 능력이 더 뛰어났던 것입니다.

4. "함정" (한계점)

저자들은 로봇이 여전히 어려움을 겪는 부분에 대해 솔직하게 밝히고 있습니다.

모든 곳에서 완벽하지 않음: OpenMedQ가 평균적으로는 최고였지만, 모든 카테고리에서 승리한 것은 아닙니다. 예를 들어, 유방 초음파 이미지에서는 다른 모델이 여전히 약간 더 나은 성능을 보였습니다.
표면적인 수준: 테스트 점수(BLEU-1)는 로봇의 단어가 인간의 답변과 얼마나 유사한지를 측정하는 것이지, 의학적 추론이 반드시 100% 정확한지를 의미하는 것은 아닙니다.
"거대 두뇌"가 여전히 이기는 경우도 있음: 거대하고 비밀스러운 모델들(Med-PaLM M 등)은 방사선학 및 현미경학과 관련된 일부 어렵고 구체적인 테스트에서 여전히 더 나은 성과를 보였습니다.

핵심 요약

이 논문의 핵심 메시지는 다양성과 개방성이 강력한 도구라는 것입니다. 훌륭한 의료 AI를 만들기 위해 반드시 비밀스러운 거대 슈퍼컴퓨터를 가질 필요는 없습니다. 만약 사용 가능한 가장 폭넓고 공개된 의료 데이터 컬렉션을 바탕으로 중간 크기의 모델을 훈련시킨다면, 훨씬 더 크고 폐쇄적인 모델들을 이길 수 있습니다.

저자들은 자신들의 코드, 훈련 레시피, 그리고 대화형 데모를 대중에게 공개하여, 누구나 검토하고, 재사용하며, 자신들의 연구를 발전시킬 수 있도록 초대했습니다.

기술 요약: OpenMedQ: 광범위한 오픈 사전 학습 기반 의료 시각-언어 모델

문제 정의

의료 파운데이션 모델의 역량이 증가하고 있음에도 불구하고, 완전히 공개된 광범위한 사전 학습 베이스라인의 가용성에는 상당한 격차가 존재한다. 대부분의 발표된 의료 시각-언어 모델(VLM)은 좁은 범위의 사전 학습 소스에 의존하며, 모델 가중치나 학습 데이터를 모두 혹은 일부 공개하지 않는 경우가 많다. 기존의 대조 학습 인코더(예: BiomedCLIP, PMC-CLIP)는 단일 이미지-캡션 코퍼스에서 학습되는 반면, 생성형 VLM(예: PMC-VQA, LLaVA-Med) 또한 비교적 좁은 사전 학습 혼합물을 사용한다. BiomedGPT나 Med-PaLM M과 같은 더 큰 모델들은 데이터와 파라미터 규모를 키웠으나 가중치를 공개하지 않는다. 결과적으로, 실무자들은 검사, 재사용 및 확장이 가능하면서도 광범위하게 사전 학습된, 투명하고 재현 가능한 베이스라인을 확보하는 데 어려움을 겪고 있다.

방법론

저자들은 광범위한 오픈 사전 학습을 통해 이러한 한계를 해결하기 위해 설계된 의료 VLM인 OpenMedQ를 소개한다.

아키텍처: OpenMedQ는 비전 인코더와 언어 모델로 구성된 LLaVA 스타일의 아키텍처를 따른다.
- 비전 인코더: BiomedCLIP에서 초기화된 ViT-base-patch16-224를 사용한다.
- 언어 모델: PMC-LLaMA에서 초기화된 LLaMA-7B를 사용한다.
- 통합: 이미지 토큰은 선형적으로 투영되어 텍스트 토큰과 결합되며, 좌에서 우로 디코딩된다.
사전 학습 전략: 모델은 LoRA(Low-Rank Adaptation) 랭크 $r=8$ 을 사용하여 다음 토큰 예측(next-token prediction) 방식으로 학습된다. 학습 중에는 다음 토큰 크로스 엔트로피에 집중하기 위해 이미지 및 프리픽스(prefix) 토큰을 마스킹한다.
학습 설정: 이미지는 224×224 크기로 조정된다. 학습에는 AdamW를 사용하며, 배치 크기는 64, 학습률은 $5\times10^{-5}$ 이고, 단일 NVIDIA A100에서 최대 15 에포크(epoch) 동안 실행된다.
분류 전이(Classification Transfer): 학습된 비전 특징의 품질을 평가하기 위해, 비전 인코더( $f_{vis}$ )를 분리(detach)한 후 선형 헤드( $W \in \mathbb{R}^{2d \times m}$ )에 부착한다. 이후 두 구성 요소를 다운스트림 데이터셋에서 100 에포크 동안 함께 미세 조정한다. 이 설정은 성능 차이가 다운스트림 아키텍처의 변화가 아닌 사전 학습에 기인하도록 보장한다.

주요 기여

가장 광범위한 오픈 사전 학습 혼합물: OpenMedQ는 현재까지 가장 광범위한 완전 오픈 의료 데이터셋 혼합물로 사전 학습되었으며, 이는 14개의 데이터셋과 약 335만 개의 샘플로 구성된다. 이 혼합물은 다음을 포함한다:
- 병리학(Pathology): PathVQA.
- 방사선학(Radiology): VQA-RAD, IU-XRAY, MIMIC-CXR, ROCO, OmniMedVQA.
- 현미경(Microscopy): $\mu$ -Bench.
- 혼합 모달리티(Mixed Modalities): Slake, PMC-OA, PMC-VQA, VQA-MED.
- 텍스트 전용 임상 QA(Text-Only Clinical QA): 언어 능력을 보존하기 위한 MedQA, MedMCQA, PubMedQA (약 41만 개 샘플).
오픈 릴리스: 저자들은 수락 시 모델 가중치와 데이터셋 레시피를 공개할 것을 약속하며, 정성적 검사를 위한 라이브 인터랙티브 데모도 함께 제공한다.
재현 가능한 베이스라인: 본 논문은 강력한 베이스라인들과 사전 학습 데이터 다양성의 영향을 공정하게 비교하기 위해 표준화된 다운스트림 레시피를 구축한다.

결과

본 논문은 두 가지 주요 작업인 분류 전이와 개방형 시각 질의응답(VQA)에 대한 성능을 보고한다.

1. 분류 전이 (Classification Transfer)

OpenMedQ의 비전 인코더는 8개의 미학습 의료 분류 벤치마크(CXR8, MedFMC 하위 작업, Breast-Ultrasound, CHAOYANG, CBIS-DDSM, Mendeley-CXray)에서 평가되었다.

성능: OpenMedQ는 평균 매크로-F1 점수 0.757을 달성했다.
비교: 이는 BiomedCLIP(0.745), PMC-CLIP(0.745), PubMedCLIP(0.746) 및 처음부터 학습한(from-scratch) 베이스라인(0.616)을 능가했다.
주요 승리 지점: OpenMedQ는 MedFMC-chest와 MedFMC-endo에서 명백한 승리를 거두었으며, CXR8에서는 PMC-CLIP과 동률을 기록했고, 다른 4개 벤치마크에서는 최고 수준의 인코더보다 최대 0.02 차이 내로 추격했다. 유일한 유의미한 격차는 Breast-Ultrasound(0.876 vs. 0.915)에서 관찰되었다.

2. 개방형 VQA (Open-Ended VQA)

PathVQA: OpenMedQ는 BLEU-1 점수 75.9를 기록하여, 프리픽스 튜닝(prefix tuning) 방식(70.3)과 세 가지 Med-PaLM M 변체(최대 562B 파라미터, 최대 72.27 점)를 모두 앞질렀다. 이는 OpenMedQ가 단 7B 파라미터만을 사용했음에도 달성한 결과이다.
VQA-MED: 모델은 64.5의 BLEU-1 점수에 도달하여, 2019년 챌린지의 최고 보고 점수(64.4)를 약간 상회했다.

의의 및 주장

본 논문은 **오픈 사전 학습 데이터의 폭(breadth)**이 의료 VLM을 위한 핵심적인 경쟁 우위 요소라고 주장한다. 저자들은 데이터의 다양성이 성능을 위한 재현 가능한 레버 역할을 하는 반면, 독점적인 규모(proprietary scale)는 그렇지 않다고 주장한다.

효율성: OpenMedQ는 광범위한 오픈 혼합물로 학습될 때, 7B 파라미터 모델이 자신보다 최대 80배 더 큰 모델(562B 파라미터)을 상대로 PathVQA에서 새로운 SOTA(State-of-the-Art)를 설정할 수 있음을 입증한다.
일반화: 비전 인코더의 우수한 평균 분류 전이 성능은 광범위한 사전 학습이 좁은 단일 모달리티 사전 학습보다 더 견고한 특징 표현을 생성함을 시사한다.
한계점: 저자들은 자신들의 접근 방식에 한계가 있음을 겸허히 인정한다. 더 큰 규모의 독점 모델(Med-PaLM M)은 여전히 VQA-RAD 및 Slake와 같은 특정 벤치마크에서 앞서 나간다. 또한, BLEU-1은 표면적인 일치만을 포착하며, 좁은 모달리티 인코더가 Breast-Ultrasound와 같은 특정 작업에서는 여전히 OpenMedQ보다 뛰어날 수 있다.

본 연구는 오픈 사이언스의 가치를 강조하며, 커뮤니티가 검사, 재사용 및 확장할 수 있는 투명한 베이스라인을 제공하며 마무리된다.