Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

기술 요약: 실제 상처 이미지를 활용한 의료용 시각-언어 모델의 평가

문제 정의
만성 상처 평가는 상처의 형태, 조직 구성, 혈관 특성 및 감염 위험을 정확하게 해석해야 하는 임상적으로 매우 까다로운 과업이다. 인공지능(AI)이 의료 영상 해석에 활용되어 왔으나, 합성곱 신경망(CNN)에 의존하는 전통적인 방식은 주로 분할(segmentation) 및 조직 분류와 같은 좁은 범위의 작업에 국한되었으며, 복잡한 임상 관리에 필요한 광범위한 추론 능력은 결여되어 있었다. 최근 시각적 해석과 임상적 추론을 연결하기 위해 시각-언어 모델(VLM)이 등장하였으나, 의료 분야에 특화된 모델(의료용으로 미세 조정된 모델)이 일반 목적의 멀티모달 시스템보다 특정 상처 관리 영역에서 일관되게 우수한 성능을 보이는지는 여전히 불분명하다. 또한, 기존의 벤치마크는 구조화된 관리 질문을 포함한 실제 환경의 미학습 임상 이미지보다는 선별된 데이터셋에 의존하는 경ことが 많다.

연구 방법론
본 연구는 20개의 실제 미학습 상처 이미지를 사용하여 6개의 VLM(4개의 오픈 소스/의료 특화 모델 및 2개의 독점적 일반 목적 시스템)의 성능을 평가하였다. 기관생명윤리위원회(IRB)의 승인을 받고 비식별 처리된 이 데이터셋은 당뇨병성/신경병성 궤양, 허혈성/동맥 부전, 정맥성 궤양, 외과적 상처, 절단 관련 상처, 림프부종 관련 상처를 포함한 다양한 병인을 포괄한다.

평가 프레임워크는 직접적인 시각적 해석과 고차원적 임상 추론을 모두 평가하도록 설계된 구조화된 12개 질문의 임상 매트릭스로 구성되었다. 질문 항목은 다음과 같다:

1. 병인 분류.
2. 혈관 평가 및 중재 지표.
3. 형태학적 분석 (가사 조직, 육아 조직 피복 상태).
4. 병리적 분류 (감염 위험).
5. 진단 및 절차 계획 (영상 의학적 필요성, 변연절제술 설정).
6. 예후 추론 및 고급 관리 (드레싱 선택, 압박 요법, 음압 요법, 피부 대체물).

임상 참조 표준(Clinical Reference Standard)은 각 사례를 특정 텍스트 기준으로 독립적으로 주석 처리한 상처 관리 전문가 패널에 의해 수립되었다. 모델들은 제로샷(zero-shot) 조건에서 테스트되었다. 응답은 엄격한 이진(binary) 프레임워크를 사용하여 점수가 매겨졌다: 모델의 출력이 전문가들이 정의한 절대적 의학적 기준과 일치하는 경우에만 1점을 부여하였다. 모호한 표현, 구조적 불분명함 또는 확답을 피하는 언어를 사용하는 응답은 0점으로 처리하여, 명확하고 실행 가능한 결정을 제공하지 못한 모델에 불이익을 주었다.

주요 결과
240개의 임상 전문가 채점 결정(20개 사례 × 12개 질문) 전반에 걸쳐 명확한 성능 계층이 나타났다:

• 독점적 일반 목적 시스템: ChatGPT가 240개 중 174개의 정답(72.50%)을 기록하며 가장 높은 전체 정확도를 달 Achieved 했으며, 그 뒤를 이어 Claude가 240개 중 149개(62.08%)를 기록했다.
• 오픈 소스/의료 특화 모델: 이 그룹에서는 HuluMed이 240개 중 96개(40.00%)로 앞섰으며, Gemma 3(81/240, 33.75%), MedGemma 4B(62/240, 25.83%), MedGemma 27B(42/240, 17.50%)가 그 뒤를 이었다.

성능 분석:

• 시각 vs. 추론: 모든 모델은 시각적 발견을 관리 계획으로 합성하는 작업(예: 영상 의학적 방법 선택, 변연절제술 긴급도 결정, 특정 치료법 권장)에 비해 직접적인 시각적 인식 작업(예: 괴사, 육아 조직 또는 눈에 보이는 감염 징후 식별)에서 상대적으로 더 나은 성능을 보였다.
• 특화 vs. 일반화: 의료적 미세 조정이 더 우수한 결과를 낼 것이라는 가설과 달리, 최첨단 일반 목적 모델들이 의료 특화 대안 모델들보다 유의미하게 우수한 성능을 보였다. 특히, 두 가지 MedGemma 변체 모두 비의료용인 Gemma 3 베이스라인보다 뛰어난 성능을 보여주지 못했다.
• 실패 양상: 의료 특화 모델, 특히 MedGemma는 과도한 불확실성, 언어적 장황함, 그리고 병인 혼동(예: 동맥성 원인과 정맥성 원인의 오분류)을 빈번하게 보였다. 또한, 혈류 복구 전에 변연절제술을 제안하는 것과 같이 부적절한 관리 권고를 생성하기도 했다. Claude가 ChatGPT보다 낮은 점수를 받은 이유는 엄격한 이진 채점 체계 하에서 불이익을 받은 보호적이고 조건적인 언어 사용 경향 때문이었다.

의의 및 주장
저자들은 본 연구가 실제 미학습 이미지를 활용하고 진단을 넘어 관리 계획까지 포함하는 임상적으로 구조화된 프레임워크를 사용함으로써, 실제 상처 관리 의사결정을 반영하는 벤치마크를 제공한다고 주장한다. 주요 발견은 현재의 최첨단 일반 목적 멀티모달 시스템이 의료 특화 오픈 소스 대안들보다 실질적으로 더 강력한 상처 분석 성능을 보여준다는 것이다. 이는 방대한 사전 학습 규모에서 기인한 광범위한 멀티모달 추론 능력이 복잡한 상처 관리 작업을 위한 좁은 영역의 도메인 특화 미세 조정의 이점보다 현재 더 중요하다는 것을 시사한다.

본 논문은 VLM이 문서화 및 임상 분류를 위한 보조 도구로서 가능성을 보여주지만, 고급 추론, 절차 계획 및 자율적 신뢰성 측면에서 상당한 한계가 남아 있다고 결론짓는다. 따라서 이러한 시스템은 자율적인 진단 플랫폼보다는 직접적인 임상가 감독 하의 상호작용적 의사결정 지원 도구로서 기능해야 한다고 저자들은 단언한다. 본 연구는 임상 배포 전 개선된 멀티모달 추론과 더 엄격한 평가 방법론의 필요성을 강조한다.