Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology

기술 요약: 다중 모달 대규모 언어 모델이 임상 피부과에 준비되었는가? 실제 세계 평가

문제 제기
다중 모달 대규모 언어 모델 (MLLM) 이 공개 피부과 벤치마크에서 유망한 성능을 보여주고 있지만, 실제 임상 워크플로우로의 일반화 가능성에 대해서는 중요한 불확실성이 존재합니다. 기존 평가는 주로 표준화된 조건 하에 촬영된 큐레이션된 단일 병변 이미지 (종종 피부경) 와 객관식 또는 카테고리 기반 분류 작업에 의존합니다. 반면, 실제 피부과 진료는 이질적인 입력을 수반합니다. 즉, 가변적인 조명과 프레임으로 촬영된 (종종 피부경 없이) 임상 사진과, 의뢰 의사의 짧고 잠재적으로 불완전하거나 오해의 소지가 있는 진료 기록이 짝을 이룹니다. 본 연구는'벤치마크에서 침대까지'의 격차를 다루며, 현재 MLLM 이 이러한 현실적이고 큐레이션되지 않은 조건 하에서 개방형 감별 진단 생성과 중증도 기반 분류를 신뢰할 수 있게 수행할 수 있는지 질문합니다.

방법론
저자들은 네 가지 오픈 가중치 모델 (InternVL-Chat v1.5, LLaVA-Med v1.5, SkinGPT-4, MedGemma-4B-Instruct) 과 하나의 상용 모델 (GPT-4.1) 로 구성된 다섯 가지 MLLM 을 두 가지 구별되는 평가 환경에서 평가했습니다:

1. 공개 벤치마크: DermNet, Fitzpatrick17k, SCIN 등 세 가지 표준 데이터셋으로 구성되며 약 46,500 개의 이미지를 포함합니다.
2. 실제 세계 코호트: 2014 년부터 2023 년 사이에 수집된 5,811 건의 사례와 46,405 개의 임상 이미지를 포함한 후향적 다기관 병원 기반 피부과 진료 데이터셋입니다. 이 코호트에는 짝을 이룬 임상 사진과 의뢰 의사의 진료 기록이 포함되었습니다. 주목할 점은 이 내부 코호트가 공개 데이터셋 (~19%) 에 비해 중증 사례 (44.0%) 가 풍부하게 포함되어 있다는 것입니다.

모델들은 두 가지 임상적으로 관련성 있는 작업에 대해 평가되었습니다:

• 개방형 감별 진단: 상위 3 개 잠재적 진단 목록 생성.
• 중증도 기반 분류: 긴급 평가가 필요한 사례 식별.

성능은 다음을 사용하여 측정되었습니다:

• 자동화 지표: 의미적 유사성을 위한 BERTScore 와 상위 3 개 예측에 올바른 진단이 포함되었는지 확인하고 중증도를 할당하기 위한'LLM-as-a-judge'파이프라인.
• 인간 평가: 임상적 의도 일치성, 사실성, 그리고 시각적 특징 설명의 구체성을 평가하기 위해 3 명의 전문의 또는 전문의 자격을 갖춘 피부과 의사가 출력의 일부 하위 집합을 검토했습니다.

연구는 견고성을 테스트하기 위해 입력을 체계적으로 변형했습니다: 이미지만 대 이미지 plus 임상 맥락, 그리고'유도성'맥락 (의뢰 의사가 특정 진단을 제안하는 경우) 대 비유도성 맥락의 유무.

주요 결과

1. 심각한 벤치마크에서 침대까지의 격차: 모델이 공개 벤치마크에서 실제 세계 진료 코호트로 이동할 때 진단 성능이 크게 저하되었습니다. 공개 데이터셋에서 최고의 오픈 가중치 모델 (MedGemma-4B) 은 상위 3 개 정확도 26.55% 를 달성했고, GPT-4.1 은 42.25% 에 도달했습니다. 반면 실제 세계 이미지 전용 환경에서는 이 수치가 각각 13.35% 와 24.65% 로 떨어졌습니다.
2. 맥락 의존성과 취약성: 임상 맥락 (의뢰 기록) 을 통합하면 모든 모델의 정확도가 향상되었습니다 (예: GPT-4.1 의 상위 3 개 정확도가 38.93% 로 상승). 그러나 이러한 통합은 상당한 취약성을 도입했습니다. 모델들은 오해의 소지가 있거나 불완전한 맥락에 매우 민감했습니다. 비유도성 맥락에서 기록을 추가하면 일부 모델의 성능은 향상되었지만 다른 모델들은 저하되었습니다 (SkinGPT-4 의 경우 저하율이 최대 84.2% 에 달함). 모델들은 시각적 증거에 기반하여 오류를 수정하기보다, 오류가 있는 의사의 제안에 과도하게 의존하는 경향이 있었습니다.
3. 시각적 근거의 주요 병목 현상: 전문 피부과 의사의 검토 결과, 진단 실패는 주로 하류 의료 추론이나 일반 지식의 결여 때문이 아니었습니다. 대신, 정답과 오답을 구분하는 주요 요소는 시각적 구체성이었습니다. 정답은 일관되게 정밀하고 진단 관련성 있는 형태학적 특징을 설명한 반면, 오답은 그 외의 언어가 사실적임에도 불구하고 일반적인 설명을 제공했습니다.
4. 분류 성능: 정확한 진단은 여전히 어려웠지만, 모델들은 중증 사례를 식별하는 데 있어 중등도의 민감도 (맥락이 있는 일부 모델의 경우 60% 이상) 를 보여주어 선별 검사 보조 도구로서의 잠재적 유용성을 시사했습니다. 그러나 자율적 배포를 위해서는 신뢰성이 여전히 부족합니다.

의의 및 주장
본 논문은 현재 벤치마크 평가가 피부과 MLLM 의 임상 준비 상태를 과대평가한다고 주장합니다. 저자들은 안전한 배포를 위한 주요 장벽이 모델의 추론 능력이 아니라 다음과 같다고 주장합니다:

• 취약한 맥락 통합: 모델들은 실제 세계 임상 기록의 노이즈, 불완전성, 그리고 때로는 오해의 소지가 있는 성격에 대한 견고성이 부족합니다.
• 불충분한 시각적 근거: 모델들은 실제 촬영 조건 (가변 조명, 다중 병변, 배경 방해 요소) 하에서 구체적인 시각적 피부과 특징을 추출하고 우선순위화하는 데 실패합니다.

본 연구는 피부과 MLLM 의 향후 발전이 추론 능력 향상에만 집중하는 것이 아니라, 현실적인 워크플로우 기반 평가, 오해의 소지가 있는 맥락에 대한 견고성, 그리고 더 강력한 피부과 특화 시각 표현 학습을 우선시해야 한다고 결론지었습니다. 저자들은 현재 모델들이 상담형 피부과에서 자율적 진단 사용에 준비되지 않았으며, 맥락 민감성으로 인해 분류 목적이라 하더라도 인간의 감독이 필수적임을 강조합니다.