Performance and Failure Patterns of Multimodal Large Language Models for Hepatocellular Carcinoma Detection on Portal Venous Phase CT

간문맥기 CT를 이용한 간세포암 검출에 대한 멀티모달 거대 언어 모델의 성능 및 실패 패턴

문제 제기

멀티모달 거대 언어 모델(LLM)은 언어 기반 작업과 임상 추론 벤치마크에서 숙련도를 입증해 왔으나, 의료 영상을 해석하는 능력은 일관되지 않은 모습을 보이고 있다. 특히, 간세포암(HCC)을 컴퓨터 단층촬영(CT)으로 검출하는 작업은 미세한 시각적 구별, 공간적 추론, 그리고 임상적 맥락의 통합을 필요로 한다. 기존 연구들은 초기 모델(예: GPT-4)이 CT 상의 흔한 간 질환을 식별하는 데 어려움을 겪으며, 종종 훈련된 영상의학과 전문의보다 현저히 낮은 성능을 보인다는 점을 시사한다. 실제 임상 영상을 사용하여 통제되고 동일한 조건 하에서 최신 고급 멀티모달 LLM을 인간 판독자와 직접 비교하는 표준화된 벤치마크 연구가 부족한 실정이다.

연구 방법론

본 연구는 제약된 시각적 과업 하에서 현재의 멀티모달 LLM의 진단 성능을 인간 전문가와 비교 평가하기 위해 회고적 설계를 채택하였다.

• 데이터셋: 본 연구는 211개의 단일 슬라이스 간문맥기 CT 영상을 활용하였다: 병리학적으로 확진된 HCC 병변을 포함하는 영상 106개(HCC-TACE-SEG 데이터셋)와 정상 간 영상 105개(CPTAC-UCEC 데이터셋).
• 영상 표준화: 데이터 누수(leakage)와 지름길 학습(shortcut learning)을 방지하기 위해, 모든 영상은 고정된 윈도우 설정(WW 400, WL 50)을 적용하여 표준화된 PNG 형식(512 × 512 픽셀)으로 변환되었다. 모든 DICOM 메타데이터, 기관 식별자 및 주석은 제거되었다. 세그멘테이션 마스크나 병변 표식은 제공되지 않았다.
• 평가 대상 모델: 네 가지 멀티모달 LLM을 제로샷(zero-shot) 조건(미세 조정 없음) 하에서 테스트하였다:
  • ChatGPT-4o (2024년 12월)
  • ChatGPT-4.5 (2025년 2월)
  • Perplexity AI (GPT-4.1 구성, 2025년 5월)
  • ChatGPT-5.1 (2025년 12월)
• 프롬프트 전략:
  • 실행 1 (베이스라인): 모든 모델은 추가적인 맥락 없이 표준화된 프롬프트를 받았다.
  • 실행 2 (해부학적 가이드): ChatGPT-5..1에 대해 첫 번째 영상 입력 시 "해부학적 방향"에 관한 특정 프롬프트를 추가하여 재평가하였다. 이 프롬프트는 폐와 관련된 간의 위치 및 영상의 방향에 집중하도록 지시한다. 이후의 영상들은 이 특정 단서 없이 세션이 진행되었다.
• 인간 판독자: 시니어 영상의학과 전문의(15년 경력)와 복부 영상 전임의가 인간 대조군으로서 동일한 정적 영상과 과업 지침을 받았다.
• 평가: 출력값은 이진 결정(국소 병변 존재 여부 vs 부재)으로 점수화되었다. 성능 지표(민감도, 특이도, 정확도)를 산출하였으며, McNemar 검정과 본페로니 교정(Bonferroni correction)을 사용하여 통계적 비교를 수행하였다. 오분류된 사례에 대해서는 실패 패턴을 식별하기 위해 오류 분석을 실시하였다.

주요 결과

• 인간 성능: 두 명의 인간 판독자 모두 모든 멀티모달 LLM보다 우수한 성능을 보였다. 시니어 영상의학 전문의는 100%의 민감도와 91.5%의 정확도를 달성하였고, 전임의는 98.1%의 민감도와 91.0%의 정확도를 달성하였다.
• 최우수 성능 LLM: 해부학적 가이드 프롬프트가 적용된 ChatGPT-5.1(실행 2)이 가장 높은 성능을 보였으며, 다음과 같은 결과를 기록하였다:
  • 민감도: 79.2%
  • 특이도: 87.6%
  • 정확도: 83.4%
  • 이 성능은 테스트된 다른 모든 LLM보다 유의미하게 높았으나(p < 0.05), 두 명의 인간 판독자보다는 유의미하게 낮았다(p < 0.05).
• 프롬프트 엔지니어링의 영향: ChatGPT-5.1에 단일 해부학적 방향 프롬프트를 추가한 결과, 베이스라인(실행 1) 대비 상당한 개선이 나타났다:
  • 민감도가 12.2%포인트 상승하였다 (67.0% → 79.2%).
  • 특이도가 6.6%포인트 상승하였다 (81.0% → 87.6%).
  • 정확도가 9.5%포인트 상승하였다 (73.9% → 83.4%).
• 모델 변동성: 성능은 모델 간에 크게 차이가 났다. ChatGPT-4.5는 높은 민감도(79.2%)를 보였으나 낮은 특이도(50.5%)를 기록했다. ChatGPT-4o는 높은 특이도(90.5%)를 보였으나 낮은 민감도(43.4%)를 기록했다.

실패 패턴 분석

연구는 최우수 성능을 보인 LLM과 인간 판독자 모두에서 뚜렷한 오류 모드를 식별하였다:

• 위음성 (HCC 미검출): LLM의 주요 원인은 등밀도 병변(isoattenuating lesions)(주변 간 조직과 밀도가 유사한 병변)이었으며, 이는 LLM 오류의 36.4%를 차지했다. 기타 원인으로는 거대 혼합형 병변, 간 가장자리/열(fissure) 부위의 병변, 그리고 위장관 구조물과 유사한 병변 등이 있었다. 주목할 점은, 한 건의 등밀도 병변이 LLM과 전임의 모두에 의해 놓쳤다는 것이다.
• 위양성 (정상 간을 HCC로 오인): LLM과 인간 모두에게서 가장 흔한 원인은 혈관 오식별(예: 간문맥이나 간정맥의 단면을 병변으로 오인)이었다.
  • LLM은 인간에 비해 기술적 아티팩트(부분 부피 평균화)로 인한 위양성은 적게 나타났다.
  • 그러나, LLM은 인간의 추론 패턴과 상관관계가 없는 AI 특유의 오류, 즉 밀도 임계값에 대한 과도한 의존성을 보였다.

의의 및 주장

저자들은 멀티모달 LLM이 빠르게 발전하고 있으나, 현재로서는 단일 슬라이스 CT 상에서 HCC의 독립적인 임상 진단에 필요한 시각적 병변 검출 능력이 부족하다고 결론지었다.

• 현재 상태: 최우수 모델(프롬프트 증강이 적용된 ChatGPT-5.1)은 영상의학과 전문의와 유사한 높은 특이도를 달성했으나, 민감도는 유의미하게 낮았다.
• 프롬프트 민감도: 본 연구는 멀티모달 LLM의 의료 영상 성능이 프롬프트의 맥락화와 해부학적 방향 설정에 매우 민감하다는 것을 입증한다. 단순한 가이드만으로도 상당한 성능 향상을 이끌어낼 수 있다.
• 임상 워크플로우에서의 역할: 논문은 이러한 모델들을 자율적인 진단 도구로 간주해서는 안 된다고 주장한다. 대신, 엄격한 프롬프트 설계, 철저한 평가, 그리고 엄격한 인간의 감독이 전제된 연구 도구 또는 가설 생성 및 교육을 위한 보조 도구로 보는 것이 적절하다.
• 한계점: 저자들은 본 연구가 단일 슬라이스, 단일 페이즈 영상을 사용한 "스트레스 테스트"임을 인정하며, 이는 실제 임상 현장의 다중 페이즈, 다중 슬라이스 기반 HCC 진단 환경을 반영하지 못한다. 따라서 본 결과는 실제 임상 워크플로우에서의 인간과 AI의 잠재적 성능을 과소평가했을 가능성이 있다.

본 논문은 단순한 요약 성능 지표만으로는 불충분하며, 특정 실패 패턴(예: 등밀도 현상 및 혈관 혼동)을 이해하는 것이 향후 개발 및 영상의학과 워크플로우에 안전하게 통합하기 위해 필수적임을 강조한다.