기술 요약: 폐색전증 위험 평가를 위한 효율적인 멀티모달 임상 질의응답

문제 정의

폐색전증(PE)은 적시 진단과 신뢰할 수 있는 미래 임상 위험 평가가 필요한 고위험 심폐 질환이다. 현재의 임상 관행은 흉부 CT 혈관 조영술(CTPA) 영상과 환자의 병력, 활력 징후, 검사 결과 등을 포함한 종단적 전자 건강 기록(EHR) 데이터를 통합하는 멀티모달 접근 방식에 의존한다. 그러나 기존의 딥러닝 방식은 설명력을 갖추거나 상호작용적인 임상 추론을 지원하는 능력이 부족한 전통적인 점수 기반 시스템이나 특화된 3D CNN에 의존하는 경우가 많다. 또한, 이러한 추론이 가능한 대규모 멀티모달 거대언어모델(MLLM)은 클라우드 기반 추론을 필요로 하여 개인정보 보호 문제를 야기하거나, 많은 임상 현장에서 가용하지 않은 계산 자원을 요구한다.

따라서 시각적(CTPA) 및 텍스트적(EHR) 증거를 효과적으로 통합하여 폐색전증 진단 및 예후에 관한 구체적인 임상 질문에 답하면서도, 로컬 환경에서 작동할 수 있는 소형(효율적인) 멀티모달 언어 모델을 평가할 필요가 있다.

방법론

데이터셋: INSPECT

본 연구는 19,402명의 환자로부터 얻은 23,248개의 CTPA 연구를 포함하는 대규모 벤치마크인 INSPECT 데이터셋을 활용한다. 이 데이터셋은 인덱스 CTPA 연구를 방사선 보고서 인상(impression) 및 구조화된 종단적 EHR 기록과 연결한다.

• 태스크: 저자들은 8개의 엔드포인트를 다음과 같은 구조화된 임상 질의응답(QA) 태스크로 재구성하였다:
  • 1가지 진단 태스크: 인덱스 CTPA에서의 PE 존재 여부.
  • 7가지 예후 태스크: 병원 내 사망률(1, 6, 12개월), 재입원(1, 6, 12개월), 폐고혈압(12개월).
• 데이터 처리: 추적 관찰이 불충분한 예후 샘플은 검열(censored)로 표시되어 특정 태스크 평가에서 제외되었다. 데이터 누수를 방지하기 위해 데이터셋은 환자 단위로 분할되었다.

실험 설정

• 모델: 네 가지 소형 MLLM을 파라미터 업데이트 없이(zero-shot 또는 few-shot) 평가하였다:
  • Qwen3.5 4B
  • Gemma4 E4B (4B)
  • Gemma4 E2B (2B)
  • MedGemma (4B)
• 입력 모달리티: 세 가지 설정이 테스트되었다:
  1. CTPA 전용: 볼륨형 CTPA를 결정론적인 2D 몬타주 축상 단면(axial slices)으로 변환.
  2. EHR 전용: 인덱스 스캔 이전에 가용한 직렬화된 구조적 EHR 데이터(인구통계, 진단, 약물 등).
  3. CTPA+EHR: 결합된 시각적 및 텍스트적 증거.
• 프롬프팅: zero-shot과 four-shot 프롬프팅을 비교하였다. 데몬스트레이션(demonstrations)은 환자 단위 분리를 유지하며 훈련 분할(training split)에서 엄격하게 추출되었다.

3. 출력: 모델은 이진 예측값과 신뢰도 점수를 포함한 제약된 구조적 응답을 반환하도록 지시받았다.

• 지표: 성능은 AUROC, AUPRC(클래스 불균형으로 인해 매우 중요), 정확도(Accuracy), F1 점수를 사용하여 측정되었다. 8개 태스크 전체에 대해 매크로 평균(macro-averaging)을 사용하였다.

주요 기여

1. 소형 MLLM 벤치마크: 저자들은 INSPECT 데이터셋을 사용하여 멀티모달 PE 진단 및 예후를 위한 벤치마크를 구축하였으며, 이를 CTPA 전용, EHR 전용, CTPA+EHR 설정에 걸친 8개의 구조화된 임상 QA 태스크로 재구성하였다.
2. 프롬프팅 전략 평가: zero-shot 및 four-shot 프롬프팅을 네 가지 소형 모델에 대해 평가하였으며, 모델이 관련 임상 증거를 해석할 수 있는 능력을 이미 갖추고 있을 때 인컨텍스트 예시(in-context examples)가 성능을 향상시킨다는 것을 입증하였다.
3. 실패 모드 식별: 본 연구는 소형 멀티모달 의료 QA에서의 특정 실패 모드를 식별하였다:
   • 다수 클래스 붕괴(Majority-class collapse): 클래스 불균형으로 인해 부정 클래스를 예측함으로써 높은 정확도를 달성하는 현상.
   • 취약한 CTPA 전용 성능: 소형 모델들이 임상적 맥락 없이 볼륨형 영상 데이터를 활용하는 데 어려움을 겪음.
   • 태스크 수준의 이질성: 진단 태스크와 종단적 예후 태스크 간의 상당한 성능 격차.

결과

종합 성능

• 모델 변동성: Qwen3.5 4B와 MedGemma는 모든 모달리티에서 우연 수준(chance level)에 근접한 성능을 보였으며, 종종 다수 클래스 행동(높은 정확도, 낮은 F1)을 보였다.
• Gemma 모델: Gemma4 E4B와 Gemma4 E2B는 특히 EHR 증거가 있을 때 의미 있는 임상 신호를 추출하는 능력을 보여주었다.
• 최고 성능: 가장 강력한 zero-shot 성능은 CTPA+EHR 입력을 사용한 Gemma4 E4B에서 나타났다 (AUROC: 0.6893, F1: 0.3286). Four-shot 프롬프팅은 가장 강력한 Gemma 구성에서 양성 사례 회복(positive-case recovery)을 더욱 개선하였다.

태스크별 결과

• PE 진단: 가장 접근하기 쉬운 태스크였다. Gemma4 E4B는 CT-only+EHR 입력 시 AUROC 0.9683(zero-shot) 및 0.9706(four-shot)을 달성하였다. 주목할 점은 EHR 전용 입력 또한 높은 성능을 보였다는 것이며, 이는 직렬화된 임상 맥락이 강력한 진단 신호를 포함하고 있음을 시사한다. CTPA 전용 성능은 여전히 약했다.
• 사망률 예측: 진단보다 어려웠으나, 임상 맥락이 있는 Gemma 모델에서 유의미한 변별력을 보였다. Gemma4 E4B는 CTPA+EHR 입력(zero-shot)에서 AUROC 0.7242를 달성하였다.
• 재입원 예측: 가장 어려운 태스크 그룹이었다. 가장 우수한 구성(Gemma4 E2B, four-shot, CTPA+EHR)조차 AUROC 0.6141에 그쳐, 재입원이 가용 데이터로 완전히 포착되지 않는 복잡한 요인들에 의해 형성됨을 나타냈다.
• 폐고혈압: 중간 정도의 난이도를 보였으며, Gemma4 E4B는 CTPA+EHR(zero-shot)에서 AUROC 0.6952를 달성하였다.

실패 모드

• 다수 클래스 붕족: Qwen3.5 및 MedGemma와 같은 모델은 대부분의 사례에 대해 부정 클래스를 예측하여, 기만적인 높은 정확도를 보였으나 임상적 유용성(낮은 F1/AUPRC)은 떨어졌다.
• 모달리티 불일치: 더 많은 증거(CTPA+EHR)를 제공하는 것이 모든 모델의 성능을 향상시키지는 않았다. 이는 오직 증거를 태스크와 정렬할 수 있는 능력(Gemma와 같은 모델)을 가진 모델에게만 이득이 되었다.
• Few-Shot의 제한적 영향: Four-shot 프롬프팅은 유능한 모델의 태스크 정렬과 양성 사례 회복을 정교화했으나, 증거를 해석하는 근본적인 능력이 부족한 모델을 보완할 수는 없었다.

의의 및 주장

본 논문은 소형 멀티모달 모델이 초기 단계의 PE 위험 탐지 및 설명에 대한 잠재력을 가지고 있지만, 그 성공은 모델의 능력, 입력 모달리티, 그리고 임상 엔드포인트 사이의 정렬 여부에 크게 의존한다고 주장한다.

• 임상적 관련성: 본 연구는 견고한 PE 평가가 본질적으로 멀티모달임을 강조한다. 영상이 진단에는 결정적이지만, 예후(사망, 재입원)는 EHR에서 발견되는 종단적 임상 맥락에 크게 의존한다.
• 효율성 대 능력: 결과는 소형 모델이 효과적일 수 있지만 취약하다는 것을 시사한다. 이들은 올바르게 작동하기 위해 적절한 증거원(EHR 또는 결합된 형태)을 필요로 하며, 이러한 특정 아키텍처의 경우 CTPA 영상에만 의존하면 성능이 저하된다.
• 평가의 엄밀성: 저자들은 불균형한 의료 태스크에서 표준 정확도 지표가 불충분함을 강조한다. 이들은 모델의 유용성에 대한 오해를 피하기 위해 변별력(AUROC), 양성 클래스 회복(AUPRC/F1), 그리고 태스크 수준의 이질성을 평가할 것을 권장한다.

본 연구는 소형 MLLM이 로컬 및 프라이버시를 보호하는 임상 AI를 향한 길을 제시하지만, 모델이 다수 클래스 예측자로 붕괴되지 않고 복잡한 멀티모달 입력을 장기적인 예후 태스크에 효과적으로 활용할 수 있도록 보장하는 데 있어 여전히 큰 과제가 남아 있음을 결론짓는다.