기술 요약: 임상 시각 언어 모델에서 의료 컨텍스트가 의사결정을 왜곡함

문제 제기

시각 언어 모델 (VLM) 은 의료 이미지와 자유 텍스트 컨텍스트 (예: 방사선 보고서, 임상 병력) 에 대한 공동 추론을 활용하여 임상 의사결정 지원에 점점 더 많이 제안되고 있습니다. 그러나 실제 세계 시나리오에서의 신뢰성은 여전히 poorly characterized(잘 규명되지 않음) 상태입니다. 실제 의료 의사결정은 텍스트 입력이 불완전하거나, 일관성이 없거나, 편향될 수 있는 노이즈가 많고 불완전한 문서화 스트림 하에서 이루어집니다.

본 논문은 임상 신뢰성을 위협하는 세 가지 구체적인 실패 모드를 식별합니다:

1. 모달리티 과신 (Modality Over-Reliance): 시각 데이터가 존재함에도 불구하고 모델이 시각적 증거보다 텍스트 사전 지식을 우선시하는 불균형 상태.
2. 무관한 병력에 대한 부당한 의존 (Spurious Reliance on Irrelevant History): 전자 건강 기록 (EHR) 에서 검색된 무관하거나 모순되는 임상 병력에 대한 취약성으로, 이는 현재 의사결정을 체계적으로 편향시킬 수 있음.
3. 프롬프트 민감성 (Prompt Sensitivity): 의미적으로 동등한 프롬프트 구성이 사용될 때 예측의 불일치로, 임상 출력의 안정성을 훼손함.

저자들은 현재의 벤치마크 평가가 이러한 실패 모드를 포착하지 못하는 경우가 많다고 주장합니다. 왜냐하면 이러한 평가들은 일반적으로 임상 워크플로우의 동적이고 노이즈가 많은 컨텍스트를 시뮬레이션하기보다는 정제된 정적 테스트 세트에 의존하기 때문입니다.

방법론

이 연구는 MIMIC-CXR 데이터셋의 균형 잡힌 하위 집합을 사용하여 흉부 방사선 촬영 작업에서 여덟 개의 다양한 VLM(일반 도메인 오픈 모델인 LLaVA 및 Qwen, 의료 적응 모델인 MedGemma, 그리고 최첨단 독점 모델인 GPT-5 및 Gemini 3 Pro 포함) 을 평가했습니다. 작업은 "비정상"이 다섯 가지 흉부 병리 (무기폐증, 심비대, 침윤, 부종, 흉수) 중 하나가 존재함을 나타내는 이진 질병 표현형 분류 (비정상 vs 정상) 로 구성되었습니다.

실험 설계는 실패 모드를 분리하기 위해 세 가지 특정 프로토콜을 사용합니다:

1. 선택적 모달리티 이동 (Selective Modality Shifting, SMS): 모달리티 지배력을 측정하기 위해 저자들은 이미지와 텍스트 간의 통제된 충돌을 생성합니다.

   • 텍스트 이동: 원래 X 선을 반대 진단을 가진 환자의 임상 병력과 짝짓습니다.
   • 이미지 이동: 원래 텍스트를 반대 클래스의 X 선과 짝짓습니다.
   • 단일 모달리티 기준: 각 모달리티의 독립적 기여도를 결정하기 위해 "텍스트만" 및 "이미지만" 입력을 사용하여 성능도 측정됩니다.

2. 시간적 컨텍스트 주입: 무관한 병력에 대한 견고성을 테스트하기 위해, 모델들은 현재 흉부 X 선과 보고서와 함께 최대 다섯 개의 임상적으로 현실적이지만 무관한 이전 보고서 (예: 무릎 X 선, 뇌 MRI) 를 입력받습니다. 이러한 이전 보고서는 시간적으로 멀리 떨어져 있고 해부학적으로 관련이 없도록 생성되었습니다.

3. 의미적 프롬프트 민감성: 모델들은 표면적 재표현 하에서 의사결정 안정성을 평가하기 위해 네 가지 의미적으로 동등한 프롬프트 구성 (표준 QA, 역할극, 공식 상담, 체크리스트) 을 사용하여 평가됩니다.

지표:

• 정확도: Ground truth 에 대해 측정.
• 부정적 뒤집기율 (Negative Flip Rate, NFR): 노이즈가 있는 조건 (예: 텍스트 이동 또는 무관한 병력 추가) 에서 기준선에서 올바르게 분류된 샘플이 잘못 분류되는 비율을 정량화하는 견고성 지표.
• Fleiss' Kappa: 다양한 프롬프트 구성 간의 프롬프트 간 일치를 측정하는 데 사용.

주요 결과

1. 모달리티 지배력: 텍스트가 이미지를 대체함

연구 결과, 시각적 증거가 존재함에도 불구하고 VLM 의사결정은 텍스트 모달리티에 의해 지배되는 것으로 나타났습니다.

• 텍스트 이동 영향: 충돌하는 텍스트를 도입한 결과 모든 모델에서 정확도가 치명적으로 하락했습니다. 최첨단 모델 (GPT-5, Gemini 3 Pro) 의 경우 정확도가 약 0.83 에서 약 0.17~0.18 로 붕괴되었습니다 (무작위 추측 이하). LLaVA 1.5 및 Qwen-2 VL 과 같은 오픈 모델은 약 0.80 에서 약 0.20 으로 하락했습니다.
• 이미지 이동 영향: 원래 텍스트를 유지하면서 이미지를 교체한 경우 정확도 변화는 미미했습니다 (예: GPT-5 는 0.83 에서 0.82 로 하락).
• 부정적 뒤집기율 (NFR): 텍스트 충돌 하에서 NFR 은 매우 높았습니다 (0.310.66). 이는 모순된 텍스트가 이전에 올바른 결정의 3066% 를 오류로 뒤집게 했음을 의미합니다. 반면, 이미지 이동 NFR 은 낮게 유지되었습니다 (0.02~0.15).
• 단일 모달리티 성능: "텍스트만" 성능은 종종 멀티모달 성능과 일치하거나 초과하는 반면, "이미지만" 성능은 현저히 낮았습니다 (오픈 모델의 경우 종종 무작위 수준에 근접).

2. 시간적 컨텍스트 취약성

무관한 임상 병력은 모델 계열에 따라 정도는 다르지만 성능을 체계적으로 저하시켰습니다.

• 일반 오픈 모델: 높은 민감도를 보였습니다. LLaVA 1.5 의 정확도는 다섯 개의 무관한 보고서가 추가됨에 따라 0.79 에서 0.66 으로 하락했습니다. NFR 은 크게 증가하여 올바른 예측의 최대 21% 가 뒤집혔습니다.
• 의료 적응 모델: 혼합된 결과를 보였습니다. MedGemma 는 상대적으로 안정적이었으나 MedGemma 1.5 는 명확한 저하를 보였습니다.
• 최첨단 모델: 가장 견고함을 입증했습니다. GPT-5 와 Gemini 3 Pro 는 최소한의 정확도 하락과 매우 낮은 NFR(다섯 개의 방해 요소가 있더라도 3% 미만) 을 보였으며, 이는 긴 컨텍스트 노이즈를 필터링하는 능력이 더 우수함을 시사합니다. 다만, 실패 모드 (무관한 텍스트에 대한 의존) 는 여전히 존재했습니다.

3. 프롬프트 민감성과 불일치

모델 예측은 특히 약한 모델의 경우 프롬프트 구성에 매우 민감했습니다.

• 일치도 (Fleiss' Kappa): 최첨단 모델 (Gemini 3 Pro, GPT-5) 은 프롬프트 변형 간에 "우수한" 일치도 (κ > 0.75) 를 보였습니다. 반면, Janus-Pro 및 LLaVA 1.5 와 같은 약한 오픈 모델은 "부족한" 일치도 (κ < 0.40) 를 보였으며, 예측이 단어 선택에 따라 자주 변경되었습니다.
• 복잡성 증폭: 프롬프트 민감성은 긴 컨텍스트 입력 (다중 병력 설정) 과 결합될 때 증폭되어 약한 모델의 추가 저하를 초래했습니다.

중요성과 주장

본 논문은 현재 VLM 들이 텍스트 신호가 시각적 증거를 대체하는 체계적인 모달리티 불균형을 보인다고 주장하며, 이를 "모달리티 붕괴"라고 명명합니다. 이러한 행동은 일반 도메인, 의료 적응, 최첨단 모델 전반에 걸쳐 지속되므로, 도메인 적응만으로는 진정한 시각적 기반을 보장하기에 부족함을 시사합니다.

저자들은 다음과 같은 점을 강조합니다:

• 벤치마크 정확도만으로는 부족함: 정적 테스트 세트에서의 높은 집계 정확도는 입력이 노이즈가 많거나, 충돌하거나, 외부 소스에서 검색되는 임상 환경에서의 신뢰성을 보장하지 않습니다.
• 컨텍스트는 안전 위험임: 검색 증강 생성 (RAG) 및 에이전트 파이프라인의 통합은 모델이 무관하거나 모순되는 역사적 데이터를 신뢰성 있게 필터링하지 못하기 때문에 상당한 위험을 초래합니다.
• 프롬프트 취약성: 임상 신뢰성은 프롬프트 민감성으로 인해 훼손됩니다. 이는 기관 간 문서화 스타일의 차이가 동일한 환자 데이터에 대해 상이한 진단 결과를 초래할 수 있음을 의미합니다.

이 연구는 이러한 모델들이 임상 실무를 고려하기 전에 명시적인 안전 장치와 스트레스 테스트 프로토콜이 필요하다고 결론 내립니다. 이러한 프로토콜은 정제된 테스트 스타일 질문에만 의존하는 것이 아니라, 실제적인 교란 하에서 컨텍스트 의존성, 모달리티 기여도, 의사결정 일관성을 특히 평가해야 합니다.