Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation

"신뢰할 수 있는 의료 VQA 를 위한 프런티어 비전-언어 모델 감사: 그라운딩 실패, 형식 붕괴, 그리고 도메인 적응"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

임상 환경에 비전 - 언어 모델 (VLM) 을 배포하는 것은 고수준 추론 능력 이상을 요구하며, 정밀한 시각적 그라운딩(이미지 내 해부학적 구조와 병변을 국소화하는 능력) 을 요구합니다. 프런티어 VLM 은 추론 능력이 뛰어나지만, 전문 의료 입력에 대한 성능은 다음과 같은 측면에서 poorly characterised(잘 규명되지 않음) 합니다:

• 지각: 모델이 복잡한 의료 이미지 내에서 특정 영역 (예: 종양 또는 장기) 을 정확하게 국소화할 수 있는가?
• 파이프라인 통합: "자기 그라운딩" 파이프라인 (모델이 먼저 영역을 국소화한 후 해당 잘라낸 부분을 기반으로 질문에 답변하는 방식) 이 국소화 오류나 형식 준수 실패로 인해 성능을 저하시키는가?
• 신뢰성: 현재 벤치마크는 종종 집계 점수에 의존하여 "좌우 혼동"(left/right 혼동) 과 같은 특정 실패 모드를 드러내지 못하며, 이는 임상적으로 위험한 오류로 이어질 수 있습니다.

2. 방법론

저자들은 세 가지 표준 의료 VQA 데이터셋인 VQA-RAD, SLAKE, PathVQA에 걸쳐 다섯 가지 프런티어 VLM(Gemini 2.5 Pro, GPT-5, o3, GLM-4.5V, Qwen 2.5 VL) 에 대한 포괄적인 감사를 수행했습니다.

실험 설정

평가 과정은 세 가지 다른 구성을 테스트하기 위해 논문의 그림 1 에 명시된 두 단계 파이프라인을 따랐습니다:

1. 직접 VQA: 모델이 단일 단계에서 전체 이미지를 사용하여 질문에 답변합니다.
2. 자기 그라운딩 VQA: 모델이 먼저 관련 영역에 대한 바운딩 박스를 출력하도록 프롬프트를 주고, 그 다음 해당 잘라낸 영역을 사용하여 질문에 답변합니다.
3. 오라클 GT-그라운딩 VQA: 모델이 이미지를 잘라낸 후 답변하기 위해 ground-truth(SLAKE 주석에서 유래) 바운딩 박스를 제공합니다. 이는 지각이 완벽하다면 파이프라인 개념이 작동하는지 확인하기 위한 상한선 역할을 합니다.

평가 지표

• VQA 성능: 규칙 기반 매칭 (동의어 확장 및 좌우 확인 포함) 을 사용한 폐쇄형 정확도와 개방형 재현율.
• 그라운딩 성능: 평균 교차율 (Mean Intersection over Union, IoU), Dice 계수, 그리고 IoU $\ge$ 0.5 인 예측의 비율인 Accuracy@0.5.
• 형식 준수: 모델의 출력에서 바운딩 박스 좌표를 추출하지 못하는 파싱 실패에 대한 분석.

파인튜닝 후속 조치

도메인 적응이 격차를 해소할 수 있는지 테스트하기 위해 저자들은 VQA-RAD, SLAKE, PathVQA 의 결합된 훈련 데이터를 사용하여 **Qwen 2.5 VL(7B)**에 **지도 학습 파인튜닝 (SFT)**을 수행했습니다.

3. 주요 기여

1. 지각 감사: SLAKE 에서 파생된 전용 시각적 그라운딩 벤치마크를 구축하여, 최상의 프런티어 모델조차 의료 영상에서 국소화가 부실함을 규명했습니다.
2. 파이프라인 통합 감사: "자기 그라운딩"(국소화 후 답변) 이 부정확한 국소화와 심각한 형식 준수 실패 모두로 인해 모든 모델에서 일관되게 VQA 정확도를 저하시킨다는 것을 입증했습니다.
3. 오라클 그라운딩 진단: 예측된 박스를 ground-truth 주석으로 대체하면 VQA 성능이 회복되고 향상된다는 것을 증명하여, 실패 원인이 분해 전략 자체가 아닌 지각 모듈에 있음을 규명했습니다.
4. 미래 지향적 해결책: 강력한 오픈소스 모델 (Qwen 2.5 VL) 에 대한 표적 SFT 가 VQA 수준의 격차를 크게 좁혀 SLAKE 에서 최첨단 재현율을 달성함을 보였으나, SFT 만으로는 지각 병목 현상이 해결되지 않았음을 확인했습니다.

4. 주요 결과

A. 지각 격차 (그라운딩)

• 부실한 국소화: 모든 모델이 그라운딩 작업에서 부실한 성능을 보였습니다. 가장 좋은 모델인 Qwen 2.5 VL은 평균 IoU 0.23과 19.1% Acc@0.5만을 달성했습니다.
• 체계적 실패:
  • 좌우 혼동: 모델들은 흉부 방사선 사진에서 자주 좌우를 혼동했습니다.
  • 규모 불일치: 모델들은 작은 병변 (예: 폐암) 에 대해 큰 바운딩 박스를 기본값으로 사용했으며, 종종 장기 전체나 이미지 사분면 전체를 덮었습니다.
  • 일반화 실패: 내장된 그라운딩 기능을 광고하는 모델 (GLM-4.5V) 조차 일반 추론 모델보다 낮은 성능을 보였으며, 이는 그라운딩 기능이 세밀한 의료 작업으로 잘 이전되지 않음을 시사합니다.

B. 파이프라인 저하 (자기 그라운딩)

• 재앙적 붕괴: 자기 그라운딩은 모든 모델의 성능을 저하시켰습니다.
  • Gemini 2.5 Pro: 정확도가 39.9% 에서 0.0%(폐쇄형) 로 떨어졌습니다. 이는 두 단계 프롬프트에서 **98.9%**의 파싱 실패율에 기인했습니다.
  • GPT-5: 정확도가 67.6% 에서 19.3% 로 떨어졌으며, 파싱 실패율은 70.3% 였습니다.
• 상관관계: 저하의 심각성은 그라운딩 품질 (IoU) 과 상관관계가 있었으나, 일부 모델의 경우 형식 준수가 지배적인 요인이었습니다.

C. 오라클 회복

• Ground-Truth(GT) 바운딩 박스를 제공받았을 때, 모든 모델은 직접 및 자기 그라운딩 기준선과 비교하여 VQA 성능을 향상시켰습니다.
• Gemini 2.5 Pro는 거의 0 에 가까운 수준에서 44.3% 정확도로 회복되어 직접 VQA 기준선을 능가했습니다. 이는 추론 능력은 intact(온전) 하지만 지각(국소화) 이 병목 현상임을 확인시켜 줍니다.

D. 파인튜닝 영향

• **Qwen 2.5 VL(SFT)**은 비교 가능한 방법들 중 가장 높은 보고된 **SLAKE 개방형 재현율 (85.5%)**을 달성하여 LLaVA-Med 및 기타 기준선들을 능가했습니다.
• 이는 VQA 수준의 격차가 도메인 적응을 통해 해결 가능함을 증명합니다. 그러나 SFT 가 VQA 지표에만 평가되었기 때문에, 이 적응이 근본적인 지각/그라운딩 병목 현상을 해결했는지는 여전히 불분명합니다.

5. 의의 및 결론

• 병목 현상으로서의 그라운딩: 이 연구는 SLAKE 바운딩 박스 설정에서 의료 VQA 의 주요 신뢰성 병목 현상을 시각적 그라운딩 품질로 규명했습니다. 현재 VLM 은 그라운딩을 신뢰할 수 있는 중간 단계로 사용하기에 필요한 공간적 정밀도가 부족합니다.
• 파이프라인 위험: 현재 프런티어 모델로 "자기 그라운딩" 파이프라인에 의존하는 것은 위험하며, 이는 전체 성능을 저하시키는 높은 형식 붕괴 및 국소화 오류 위험을 초래합니다.
• 향후 방향: 저자들은 다음과 같은 방향을 제안합니다:
  1. 하이브리드 아키텍처: 전문화된 도메인 적응 그라운딩 모듈 (예: 파인튜닝된 Grounding DINO 또는 SAM) 을 사용하여 VLM 에 신뢰할 수 있는 공간 입력을 공급함으로써 지각과 추론을 분리합니다.
  2. 세분화된 분석: 장기 유형, 병변 규모, 좌우에 따라 실패 분석을 계층화합니다.
  3. 추론 시 적응: 추가 훈련 데이터 없이 지각을 개선하기 위해 추론 시 강화 학습을 탐구합니다.

요약하자면, 프런티어 VLM 은 강력한 추론 능력을 갖추고 있지만 의료 구조를 정밀하게 국소화하지 못한다는 점은 "자기 그라운딩" 파이프라인을 신뢰할 수 없게 만듭니다. 신뢰할 수 있는 의료 AI 를 위해서는 전문화된 지각 모듈이 필요하거나 VLM 자체의 공간 추론 능력이 크게 향상되어야 합니다.