An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

기술 요약: 3D 종양학 영상에 대한 시각-언어 모델 평가를 위한 자동화된 오염 제어 VQA 벤치마크

문제 정의
시각-언어 모델(VLM)이 의료 영상 분야에 점점 더 많이 적용되고 있으나, 임상 환경에서의 신뢰성은 여전히 제대로 규명되지 않은 상태이다. 기존의 공개 의료 시각 질의응답(VQA) 벤치마크는 두 가지 결정적인 결함을 가지고 있다:

1. 데이터 오염(Data Contamination): 대규모 데이터셋이 VLM의 사전 학습 코퍼스에 포함되는 경우가 많아, 높은 점수가 실제 시각적 인지가 아닌 이미지-질문 쌍의 암기 결과일 수 있다.
2. 텍스트 전용 해결 가능성(Text-Only Solvability): 많은 벤치마크 항목들이 이미지를 분석할 필요 없이 질문 텍스트와 언어적 사전 지식(language priors)만으로도 정답을 맞힐 수 있다.

또한, 종양학 영상은 고유한 과제를 제시한다: 대부분의 현재 VLM은 2D 입력만을 수용하는 반면, 종양학 연구는 여러 슬라이스와 시퀀스를 가로질러 해석해야 하는 볼륨형(3D) 데이터이다. 기존 벤치마크들은 이미지 의존적 성능과 데이터 친숙도 또는 질문 텍스트에 의한 성능을 구분하지 못한다.

방법론
저자들은 프라이빗한 방사선 보고서와 3D 종양학 영상을 직접 활용하여, 오염이 제어된 다지선다형 VQA 벤치마크를 생성하도록 설계된 자동화된 에이전트 기반 파이프라인을 제시한다.

• 데이터 소스: 이 파이프라인은 간 CT, 간 MRI, 폐 CT, 뇌 MRI의 네 가지 종양 코호트(주요 벤치마크를 위한 총 2,509 케이스)로부터 추출된 프라이빗한 단일 기관 방사선 보고서와 3D 영상을 활용한다. 동일하게 생성되었으나 공적/사적 오염 절제 연구(Table 3)를 위해 별도로 보관된 다섯 번째의 완전 프라이빗한 내부 뇌 MRI 코호트는 메인 벤치마크 합계에서 제외되었다. 이 소스 보고서들은 프라이빗하며 공개 사전 학습 데이터의 일부가 아니므로, 생성된 질문들은 인스턴스 수준의 오염으로부터 보장되어 자유롭다.
• 질문 생성: 시스템은 두 가지 상호 보완적인 질문 유형을 생성한다:
  1. 스키마 기반(RADS 스타일): 확립된 보고 체계(LI-RADS, Lung-RADS, RANO 정렬 뇌 스키마)에 근거하여 임상의가 검토한 스키마로부터 결정론적으로 질문을 구성한다. 이는 표준화되고 시각적으로 답변 가능한 질문을 보장한다.
  2. 보고서 유도형: 방사선사의 소견 및 인상을 바탕으로 언어 모델이 질문을 생성한 후, 해당 답이 소스 텍스트에 의해 명시적으로 뒷받침되는지 확인하는 "보고서 근거 체크(report-grounded check)"를 통해 필터링한다.
• 이미지 처리: 2D 입력 모델을 위해, 3D 볼륨은 144개의 축상 슬라이스(슬라이스당 약 128×128 픽셀)를 12×12 합성 몽타주로 렌더링한다.
• 평가 프로토콜: 다섯 가지의 현대적 VLM을 제로샷 설정에서 평가하였다: 두 개의 프런티어 폐쇄형 모델(Claude Opus 4.6, GPT-5.2), 한 개의 오픈 웨이트 프런티어 모델(Qwen3-VL-30B), 그리고 두 개의 의료 전문 모델(MedGemma1.0-27B, MedGemma1.5-4B).
• 절제 연구(Ablation Studies): 시각적 의존성을 격리하기 위해, 이미지를 빈 입력으로 대체하여 모델을 재평가하였다("블라인드" 조건). 또한, 이미지 분포 친숙도를 테스트하기 위해 공개 뇌 코호트(PDGM)를 매칭된 프라이빗 내부 뇌 코호트와 비교하였다.
• 통계적 엄밀성: 사례 클러스터링 부트스트래핑(case-clustered bootstrapping)을 사용하여 신뢰 구간을 산출하고, 실제 효과와 노이즈를 구분하기 위해 다중성 제어 검정(Benjamini-Hochberg FDR 보정 및 동등성을 위한 Two One-Sided Tests [TOST])을 적용하였다.

주요 결과

• 가변적 성능: 단일 모델이 모든 코호트에서 신뢰할 만한 성능을 보이지 않았다. 정확도는 무작위 베이스라인(0.28)부터 0.81까지 다양했다. 모델 순위는 코호트와 질문 유형에 따라 크게 달라졌다.
• 이미지 독립성: 몇몇 고성능 구성의 경우, 이미지를 제거해도 정확도에 거의 영향이 없었다.
  • 뇌 MRI(공개 및 프라이빗 모두)와 폐 CT에서, 프런티어 모델(예: Claude Opus 4.6)은 이미지를 제거했을 때 정확도 저하가 미미하게 나타났으며, 이는 이들의 성능이 시각적 증거보다는 언어적 사전 지식이나 질문 텍스트 신호에 크게 의존함을 시사한다.
  • 반대로, MedGemma1.0-27B는 간 CT 및 MRI에서 블라인드 처리 시 유의미한 하락을 보여, 특정 맥락에서 더 강한 시각적 의존성을 나타냈다.
• 공개 vs 프라이빗 뇌 영상: RADS 스타일 질문에서 프런티어 모델들은 매칭된 프라이빗 이미지에 비해 공개(PDGM) 뇌 이미지에서 0.17~0.19 더 높은 점수를 기록했다. 이는 공개 데이터셋에 대한 친숙도가 존재할 수 있음을 시사한다. 그러나 보고서 유도형 질문에서는 공개 코호트와 프라이빗 코호트 간의 성능 차이가 구별되지 않았다.
• 과제 난이도: 모델들은 정량적 또는 등급 판정(예: 병변 크기, Lung-RADS 범주, 질량 효과 등급)에서 어려움을 겪었으며, 정확도가 우연 수준을 간신히 넘어서는 데 그쳤다. 반면, 질적 인식 작업(예: 소견의 유무)은 훨씬 높은 정확도로 수행되었다.
• 통계적 발견: FDR 보정 후에도 40개 정확도 측정치 중 37개가 우연 수준을 초과했다. 그러나 동등성 검정 결과, 특정 작업(예: 뇌 MRI 보고서 유도형)에서 높은 점수를 받은 많은 모델의 경우, 시각적(sighted) 성능과 블라인드(blind) 성능의 차이가 ±0.05 범위 내에서 통계적으로 영(zero)과 동등한 것으로 나타났다.

의의 및 주장
본 논문은 확정적인 모델 리더보드를 제공하는 것이 아니라, 프라이빗하게 생성된 벤치마크가 질문 텍스트 및 데이터셋 친숙도 효과로부터 이미지 의존적 성능을 효과적으로 분리할 수 있음을 입증하는 것을 목적으로 한다.

• 임상적 함의: 현재의 VLM은 의료 전문 모델을 포함하여, 축소된 2D 형식으로 제시될 때 볼륨형 종양학 연구를 읽는 데 있어 아직 신뢰할 만한 수준이 아니다. 헤드라인 정확도는 특히 언어적 사전 지식(예: 폐 CT, 뇌 MRI)을 통해 해결 가능한 작업에 대해 시각적 역량을 과대평가할 수 있다.
• 과제 한계: 공간적 측정(크기, 심각도 등급)을 처리하지 못하는 능력과 단순 인식을 비교했을 때의 한계는, 현재의 2D 입력 시스템이 정밀한 정량화에 의존하는 관리 결정 중심의 작업에는 부적합함을 시사한다.
• 방법론적 기여: 저자들은 이 파이프라인을 하나의 '오픈 에이전트 기술'로 공개하여, 기관들이 자체 프라이빗 데이터를 사용하여 오염이 제어된 벤치마크를 재생성할 수 있도록 한다. 이는 평가를 정적인 공개 아티팩트에서 프라이빗하고 재생 가능한 내부 테스트로 전환함으로써, 의료 AI 평가에서의 데이터 누수 문제를 해결한다.

본 연구는 VLM이 유망한 모습을 보이기는 하지만, 복잡한 볼륨형 종양학 환경에서의 시각적 추론 능력은 여전히 제한적이며 특정 영상 양식 및 질문 유형에 크게 의존한다는 결론을 내린다. 제안된 벤치마크는 이러한 한계를 식별하고, 인지가 아닌 암기에 의존하는 모델의 배포를 방지하기 위한 엄격한 프레임워크를 제공한다.