ScintiGround-38K: A Grounded Visual Question Answering Benchmark for Paired Anterior–Posterior Bone Scintigraphy

기술 요약: ScintiGround-38K

문제 정의
전신 골 스캔(Whole-body bone scintigraphy, WBBS)은 골 전이를 위한 표준적이고 저비용인 선별 검사법으로, 일반적으로 전면 및 후면의 쌍을 이루는 영상으로 획득된다. 딥러닝이 이 분야의 병변 탐지 및 분류를 발전시켜 왔으나, 기존의 벤치마크들은 임상적 소견을 자유 텍스트 라벨로 축소함으로써, 답변과 그 답변을 뒷받침하는 데 필요한 특정 영상 증거 사이의 연결 고리를 끊어버리는 문제가 있다. 또한, 표준적인 시각적 질의응답(Visual Question Answering, VQA) 평가는 원시 답변 정확도에 크게 의존하는데, 이는 모델이 시각적 내용보다는 질문 조건부 사전 확률(question-conditioned priors)이나 클래스 빈도를 악용할 수 있는 의료 맥락에서 오해의 소지가 있을 수 있다. 따라서 원래의 영상 기하학적 구조를 보존하고, 추적 가능한 소스 주석(경계 상자 및 라벨)을 유지하며, 동시에 쌍을 이루는 WBBS 데이터에 대해 답변 전용, 로컬라이제이션 전용, 그리고 근거 기반(grounded) VQA 작업을 모두 지원하는 벤치마크가 부족한 실정이다.

방법론
저자들은 두 가지 소스 컬렉션인 BS-80K(영상 참조, 영역/병변 라벨, 경계 상자 제공)와 LIBS-160K(제어된 규칙 기반 질문 템플릿 제공)로부터 유도된 동결된(frozen) 출처 보존형 데이터셋인 ScintiGround-38K를 제시한다.

• 데이터셋 구축: 이 벤치마크는 2,815명의 환자로부터 얻은 23,967개의 전면-후면 영상 쌍과 54,768개의 소스 레코드를 통해 도출된 38,469개의 인스턴스를 포함한다. 이는 세 가지 뚜렷한 작업 유형을 정의한다:
  1. VQA: 예측된 박스 없이, 지정된 영역 또는 전신에 대한 예/아니오 답변을 요구한다.
  2. 이미지 로컬라이제이션(Image Localization): 답변 점수 없이, 명명된 뼈 영역 또는 핫스팟에 대해 하나 또는 두 개의 경계 상자를 요구한다.
  3. 근거 기반 VQA(Grounded VQA): 올바른 답변과 그에 대응하는 타겟 박스(들)를 모두 요구한다.
• 출처 및 무결성: 모든 인스턴스는 소스 식별자, 뷰(view), 네이티브 이미지 경계 상자 좌표 및 환자 수준의 분할 할당을 유지한다. 메타데이터 전용 행은 제외되었다. 배포는 파생된 주석만을 제공한다. 원본 상위 이미지는 재배포되지 않는다.
• 데이터 분할: 데이터 누수와 환자 신원에 기반한 지름길 학습(shortcut learning)을 방지하기 위해 환자 단위로 데이터를 분할하였다 (훈련 80%, 검증 10%, 테스트 10%).
• 베이스라인 프로토콜: 두 가지 시각-언어 모델인 Qwen3-VL-2B-Instruct와 PaliGemma-3B-pt-224를 동일한 멀티태스크 학습 세트에서 저계수 적응(Low-Rank Adaptation, LoRA)을 사용하여 적응시켰다. Qwen3-VL은 네이티브 전면 및 후면 영상을 받았고, PaliGemma는 합성된 전면-후면 캔버스를 받았다.
• 평가: 평가는 원시 정확도, 균형 정확도(balanced accuracy), 매크로-F1, 그리고 클래스별 정밀도/재현율/F1을 포함한다. 로컬라이제이션의 경우, 평균 IoU(Intersection over Union), 박스 정확도(IoU ≥ 0.50), 그리고 엄격한 로컬라이제이션 정확도를 보고한다. 근거 기반 VQA 성능은 답변과 박스가 모두 정확할 때만 점수를 부여하는 **엄격한 근거 기반 정확도(strict grounded accuracy)**를 통해 측정된다.

주요 기여

1. 작업 정의: 본 논문은 원래 이미지 위치를 사용하여 뼈 영역, 병변 및 전신 수준에서 작동하는 쌍을 이루는 전면-후면 VQA, 이미지 로컬라이제이션, 근거 기반 VQA 작업을 정의한다.
2. 출처 보존: 기록된 링크와 해시를 통해 모든 인스턴스가 소스 주석에 추적 가능하도록 엄격한 배포 경계를 설정하여, 임상적 증거가 새로 생성되지 않음을 보장한다.
3. 방법론적 베이스라인: 두 가지 서로 다른 모델 제품군에 대한 매개변수 효율적 학습 프로토콜을 명시하며, 입력 형식 및 선택 절차의 차이를 명시적으로 보고한다.
4. 지표 분리: 본 연구는 원시 답변 정확도를 소수 클래스의 성능 및 증거 수준의 동작으로부터 분리하는 클래스 균형 및 로컬라이제이션 지표를 보고한다.

결과
보류된 테스트 세트에 대한 평가 결과, 답변의 정답 여부와 증거 근거 사이의 상당한 괴리가 드러났다:

• 답변 정확도: 두 모델 모두 VQA 및 근거 기반 VQA 작업에서 높은 원시 답변 정확도(>0.90)를 달了했다.
• 균형 성능: 높은 원시 정확도에도 불구하고, 균형 정확도는 약 0.53(VQA에 대해 Qwen3-VL은 0.528, PaliGemma는 0.535)에 머물렀으며, 이는 소수 클래스에 대해 무작위 추측에 가까운 성능을 나타낸다.
• 소수 클래스 성능: "이상(Abnormal)" 클래스에 대한 F1 점수는 모든 구성에서 0.15 미만으로 유지되었다.
• 로컬라이제이션: 모델들은 공간적 레이아웃에 대한 역량을 보여주었으며, 평균 IoU는 약 0.64, 박스 정확도는 0.78에서 0.86 사이를 기록했다.
• 근거 기반 정확도: 엄격한 근거 기반 정확도(정답과 박스가 모두 맞아야 함)는 Qwen3-VL의 경우 0.765, PaliGemma의 경우 0.701이었다. 박스 정확도와 엄격한 근거 기반 정확도 사이의 이러한 격차는 모델이 위치는 정확히 찾아내더라도 소수 클래스에 대한 올바른 분류를 생성하는 데 실패하는 경우가 많음을 강조한다.

의의 및 주장
본 논문은 ScintiGround-38K가 높은 원시 답변 정확도가 어떻게 약한 소수 클래스 및 증거 수준의 동작을 은폐할 수 있는지를 보여주는 방법론적 자원 역할을 한다고 주장한다. 저자들은 답변의 정답 여부와 증거 로컬라이제이션이 이 모달리티에서 분리 가능한 능력임을 단언하며, 오직 전자의 것만을 측정하는 벤치마크는 이러한 시스템을 견고한 것으로 잘못 특징지을 수 있다고 주장한다.

본 연구는 이 데이터셋이 임상적 검증을 거치지 않았고 병리학적 실제 값(ground truth)이 아닌 전문의의 영상 검토 라벨에 의존하므로, 임상 진단, 치료 선택 또는 환자 케어 배포를 위한 용도가 아님을 강조한다. 주요 기여는 답변과 영상 증거 사이의 정렬을 측정하기 위한 도구를 제공하는 것이며, 이를 통해 의료 AI 연구에서 균형 잡힌 지표와 엄격한 근거 기반 평가의 필요성을 강조한다. 저자들이 식별한 향후 방향에는 비영상 제어 베이스라인 구축, 계층화된 보고를 통한 클래스 불균형 해결, 그리고 독립적인 코호트에 대한 외부 검증이 포함된다.