GazeVaLM: AI 생성 X-ray 의 임상적 현실성 평가를 위한 다중 관찰자 안구 추적 벤치마크

1. 문제 제기 (Problem)

• 데이터 부족과 프라이버시: 임상 AI 개발은 데이터 부족, 프라이버시 제약, 클래스 불균형 등의 한계에 직면해 있습니다. 이를 해결하기 위해 생성형 AI(GAN, VAE, Diffusion 모델 등) 를 이용한 합성 의료 이미지 생성이 활발히 이루어지고 있습니다.
• 평가 지표의 한계: 현재 합성 이미지의 품질은 FID(Fréchet Inception Distance) 나 IS(Inception Score) 와 같은 계산적 지표로 평가됩니다. 그러나 이러한 지표는 분포의 유사성은 측정할 수 있으나, **임상적으로 현실적인지 (Clinical Authenticity)**를 판단하지 못합니다.
• 인지적 격차: 계산적 지표가 높은 점수를 받아도, 숙련된 방사선 의사는 미세한 인공물 (artifacts) 을 감지하여 비현실적으로 판단할 수 있습니다. 기존에는 합성 의료 이미지에 대한 전문가의 시각적 처리 과정과 임상적 판단을 동시에 분석할 수 있는 데이터셋이 부재했습니다.

2. 방법론 (Methodology)

GazeVaLM 은 4 단계 파이프라인으로 구성된 공개 안구 추적 데이터셋입니다.

• 데이터 생성 (Synthetic Image Generation):

  • 모델: RoentGen(비전 - 언어 기반 확산 모델) 사용.
  • 소스: MIMIC-CXR 데이터베이스의 자유 텍스트 방사선 보고서에서 77 토큰 이하의 보고서를 추출하여 사용.
  • 구성: 동일한 보고서 내용을 기반으로 생성된 30 개의 실제 X-ray 와 30 개의 합성 X-ray 를 쌍으로 구성.
  • 검증: 독립적인 전문 방사선 의사가 심한 해부학적 왜곡이나 텍스트 인공물이 있는 이미지를 제외하고 최종 60 장 (30 실, 30 가) 을 선정. (질병: 정상, 무기폐, 심비대, 흉수, 폐렴 등 5 가지 카테고리)

• 안구 추적 연구 (Eye-Tracking Study):

  • 참여자: 16 명의 전문 방사선 의사 (다양한 경력 및 전문 분야).
  • 장비: EyeLink 1000 Plus 안구 추적기 사용.
  • 과제 (Dual-Task Design):
    1. 진단 평가 (Task 1): 합성 이미지 존재를 알리지 않은 상태에서 자연스러운 진단 수행 (병리 및 소견 설명).
    2. 비주얼 튜링 테스트 (Task 2, VTT): 합성 이미지 존재를 알리고, 각 이미지가 '실제'인지 '합성'인지 분류하고 그 근거를 설명.
  • 데이터 수집: 16 명의 의사가 60 장의 이미지를 2 가지 과제로 수행하여 총 960 개의 안구 추적 기록 확보.

• LLM 평가 (LLM Evaluation):

  • 대상: 6 개의 최신 멀티모달 LLM (GPT-5.2 Thinking, Llama 4, DeepSeek 3.2, Gemini 3 Pro, Claude Sonnet 4.5 Thinking, Grok 4.1).
  • 프로토콜: 인간 전문가와 동일한 자극 (이미지) 과 과제 (진단 및 VTT) 를 적용.
  • 출력: 진단 결과, 진실성 판단 (Real/Fake), 신뢰도 점수, 그리고 시각적 근거를 구조화된 JSON 으로 추출.

• 데이터 처리:

  • 원시 안구 데이터는 고정 (fixation) 시퀀스, 고정 맵 (saliency maps), 스캔패스 (scanpaths), 주의도 밀도 맵 등으로 가공.
  • 동공 크기 (pupillometry) 및 동공 확장/수축 데이터도 함께 수집.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 관찰자 벤치마크: AI 생성 흉부 X-ray 의 임상적 현실성을 평가하기 위해 16 명의 전문가와 6 개의 LLM 을 대상으로 한 최초의 공개 안구 추적 데이터셋 제공.
2. 다중 과제 및 비교 분석: 동일한 이미지에서 '진단'과 '진실성 판단'이라는 두 가지 다른 과제를 수행한 데이터를 제공하여, 작업 요구사항에 따른 시각적 탐색 전략의 변화를 분석 가능하게 함.
3. 인간-AI 직접 비교: 인간 전문가와 최신 멀티모달 LLM 을 동일한 조건에서 평가하여 진단 정확도 및 진실성 탐지 능력, 그리고 불확실성 수준에서 직접 비교 가능하게 함.
4. 동공 측정의 발견: 동공 크기 및 확장 데이터가 이미지 진실성 인식에 대한 강력한 암시적 지표 (implicit marker) 임을 규명.

4. 주요 결과 (Results)

• 안구 추적 통계 (Gaze Statistics):

  • 작업 차이: 진단 과제 (Task 1) 는 VTT(과제 2) 에 비해 약 2.8 배 더 많은 고정을 기록하고, 관찰 시간이 길었음 (26.5 초 vs 8.9 초). 이는 진단 시 더 세밀한 탐색을 수행함을 의미.
  • 이미지 유형 차이: 고정 지속 시간은 작업 간 차이가 거의 없었으나, **동공 크기 (Pupil Size)**는 명확한 차이를 보임.
    • 실제 이미지: 더 큰 동공 크기와 약한 수축 (기저선 유지 또는 확장).
    • 합성 이미지: 더 작은 동공 크기와 강한 수축 (constriction).
    • 이는 동공 반응이 이미지 진실성에 대한 무의식적 인식을 반영하는 강력한 지표임을 시사.

• LLM 성능 (VTT Accuracy):

  • 정확도: 인간 전문가의 정확도 (80.1%) 에 비해 모든 LLM 의 정확도가 낮았음.
    • 최고 성능 모델 (GPT-5.2 Thinking): 71.7%
    • 최저 성능 모델 (DeepSeek 3.2): 50.0% (무작위 추측 수준)
  • 과신 (Overconfidence): 모든 LLM 은 낮은 정확도에도 불구하고 일관되게 높은 신뢰도 점수 (Confidence Score) 를 기록하여, 진실성 판단에 있어 체계적인 과신 경향을 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 연구의 확장: GazeVaLM 은 안구 모델링, 임상 의사결정, 인간-AI 비교, 생성형 이미지 현실성 평가, 불확실성 정량화 연구에 필수적인 기반을 마련함.
• 임상적 안전성: 합성 의료 이미지가 실제 임상 환경에서 오용되거나, 현실적이지 않은 데이터를 학습하여 AI 모델이 실패하는 것을 방지하기 위해, 인간 전문가의 시각적 인지 과정을 벤치마킹하는 것이 중요함을 강조.
• 재현성: 시각적 주의 데이터, 임상 레이블, 모델 예측치를 함께 공개함으로써 재현 가능한 연구를 촉진.
• 한계 및 향후 과제: 현재는 단일 확산 모델 (RoentGen) 로 생성된 전방 흉부 X-ray 에 국한되어 있으며, 단일 기관의 전문가만 참여함. 향후 다양한 영상 모달리티, 생성 아키텍처, 다기관 관찰자 풀로 확장 필요.

이 데이터셋은 https://huggingface.co/datasets/davidcwong/GazeVaLM 에서 공개되어 있습니다.