기술 요약: GazeWorld – 의료 이미지 표현 학습을 위한 방사선사 판독의 세계 모델

1. 문제 제기

의료 영상 AI 의 임상 적용은 두 가지 주요 과제에 직면해 있습니다: 첫째, 개인정보 보호 규정과 전문가 주석의 높은 비용으로 인한 대규모 다양성 있는 레이블 데이터의 부족, 둘째, 현재 모델들이 근본적인 증거를 드러내지 않은 채 진단 레이블만 출력하는 해석 가능성의 부재입니다. 방사선사의 시선 추적 데이터는 전문가의 사전 지식과 증거 수집의 시간적 순서를 인코딩함으로써 유망한 해결책을 제시하지만, 기존 방법들은 이 신호를 부분적으로만 활용합니다. 현재의 접근 방식은 시선을 정적인 공간적 사전 지식 (예: 히트맵) 으로 취급하거나 진단 추론 과정과 분리된 보조 예측 목표로 간주하는 경향이 있습니다. 그 결과, 전문가가 어떻게 증거를 탐색, 비교, 축적하는지에 대한 시간적 구조는 진단 표현을 개선하는 데 제대로 활용되지 못하고 있습니다.

2. 방법론: GazeWorld

저자들은 GazeWorld를 제안했습니다. 이는 의료 영상 세계 모델로, 방사선사의 진단 과정을 이미지에 의해 정의된 지각적 세계를 통한 궤적으로 재구성합니다. 시선을 정적인 지도로 취급하는 대신, GazeWorld 는 판독 과정을 자기회귀적 시퀀스로 모델링하여, 방사선사가 이미지를 탐색하고 각 고정점 (fixation) 에서 국소적 증거를 추출하여 다음 관심 영역을 결정하도록 합니다.

핵심 아키텍처

GazeWorld 는 세 가지 주요 구성 요소로 이루어져 있습니다 (논문 Figure 1 참조):

1. 패치 표현 및 고정점 시퀀스:

   • 온라인 비전 인코더 ($\phi$) 가 의료 이미지 $X$를 패치 수준의 의미론적 표현 집합 $Z$로 매핑합니다.
   • 방사선사의 고정점 시퀀스 $F$는 방문 순서의 시간적 질서를 유지하면서 동일한 패치에 대한 반복 방문을 병합하여 고유한 순서화된 패치 인덱스 $S = (s_1, \dots, s_L)$로 매핑됩니다.

2. 다음 고정점 예측 분기 (자기회귀적):

   • Joint-Embedding Predictive Architecture (JEPA) 패러다임을 따르며, 모델은 이전에 방문한 모든 패치를 기반으로 다음 고정된 패치의 잠재 표현을 예측합니다.
   • 고정점 임베더 ($\psi$) 는 방문된 패치의 비전 토큰과 공간 임베딩, 시간적 순위, 체류 시간을 결합합니다.
   • 인과적 Transformer 로 구현된 자기회귀적 예측기 ($g_\theta$) 는 고정점 토큰의 접두사를 처리하여 다음 패치의 표현 ($\hat{z}_{s_i}$) 을 예측합니다.
   • 예측 목표는 온라인 인코더의 지수 이동 평균 (EMA) 복사본인 모멘텀 타겟 인코더 ($\bar{\phi}$) 에서 도출되어, 타겟을 통한 역전파 없이 안정적인 표현 공간 목표를 보장합니다.

3. 공간 완성 분기:

   • 임상적으로 유용할 수 있는 방문하지 않은 영역 (예: 정상이라서 건너뜀) 을 해결하기 위해, 공간 완성 분기는 모든 방문하지 않은 패치의 표현을 병렬로 예측합니다.
   • 경량 교차 주의 (cross-attention) 디코더는 전체 시선 컨텍스트 표현 (자기회귀적 예측기의 출력) 을 사용하여 방문하지 않은 패치의 표현을 추론합니다.

사전 학습 목적 함수

모델은 결합된 손실 함수를 사용하여 사전 학습됩니다:
$$L_{pre} = L_{AR} + \lambda L_{SC}$$
여기서 $L_{AR}$는 다음 고정점 예측을 위한 자기회귀적 손실이고, $L_{SC}$는 방문하지 않은 영역을 위한 공간 완성 손실입니다. 이 목적 함수는 자기지도 학습 방식으로, 진단 레이블이 필요하지 않으며 이미지 - 텍스트 쌍과 시선 궤적만 요구합니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. Gaze World 모델 공식화: 저자들은 방사선사의 판독 과정을 지각적 세계를 통한 궤적으로 새로운 방식으로 공식화했습니다. 이 접근법은 정적 히트맵과 분리된 스캔패스 예측을 넘어, 전문가의 시선 시간적 구조를 자기지도 신호로 완전히 활용합니다.
2. GazeWorld 아키텍처: 저자들은 이 공식을 GazeWorld 로 구체화했는데, 이는 잠재 공간에서의 시선 순서 자기회귀적 예측과 공간 완성 분기를 독창적으로 결합합니다. 이는 표현이 진단 내용과 전문가 추론의 순차적 구조를 모두 포착하도록 형성합니다.
3. 표현의 이중 유용성: 학습된 표현은 단일 모델이 정확한 진단과 해석 가능한 스캔패스 디코딩을 모두 지원할 수 있음을 보여줍니다. 고정된 GazeWorld 특징으로 훈련된 범용 디코더는 목적에 맞게 구축된 스캔패스 예측기보다 우수한 성능을 발휘하여, 표현이 전문가의 시각적 탐색 순차적 구조를 본질적으로 인코딩하고 있음을 시사합니다.

4. 실험 결과

저자들은 세 가지 벤치마크 (CheXpert, RSNA Pneumonia, SIIM-ACR Pneumothorax) 에서 흉부 X 선 진단 및 스캔패스 예측을 위해 GazeWorld 를 평가했습니다.

진단 성능

• 지도 학습 설정: 고정된 GazeWorld 특징은 모든 9 가지 지도 학습 설정 (세 가지 데이터셋 $\times$ 세 가지 레이블 비율: 1%, 10%, 100%) 에서 최첨단 (SOTA) AUROC 를 달성했습니다. 특히 EGMA 와의 통제된 비교 (백본, 초기화, 데이터 일치) 에서 GazeWorld 는 CheXpert 1% AUROC 를 71.21 에서 78.37 로 향상시켰습니다.
• Zero-Shot 성능: GazeWorld 는 세 가지 벤치마크 모두에서 가장 높은 Zero-Shot 정확도를 달성했으며, CheXpert 와 SIIM-ACR 에서 가장 높은 F1 점수를 기록하여 MedCLIP, EGMA, GLoRIA 와 같은 모델을 능가했습니다.
• 정성적 분석: Grad-CAM 시각화는 GazeWorld 가 기존 모델에 비해 임상적으로 관련 있는 해부학적 구조에 대해 더 집중된 활성화를 생성함을 나타냈습니다.

스캔패스 예측

• 프로빙 실험: 고정된 GazeWorld 특징으로 훈련된 범용 디코더를 GazeSearch 벤치마크 (ChestSearch 프로토콜) 에서 평가했습니다.
• 성능: 명시적으로 시선을 예측하도록 훈련되지 않았음에도 불구하고, GazeWorld 특징을 사용한 디코더는 목적에 맞게 구축된 LogitGaze-Med 보다 ScanMatch 에서 16% 이상, SED(Scanpath Euclidean Distance) 에서 22% 이상 우수한 성능을 보였습니다.
• 시사점: 이는 세계 모델 사전 학습이 전문가 판독의 순차적 구조를 시각 표현에 성공적으로 인코딩했음을 시사합니다.

제거 분석 (Ablation Studies)

• 순서화: 전문가 스캔패스를 래스터 스캔 또는 무작위 순서로 대체하면 성능이 크게 저하되어, 증거 수집의 시간적 순서가 결정적임을 확인했습니다.
• 구성 요소: 자기회귀적 (AR) 구성 요소만으로도 강력한 성능을 보였으나, 공간 완성을 추가하면 결과가 더욱 개선되었습니다. 공간 완성 단독은 더 약했으며, 이는 효과적이기 위해 자기회귀적 컨텍스트에 의존함을 시사합니다.
• 백본: 이 방법은 다양한 의료 비전 백본 (MGCA, EGMA, MedCLIP) 위에 적용될 때 일관되게 Zero-Shot 성능을 향상시켜, 그 일반화 가능성을 나타냈습니다.

5. 중요성 및 주장

이 논문은 GazeWorld 가 무엇을 결론내리는지뿐만 아니라 전문가가 어떻게 읽는지를 모델링함으로써 의료 영상 AI 를 위한 유망한 사전 학습 패러다임을 보여준다고 주장합니다. 이미지를 세계로, 고정점 시퀀스를 궤적으로 취급함으로써, 모델은 진단 추론의 다음 단계를 예측하도록 학습합니다.

저자들은 이 접근 방식이 다음과 같다고 주장합니다:

• 시선 추적 데이터의 풍부하고 자기지도적인 신호를 활용함으로써 대규모 레이블 데이터에 대한 의존도를 줄입니다.
• 학습된 표현이 전문가 추론의 순차적 구조를 유지하기 때문에, 정적 주의 맵이 제공할 수 없는 해석 가능성의 기반을 제공합니다.
• 기존 의료 기반 모델에 대한 보완적 정제 목적 함수를 제공하여, 처음부터 완전히 재학습할 필요 없이 사전 학습된 인코더에 방사선사의 판독 역학을 주입합니다.

이 연구는 흉부 X 선과 단일 시선 추적 코퍼스 (MIMIC-EYE) 에 제한적으로 수행되었으며, 저자들은 향후 연구에서 더 큰 다중 판독자 데이터셋과 더 넓은 영상 모달리티를 탐구해야 한다고 지적했습니다.