기술 요약: RadJEPA

문제 제기

최근 의료 시맨틱-언어 모델의 발전은 텍스트 감독을 통한 시각적 표현 학습을 주도해 왔습니다. 그러나 이러한 패러다임은 짝지어진 이미지-텍스트 데이터의 가용성에 제약을 받으며, 방사선 보고서가 시각적 내용을 완전하고 편향 없이 기술한다는 가정에 의존합니다. 실제로 임상 보고서는 의사결정을 위한 선택적 소견을 강조하며, 미묘한 변이 또는 부재한 관찰 사항을 종종 생략합니다. 그 결과, 이미지와 텍스트를 정렬하도록 훈련된 인코더는 편향을 물려받거나 의료 이미지의 완전한 의미 구조를 보존하지 못할 수 있습니다.

더욱이, DINO 스타일의 자기 증류와 같은 기존 자기지도 학습 대안들은 여러 증강 뷰에 걸쳐 글로벌 표현을 정렬함으로써 불변성을 학습합니다. 정밀한 해부학적 차이와 미묘한 병리학적 단서가 진단적으로 중요한 흉부 X-ray 의 맥락에서, 뷰 간 글로벌 합의를 강제하는 것은 의미적 완전성보다 외관 수준의 일관성을 우선시할 수 있습니다. 이러한 방법들은 종종 잠재 공간에서 의미적 표현을 예측하기보다는 픽셀 공간의 일관성을 강조합니다.

방법론: RadJEPA

이러한 한계를 해결하기 위해 저자들은 언어 감독 없이 학습하는 자기지도 프레임워크인 RadJEPA(Joint Embedding Predictive Architecture 를 통한 흉부 X-ray 방사선 인코더) 를 소개합니다.

핵심 아키텍처

RadJEPA 는 Joint Embedding Predictive Architecture(JEPA) 를 기반으로 구축되었습니다. 픽셀을 재구성하거나 글로벌 뷰 표현을 정렬하는 방법과 달리, RadJEPA 는 명시적으로 잠재 공간 예측을 모델링합니다:

1. 입력 분할: 입력 흉부 X-ray $x$는 가시 영역 ($x_v$) 과 마스킹 영역 ($x_m$) 으로 분할됩니다.
2. 인코딩: 시각 인코더 $f_\theta$는 이러한 영역을 잠재 표현 $z_v = f_\theta(x_v)$ 및 $z_m = f_\theta(x_m)$으로 매핑합니다.
3. 예측: 예측기 네트워크 $g_\phi$는 가시 컨텍스트의 잠재 표현 ($z_v$) 만을 기반으로 마스킹 영역의 잠재 표현 ($\hat{z}_m$) 을 예측하도록 훈련됩니다.
4. 목적 함수: 모델은 예측된 잠재 표현과 마스킹 영역의 실제 (stop-gradient) 잠재 표현 사이의 제곱 오차를 최소화합니다:
   $$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$$
5. 훈련 동역학: 타겟 인코더 매개변수는 온라인 인코더의 지수 이동 평균 (EMA) 을 통해 업데이트되지만, 교사 - 학생 형식과 유사하게 목적 함수는 픽셀 재구성, 대비적 부정 샘플, 또는 명시적 데이터 증강 없이 표현 공간 전체에서 작동합니다.

하위 작업 적응

레이블이 없는 흉부 X-ray 로 사전 훈련된 후, 시각 인코더 $f$는 고정됩니다. 작업별 헤드는 다음과 같이 독립적으로 훈련됩니다:

• 질병 분류: 고정된 글로벌 임베딩에 대한 선형 분류기.
• 의미론적 분할: 고정된 인코더의 다중 스케일 특징을 집계하는 UPerNet 디코더.
• 보고서 생성: 고정된 시각 임베딩이 언어 임베딩 공간으로 투영되어 언어 모델 (Vicuna-7B) 로 입력되는 LLaVA 스타일의 멀티모달 설정.

주요 기여

1. 기존 패러다임의 한계: 이 논문은 언어 감독과 DINO 스타일 자기 증류 모두 의미적 완전성과 정밀한 해부학적 세부 사항과 관련하여 방사선 표현 학습에 한계가 있음을 보여줍니다.
2. RadJEPA 프레임워크: 저자들은 레이블이 없는 흉부 X-ray 이미지에서 직접 학습하는 예측 기반 자기지도 아키텍처를 소개합니다. 이는 839,000 개 이상의 흉부 X-ray 이미지로 훈련된 최신 (SoTA) 모델과 비교할 수 있거나 더 나은 성능을 달성하며, DINOv2(11 억) 나 I-JEPA(6 억) 와 같은 대규모 모델에 비해 더 작은 백본 (ViT-B/14, 8600 만 매개변수) 을 사용함에도 불구하고 우수한 성능을 보입니다.
3. 종합적 평가: 이 연구는 질병 분류, 의미론적 분할, 보고서 생성이라는 세 가지 서로 다른 하위 작업에 걸쳐 경험적 평가를 제공하며, 더 큰 용량의 아키텍처를 포함한 다양한 베이스라인과 비교합니다.

실험 결과

모델은 오픈 소스 데이터셋 (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest) 의 839,364 개 흉부 X-ray 이미지로 사전 훈련되었습니다.

• 이미지 분류: VinDr-CXR 및 RSNA-Pneumonia 벤치마크에서 RadJEPA 는 이미지 전용 및 비전 - 언어 베이스라인을 일관되게 능가했습니다.
  • VinDr-CXR 에서 평균 AUPRC 55.2를 달성하여 RAD-DINO(52.8) 와 I-JEPA(50.0) 를 능가했습니다.
  • 폐 섬유증 (RAD-DINO 대비 AUPRC +4.5) 및 대동맥 확장성과 같은 미묘하고 이질적인 소견에서 주목할 만한 개선이 관찰되었습니다.
  • RSNA-Pneumonia 에서 최상의 AUPRC(72.7) 및 AUROC(89.2) 를 달성했습니다.
• 의미론적 분할: UPerNet 디코더를 사용하여 RadJEPA 는 폐 (98.3), 폐 영역 (93.7), 그리고 늑골 (89.6) 분할 작업에서 가장 높은 Dice 점수를 달성했습니다. 특히 구조적으로 복잡한 대상인 늑골에서 RAD-DINO 대비 +4.8 의 Dice 점수 향상과 같은 강력한 개선을 보였습니다.
• 보고서 생성: MIMIC-CXR 및 분포 외 (out-of-distribution) IU-Xray 데이터셋에서 RadJEPA 는 이미지 전용 및 예측 인코더 간 모든 지표 (ROUGE-L, BLEU-4, RGER, Macro-F1-14) 에서 가장 강력한 성능을 달성했습니다.
  • MIMIC-CXR 에서 ROUGE-L 26.1및 Macro-F1-14 32.6을 달성했습니다.
  • IU-Xray 에서 가장 강력한 비-JEPA 베이스라인 대비 ROUGE-L 을 +1.7 향상시켰습니다.
• 통계적 유의성: 단일 꼬리 가설 검정은 평가된 19 개 사례 중 16 개가 베이스라인 대비 통계적으로 유의한 개선 ($p < 0.05$) 을 보임을 확인했습니다.

의의

이 논문은 흉부 X-ray 가 근본적으로 뷰 중심이 아니라 의미론적이라고 주장합니다. 임상적 해석은 글로벌 해부학적 맥락과 공간적 관계에 의존하므로, 픽셀 공간에서 직접 표현을 학습하거나 뷰 수준 불변성을 강제하는 것은 최적이지 않습니다. RadJEPA 는 예측적 잠재 모델링이 짝지어진 이미지 - 텍스트 데이터나 전통적인 증류형 아키텍처에 의존하지 않고도 견고하고 범용적인 방사선 인코더를 학습할 수 있음을 보여줍니다.

이 결과는 의료 영상에서의 성능 향상이 모델 규모나 데이터셋 크기에만 의해 주도되는 것이 아니라 학습된 표현의 품질에 의해 결정됨을 시사합니다. 거대한 모델에 비해 더 적은 매개변수 수 (ViT-B/14) 로 우수한 하위 작업 성능을 달성함으로써, RadJEPA 는 의료 분야에서 JEPA 스타일 아키텍처의 표본 효율성과 표현의 질을 강조합니다. 저자들은 강력한 방사선 인코더가 언어 감독 없이도 효과적으로 학습될 수 있으며, 코드와 가중치의 공개를 통해 재현 가능한 길을 제시한다고 결론지었습니다.