기술 요약: WALDO – VLM 기반 분산형 OOD 감지를 위한 Wasserstein 정렬 국소화

1. 문제 제기

의료 영상에서 희귀 병변을 탐지하는 것은 중요한 임상적 과제입니다. 지도 학습 객체 탐지 모델은 알려진 클래스에서 잘 작동하지만, 훈련 데이터에 없는 병변에는 근본적으로 일반화하지 못합니다. 비전 - 언어 모델 (VLM) 은 제로샷 추론 능력을 제공하지만, 현재 최첨단 VLM 들은 의료 영상에서 **이상 국소화 (anomaly localisation)**에 어려움을 겪습니다. 뇌 MRI 를 위한 NOVA 벤치마크에서 최상위 VLM 들은 mAP@30 기준 24.5~37.7% 만 달성합니다.

저자들은 현재 VLM 기반 국소화의 세 가지 구조적 한계를 식별했습니다:

1. 정상 맥락의 부재: VLM 들은 "정상" 해부학에 대한 참조 없이 이상을 식별하려 시도합니다. 이는 방사선과 전문의가 건강한 사례를 보지 않고 진단을 내리도록 요청하는 것과 유사합니다.
2. 참조 불일치: 참조가 제공되더라도 무작위 샘플링은 해부학적으로 불일치하는 시야를 초래하여 일관성 없는 비교를 유발합니다.
3. 높은 분산: VLM 의 확률적 샘플링은 높은 예측 분산 (표준 편차 >5% mAP) 을 초래하며, 언어 작업을 위한 기존 자기 일관성 방법은 공간 국소화로 효과적으로 확장되지 않습니다.

2. 방법론: WALDO

저자들은 WALDO(분산형 OOD 를 위한 Wasserstein 정렬 국소화) 를 제안합니다. 이는 훈련이 필요 없는 프레임워크로, 제로샷 국소화를 비교 추론 문제로 재구성합니다. 이 방법은 세 단계로 진행됩니다:

A. 엔트로피 가중 슬라이스드 워asserstein 을 통한 분산 유사성

전역 CLS 토큰을 사용하는 대신, WALDO 는 DINOv2(ViT-B/16) 를 사용하여 패치 수준의 임베딩을 추출하여 국소화에 필수적인 공간 구조를 보존합니다.

• 지표: 이 방법은 쿼리 이미지의 패치 분포와 참조 건강한 이미지 간의 슬라이스드 워asserstein (SW) 거리를 계산합니다.
• 효율성: 표준 워asserstein 거리의 $O(T^3)$ 복잡성을 피하기 위해 $M=100$개의 무작위 투영을 사용하여 복잡도를 $O(TM \log T)$로 줄입니다.
• 엔트로피 가중: 모든 패치가 동일한 정보를 제공하는 것은 아닙니다. 이 방법은 패치를 지역 엔트로피 ($H(\phi)$) 로 가중치 부여하여 질감 있는 영역 (아마도 병변) 에는 높은 중요도를, 균일한 배경에는 낮은 가중치를 부여합니다.
  $$SW^{(w)}_2(P, Q) = \left( \sum_{i=1}^T w_i \cdot (p^{(i)} - q^{(i)})^2 \right)^{1/2}$$

B. Goldilocks 존 참조 선택

참조 유사성과 국소화 정확도 간의 비단조적 관계(Goldilocks 효과) 가 핵심 이론적 통찰입니다.

• 높은 유사성: 해부학적으로 일치하지만 미묘한 차이는 VLM 의 변별 임계값 아래로 떨어질 수 있어 노이즈가 많은 예측 (높은 분산) 으로 이어집니다.
• 낮은 유사성: 명백한 차이는 정상 해부학적 변이에서 허위 탐지 (높은 편향) 로 이어집니다.
• 최적 존: 중등도 유사성(30~70 백분위수) 을 가진 참조들은 편향 - 분산 트레이드오프를 최소화합니다.
• 다양성: 이 "Goldilocks 존"에서 참조들은 다양한 해부학적 시야를 보장하기 위해 **Determinantal Point Process (DPP)**와 같은 반발적 샘플링을 사용하여 선택됩니다.

C. 차등 프롬프팅 및 자기 일관성 집계

• 프롬프팅: VLM 에게 차등 추론을 수행하도록 프롬프트합니다: "환자 스캔과 건강한 참조를 비교하십시오... 비정상적으로 보이는 영역을 식별하십시오." 이는 절대적 이상 탐지 대신 비교 능력을 활용합니다.
• 집계: $K$개의 참조에서 나온 예측들은 **가중치 부여된 Non-Maximum Suppression (NMS)**을 통해 집계됩니다. 각 예측의 신뢰도는 유사성 거리로 가중치 부여됩니다 ($\tilde{c} = c \cdot \exp(-\lambda \cdot SW_2)$). 덜 유사한 참조에서의 예측은 가중치가 낮아집니다. 이는 예측 분산을 약 40% 감소시킵니다.

3. 주요 기여

1. 최적 수송 공식화: 공간 구조를 보존하면서 $O(n \log n)$ 효율성을 갖는 DINOv2 패치 분포에 엔트로피 가중 슬라이스드 워asserstein 거리를 사용하는 새로운 참조 선택 메커니즘.
2. Goldilocks 효과의 이론적 특성화: 이 논문은 이론적 및 실증적으로 중등도 유사성 참조가 비교 시각 추론에서 편향 - 분산 트레이드오프를 최적화함을 입증하여 "가장 유사한 것"이 항상 최선이라는 직관에 도전합니다.
3. 공간 자기 일관성: 신뢰도 가중치 NMS 를 통한 공간 국소화로 확장된 자기 일관성으로, 예측 분산을 크게 감소시킵니다.
4. 훈련 없는 패러다임: 미세 조정이 필요 없는 프레임워크로, 이전에 보지 못한 병변에 대한 제로샷 평가를 가능하게 합니다.

4. 실험 결과

실험은 NOVA 뇌 MRI 벤치마크 (907 개 이미지, 281 개 희귀 병변) 와 VinDr-CXR 흉부 X 선의 하위 집합에서 수행되었습니다.

• NOVA 성능: Qwen2.5-VL-72B를 사용하여 WALDO 는 43.5 ± 1.6% mAP@30을 달성했으며, 제로샷 기준 (36.4%) 대비 19% 상대적 개선을 보였습니다. 이 개선은 통계적으로 유의미합니다 ($p < 0.01$).
• 교차 모델 일반화:
  • GPT-4o: 19.0% 에서 32.0% mAP@30 로 개선 (+68% 상대).
  • Qwen3-VL-32B: 20.4% 에서 32.0% mAP@30 로 개선 (+57% 상대).
  • Gemini-2.0-Flash: 18.1% 에서 38.0% mAP@30 로 개선 (+110% 상대).
  • 참고: 가장 큰 모델인 Qwen3-VL-235B(MoE) 는 성능이 약간 하락 (-12%) 했는데, 저자들은 참조 컨텍스트를 처리할 때 전문가 라우팅 메커니즘의 잠재적 혼란을 원인으로 꼽았습니다.
• VinDr-CXR: WALDO 는 모든 모델에서 일관된 개선을 보였습니다 (예: Qwen3-32B 는 12.8% 에서 34.1% mAP@30 로 개선) 하지만, X 선의 확산성 병변과 해부학적 중첩으로 인해 MRI 보다 절대적 성능 (24~35%) 은 낮았습니다.
• Ablation 연구:
  • 코사인 유사성을 슬라이스드 워asserstein 으로 대체하는 것이 가장 큰 개선 (+6% mAP) 을 제공했습니다.
  • 엔트로피 가중, Goldilocks 샘플링, 자기 일관성 각각이 점진적인 개선을 기여했습니다.
  • 차등 프롬프팅은 직접적 이상 탐지 프롬프트보다 +7% mAP 더 우수했습니다.

5. 중요성 및 주장

이 논문은 WALDO 가 의료 영상에서 분산형 (OOD) 탐지를 위한 새로운 패러다임을 대표한다고 주장합니다. 주요 중요성은 건강한 참조 이미지를 제공함으로써 VLM 들이 학습된 질병 표현에 의존하는 대신 문맥 내 해부학적 사전 지식을 통해 차등 진단을 수행할 수 있음을 입증하는 데 있습니다.

• 임상적 유용성: 저자들은 WALDO 를 1 차 진단이 아닌 분류 및 주의 유도 도구로 위치시키며, 여전히 매우 작은 병변 (<이미지 면적의 5%) 과 확산성 병변에는 어려움을 겪는다고 지적합니다.
• 효율성 대 정확성: 이 방법은 계산 오버헤드를 추가합니다 (다중 이미지 프롬프팅으로 인해 추론 시간 약 3 배 증가) 하지만, 모델 훈련이나 매개변수 업데이트 없이 상당한 정확도 향상을 달성합니다.
• 모달리티 특이성: 저자들은 성능이 모달리티에 따라 달라짐을 인정합니다. 이 방법은 뇌 MRI(초점 강도 변화) 에서는 뛰어나지만, 흉부 X 선(높은 환자 간 변이성 및 중첩 구조) 에서는 어려움을 겪습니다.

이 연구는 향후 방향으로서 임상 배포를 위한 학습된 엔드 - 투 - 엔드 참조 선택과 불확실성 보정을 제시하지만, 현재로서는 훈련 없는 제로샷 이상 국소화를 위한 강력한 기준선을 확립합니다.