Particle Diffusion Matching: Random Walk Correspondence Search for the Alignment of Standard and Ultra-Widefield Fundus Images

1. 문제 정의 (Problem Statement)

이 논문은 표준 안저 이미지 (SFI, Standard Fundus Images) 와 초광시야 안저 이미지 (UWFI, Ultra-Widefield Fundus Images) 간의 정합 (Alignment) 문제를 해결하고자 합니다.

• 배경: SFI 는 망막의 중심부 (30~60 도) 만을 촬영하여 해상도가 높지만 시야가 좁고, UWFI 는 망막의 82% 까지 (최대 200 도) 포착할 수 있으나 해상도와 선명도가 낮습니다. 두 이미지를 정합하면 망막 질환 (당뇨병성 망막병증, 혈관 폐색 등) 의 진단 정확도를 높일 수 있습니다.
• 어려움:
  • 시야 (FOV) 와 스케일 차이: UWFI 는 SFI 보다 훨씬 넓은 영역을 포함하며, 크기 차이가 큽니다.
  • 특징 부족: UWFI 는 해상도가 낮아 뚜렷한 특징점 (Distinctive features) 이 부족합니다.
  • 기존 방법의 한계:
    • 전역 변환 (Global transformation) 추정 방법은 국소적 특징이 부족할 때 실패합니다.
    • 국소 변형 (Local deformation) 추정 방법은 큰 전역 오정렬을 처리하기 어렵습니다.
    • 기존 두 단계 방식 (전역 -> 국소) 은 초기 전역 추정 오류를 수정할 메커니즘이 부족합니다.

2. 제안 방법: PDM (Particle Diffusion Matching)

저자들은 입자 확산 매칭 (PDM) 이라는 새로운 정합 기법을 제안합니다. 이는 확산 모델 (Diffusion Model) 을 기반으로 한 반복적 랜덤 워크 대응점 탐색 (Iterative Random Walk Correspondence Search, RWCS) 을 핵심으로 합니다.

핵심 메커니즘

1. 입자 (Particle) 정의:

   • 소스 이미지 (SFI) 의 특징점 $x_s$와 목적지 이미지 (UWFI) 의 잠재적 대응점 $x_d$를 하나의 쌍 (입자) 으로 정의합니다.
   • 기존 방법과 달리, 소스 점과 목적지 점을 독립적으로 처리하지 않고 결합된 엔티티 (Coupled entity) 로 간주하여 함께 최적화합니다.

2. 랜덤 워크 대응점 탐색 (RWCS):

   • 초기화: 목적지 이미지의 대응점 $x_d$를 무작위 가우시안 노이즈 ($t=T$) 로 초기화합니다.
   • 반전 확산 과정 (Reverse Diffusion): 학습된 확산 신경망 ($S_\theta$) 을 사용하여 노이즈가 포함된 점들을 단계적으로 ($t=T \to 0$) 이동시킵니다.
   • 이동 벡터 추정: 각 단계에서 모델은 국소적 외관, 입자의 구조적 분포, 추정된 전역 변환을 고려하여 이동 벡터 ($\Delta x_d$) 를 예측합니다.
   • 점진적 정제: 무작위에서 시작하여 반복적인 보정을 통해 정확한 대응점 위치로 수렴합니다.

3. 아키텍처 (S$\theta$):

   • ** coarse-to-fine 전략:** 두 개의 Random Walker Transformer (RWTr) 를 사용합니다.
     • Coarse Level: 저해상도 특징을 사용하여 대략적인 위치를 추정합니다.
     • Fine Level: Coarse 단계의 결과를 바탕으로 고해상도 특징을 잘라내어 (Crop) 정밀한 위치를 보정합니다.
   • 입력: 소스 이미지 (SFI) 에서 추출된 특징점 (Query) 과 목적지 이미지 (UWFI) 의 특징 맵을 활용합니다.

4. 학습 손실 함수:

   • DDPM Loss: 확산 과정의 노이즈 예측 정확도.
   • Pixel Matching Loss: 정합된 이미지의 픽셀 유사도 (NCC).
   • Regularization Loss: 추정된 호모그래피가 정답 (Ground Truth) 과 일치하도록 유도 (Differentiable RANSAC 사용).

3. 주요 기여 (Key Contributions)

1. 새로운 대응점 프레임워크: 전역 및 국소 정합을 통합하고, 확산 모델 기반의 확률적 탐색을 통해 기존 두 단계 방식의 오류 수정 한계를 극복한 PDM을 제안했습니다.
2. SOTA 성능 달성: SFI-UWFI 정합이라는 까다로운 크로스-모달 (Cross-modal) 작업에서 기존 최첨단 방법들을 압도하는 성능을 달성했습니다.
3. 범용성 입증: 다양한 데이터셋 (KBSMC, FIRE, FLORI21) 과 제로샷 (Zero-shot) 평가, 그리고 일반 자연 영상 (HPatches, MegaDepth 등) 에 대한 평가를 통해 모델의 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋:
  • KBSMC: 3,744 개의 SFI-UWFI 쌍 (주요 평가 데이터셋).
  • FIRE: SFI-SFI 정합.
  • FLORI21: UWFI-UWFI 정합.
• 성능 (KBSMC 기준):
  • Acceptable Rate (허용 가능한 정합 비율): 58.56% (기존 SOTA 인 MINIMA 의 40.91% 대비 17.65%p 향상).
  • mAUC (평균 곡선 아래 면적): 34.8 (GeoFormer 의 24.1 대비 10.7 포인트 향상).
  • 통계적 유의성 (Wilcoxon rank-sum test) 을 통해 모든 경쟁 방법보다 우월함을 입증 ($p < 0.001$).
• 효율성:
  • 밀집 그리드가 아닌 희소 점 대응점만 정제하므로 추론 시간이 0.45 초로 매우 빠릅니다.
  • 메모리 사용량도 합리적 수준 (약 1.7GB) 입니다.
• Ablation Study:
  • 입자 수 100 개가 최적의 균형점을 제공함을 확인.
  • Coarse-to-Fine 전략이 단일 스케일보다 성능이 우수함.
  • 초기화 범위 $[-1, 1]$이 확산 모델의 특성과 가장 잘 맞음.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의: SFI 와 UWFI 의 자동 정합을 가능하게 하여, 저해상도 UWFI 를 고해상도 SFI 와 결합해 질병 진단 (황반변성, 당뇨망막병증 등) 의 정확도를 높일 수 있는 기반을 마련했습니다.
• 기술적 의의:
  • 특징점이 희소하고 시야 차이가 큰 이미지 정합 문제에서 확산 모델 (Diffusion Model) 을 대응점 탐색에 적용한 새로운 패러다임을 제시했습니다.
  • 단순한 매칭을 넘어, 전역 오정렬과 국소 변형을 동시에 점진적으로 정제하는 통합 프레임워크를 구축했습니다.
• 한계 및 향후 과제:
  • 매우 흐릿하거나 저조도인 이미지에서는 특징점 검출 실패로 정합이 어려울 수 있음.
  • 학습 데이터와 테스트 데이터 간의 도메인 차이 (Domain Shift) 에 대한 적응성 향상 필요.
  • 복잡한 3D 구조가 포함된 장면에서의 성능 향상이 필요함.

요약하자면, 이 논문은 확산 모델 기반의 반복적 랜덤 워크를 통해 안저 이미지의 극심한 시야 및 해상도 차이를 극복하고, 기존 방법론보다 훨씬 강력하고 정확한 정합 성능을 달성한 획기적인 연구입니다.