Active Diffusion Matching: Score-based Iterative Alignment of Cross-Modal Retinal Images

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 안과 진단에서 표준 안저 이미지 (SFI, Standard Fundus Images) 는 시야각이 좁아 (30°~60°) 망막의 20% 미만만 촬영하는 반면, 초광시야 안저 이미지 (UWFI, Ultra-Widefield Fundus Images) 는 200° 이상의 시야를 제공하여 망막의 약 82% 를 포착합니다. UWFI 는 말초부 병변 탐지에 필수적이지만, 해상도와 선명도가 SFI 에 비해 낮아 미세 구조 분석에는 한계가 있습니다.
• 문제점: UWFI 의 화질을 SFI 수준으로 향상시키기 위해서는 두 이미지를 정밀하게 정렬 (Alignment) 한 학습 데이터가 필요합니다. 그러나 SFI 와 UWFI 는 시야각 (FOV) 과 스케일의 극단적인 차이, 색상 특성 차이, 그리고 망막의 모호한 질감 (특히 말초부) 으로 인해 기존 정렬 방법으로는 정밀한 매칭이 매우 어렵습니다.
• 기존 방법의 한계: 기존 정렬 기술 (SIFT, SuperRetina, GeoFormer 등) 은 주로 SFI-SFI 쌍이나 작은 변형을 가정하며 설계되었습니다. SFI-UWFI 와 같은 교차 모달 (Cross-modal) 데이터의 복잡한 기하학적 왜곡과 도메인 차이를 처리하는 데는 부적합하며, 정확도가 낮습니다.

2. 제안 방법: Active Diffusion Matching (ADM)

저자들은 Active Diffusion Matching (ADM) 이라는 새로운 교차 모달 정렬 알고리즘을 제안합니다. 이는 스코어 기반 (Score-based) 확산 모델과 랑베인 동역학 (Langevin Dynamics) 을 결합한 반복적 정렬 프레임워크입니다.

핵심 아키텍처 및 원리

1. 이중 확산 모델 (Dual Diffusion Models):

   • 전역 변환 추정기 ($s_\theta$): 호모그래피 (Homography) 파라미터 $H$를 추정합니다. 비전 트랜스포머 (Vision Transformer) 기반의 인코더와 트랜스포머 인코더를 사용하여 전역적인 기하학적 변형을 학습합니다.
   • 국소 변형 추정기 ($s_\phi$): 픽셀 단위 변위장 (Displacement Field) $v$를 추정합니다. CNN 기반 (U-Net) 구조를 사용하여 혈관 등 국소적인 특징에 기반한 미세 변형을 학습합니다.
   • 상호 의존적 학습: 두 모델은 서로 연결되어 있습니다. 전역 변환 ($H$) 이 국소 변형 ($v$) 추정의 조건 (Condition) 으로 작용하며, 반대로 국소 변형 추정 결과에서 얻은 피드백 (Guidance) 이 전역 변환 추정을 보정합니다.

2. 반복적 정렬 과정 (Iterative Alignment via Langevin Chain):

   • 단순한 한 번의 추정이 아닌, 랜덤 워크 (Random Walk) 형태의 확산 역과정 (Reverse Diffusion Process) 을 통해 점진적으로 최적의 정렬 파라미터를 탐색합니다.
   • 각 단계에서 노이즈가 제거되면서 전역 및 국소 정렬 파라미터가 점진적으로 정제됩니다.

3. 입력 적응형 가이드 샘플링 (Input Adaptive Guided Sampling):

   • 정렬된 이미지와 목표 이미지 간의 외관 일치도 (Appearance Consistency) 를 측정하는 손실 함수의 기울기를 활용하여, 전역 변환 파라미터 추정을 실시간으로 보정합니다. 이는 주어진 입력 이미지 쌍에 맞춰 모델이 더 잘 적응하도록 돕습니다.

4. 반복적 추론 (Iterative Inference):

   • 한 번 정렬된 이미지를 새로운 입력으로 사용하여 다시 ADM 을 실행하는 과정을 반복함으로써, 특히 심하게 왜곡된 이미지 쌍에서도 정렬 정확도를 더욱 향상시킵니다.

3. 주요 기여 (Key Contributions)

• 최초의 자동화된 SFI-UWFI 정렬 방법: 수동 개입 없이 SFI 와 UWFI 를 정밀하게 정렬하는 최초의 완전 자동화 방법을 제시했습니다.
• 전역 - 국소 통합 최적화: 기존 방법들이 전역과 국소 변형을 분리하거나 단순하게 처리했던 것과 달리, 두 확산 모델을 결합하여 전역 변환과 국소 변형을 동시에 점진적으로 최적화하는 새로운 프레임워크를 도입했습니다.
• 적응형 샘플링 전략: 입력 이미지의 특성에 따라 정렬 파라미터 추정을 동적으로 조정하는 가이드 샘플링 기법을 도입하여 강건성을 높였습니다.

4. 실험 결과 (Results)

연구진은 자체 구축한 SFI-UWFI 쌍 데이터셋 (KBSMC, 3,744 쌍) 과 공개된 SFI-SFI 데이터셋 (FIRE, 134 쌍) 에서 실험을 수행했습니다.

• KBSMC 데이터셋 (SFI-UWFI):

  • 기존 최첨단 방법 (GeoFormer, SuperRetina 등) 대비 mAUC (평균 AUC) 가 5.2 포인트 향상되었습니다.
  • 'Acceptable Rate (허용 가능한 정렬 비율)'는 36.10% (GeoFormer) 에서 41.98% (ADM) 로 크게 증가했습니다.
  • 특히 시야각 차이와 스케일 차이가 큰 어려운 케이스에서 기존 방법들이 실패하는 반면, ADM 은 성공적인 정렬을 보여주었습니다.

• FIRE 데이터셋 (SFI-SFI):

  • 상대적으로 정렬이 쉬운 SFI-SFI 데이터셋에서도 mAUC 76.0을 기록하며 기존 방법들과 경쟁력 있는 성능을 보였습니다.

• 성능 분석:

  • Ablation Study: 반복적 정렬 (Iterative ADM) 과 가이드 샘플링 (Guidance) 을 제거할 경우 성능이 크게 저하됨을 확인하여, 제안된 두 요소의 중요성을 입증했습니다.
  • 강건성: 가우시안 노이즈, 블러, 저조도 등 다양한 이미지 열화 조건에서도 안정적인 성능을 유지했습니다.
  • 단점: 반복적 확산 과정으로 인해 추론 시간 (약 47 초) 이 기존 방법들 (1~2 초) 보다 길다는 점은 존재하지만, 정확도와의 트레이드오프가 타당함을 주장했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: ADM 을 통해 UWFI 의 화질을 SFI 수준으로 향상시킬 수 있는 학습 데이터 구축이 가능해지며, 이는 당뇨망막병증, 망막혈관폐색 등 말초부 병변의 진단 정확도를 높이고 환자 예후를 개선하는 데 기여할 수 있습니다.
• 기술적 혁신: 의료 영상 분야에서 확산 모델 (Diffusion Model) 을 정렬 (Registration) 작업에 성공적으로 적용한 사례로, 특히 극단적인 도메인 차이와 기하학적 변형을 가진 데이터 처리에 새로운 패러다임을 제시합니다.
• 미래 전망: 추론 시간 단축 (지식 증류, iteration pruning 등) 과 심한 열화 조건에서의 강건성 향상을 통해 임상 현장에서의 실시간 적용 가능성을 높이는 것이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 확산 모델의 확률적 탐색 능력을 활용하여 기존에는 해결하기 어려웠던 SFI 와 UWFI 의 정밀 정렬 문제를 혁신적으로 해결한 획기적인 연구입니다.