Diabetic Retinopathy Grading with CLIP-based Ranking-Aware Adaptation:A Comparative Study on Fundus Image

논문 요약: CLIP 기반 순위 인식 적응을 통한 당뇨망막병증 (DR) 등급 분류 비교 연구

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 당뇨망막병증 (DR) 은 예방 가능한 실명의 주요 원인이며, 대규모 선별 검사를 위해 자동화된 안저 (fundus) 이미지 등급 분류 시스템이 필수적입니다.
• 문제점:
  • 수동 등급 분류는 비용이 많이 들고 시간이 소요되며 판독자 간 편차가 존재합니다.
  • 기존 딥러닝 모델들은 데이터 불균형 (Class Imbalance) 과 미세한 클래스 간 차이로 인해 한계가 있습니다.
  • 최근 주목받는 비전 - 언어 기초 모델 (Vision-Language Foundation Models) 인 CLIP의 제로샷 (Zero-shot) 성능이 의료 영상 특수 분야 (DR 등급 분류) 에서 얼마나 유효한지, 그리고 이를 어떻게 적응 (Adaptation) 시켜야 하는지에 대한 체계적인 비교 연구가 부족했습니다.
• 목표: CLIP 기반의 세 가지 다른 접근법 (제로샷, 하이브리드 모델, 순위 인식 프롬프트 모델) 을 비교 분석하여 DR 등급 분류에 최적화된 전략을 도출하는 것입니다.

2. 방법론 (Methodology)

연구진은 APTOS 2019 와 Messidor-2 데이터를 결합한 총 5,406 개의 이미지 (5 등급: 무 DR, 경증, 중등도, 중증, 증식성 DR) 를 사용하며, 클래스 불균형을 해결하기 위해 리샘플링 (Resampling) 과 클래스별 최적 임계값 조정을 적용했습니다.

세 가지 주요 접근법은 다음과 같습니다:

1. 제로샷 CLIP Baseline (Zero-shot Baseline):

   • 도메인 특화 학습 없이 CLIP 의 ResNet 기반 이미지 인코더와 수동으로 설계된 텍스트 프롬프트 (예: "경미한 당뇨망막병증이 보이는 안저 사진") 를 직접 사용합니다.
   • 이미지 임베딩과 텍스트 임베딩 간의 코사인 유사도를 기반으로 예측합니다.

2. CBAM 어텐션이 포함된 하이브리드 FCN-CLIP 모델:

   • CLIP 의 이미지 인코더 (동결) 에서 추출한 특징 맵을 Fully Convolutional Network (FCN) 디코더에 연결합니다.
   • CBAM (Convolutional Block Attention Module) 을 도입하여 채널 및 공간 어텐션을 적용, 미세혈관류, 출혈, 삼출물 등 임상적으로 중요한 병변 부위에 모델의 주의를 집중시킵니다.
   • 가중치 교차 엔트로피 손실과 Focal Loss 를 사용하여 불균형 문제를 해결하며 학습합니다.

3. 순위 인식 프롬프팅 모델 (Ranking-aware Prompting Model):

   • DR 등급이 심도 (Ordinal) 를 가진다는 특성을 반영하여, 각 등급별 학습 가능한 프롬프트 벡터를 도입합니다.
   • 순위 손실 (Ranking Loss) 을 교차 엔트로피 손실과 결합하여, 실제 정답 등급이 가장 높은 점수를 받도록 하고, 더 심각한 등급이 덜 심각한 등급보다 높은 점수를 받도록 학습합니다.
   • 검증 세트에서 클래스별 최적 임계값을 조정하여 소수 클래스 (중증/증식성 DR) 의 재현율 (Recall) 을 극대화합니다.

3. 주요 기여 (Key Contributions)

• 체계적 비교: 동일한 데이터 및 평가 조건 하에서 제로샷, 지도 학습 (하이브리드), 프롬프트 학습 (순위 인식) 기반 CLIP 전략을 정량적으로 비교했습니다.
• 상호 보완적 강점 분석: 하이브리드 FCN-CLIP 모델과 순위 인식 모델이 각각 다른 정밀도 - 재현율 트레이드오프를 보이며 임상적 맥락에서 서로 다른 장점을 가진다는 것을 규명했습니다.
• 불균형 해결 전략 검증: 리샘플링과 임계값 보정 (Threshold Calibration) 의 결합이 DR 등급 분류에서 소수 클래스 성능 향상에 얼마나 효과적인지 실증했습니다.

4. 실험 결과 (Results)

• 전체 성능:
  • 순위 인식 모델이 가장 높은 전체 정확도 (93.42%, AUROC 0.9845) 를 기록했습니다.
  • 하이브리드 FCN-CLIP 모델이 그 다음으로 높은 정확도 (92.49%, AUROC 0.99) 를 보였으며, 특히 증식성 DR (Proliferative DR) 감지 능력에서 뛰어났습니다.
  • 제로샷 Baseline은 성능이 현저히 낮았습니다 (정확도 55.17%, AUROC 0.75).
• 세부 지표:
  • 중증 DR 재현율: 순위 인식 모델 (83%) 이 하이브리드 모델 (82%) 보다 약간 우세했습니다.
  • 증식성 DR 재현율: 하이브리드 모델 (74%) 이 순위 인식 모델 (50%) 보다 월등히 우수했습니다. 이는 병변 국소화 (Lesion Localization) 능력이 증식성 DR 감지에 결정적임을 시사합니다.
  • 오류 분포: 제로샷 모델은 2 단계 이상 오류 (Off-by-two+) 가 10% 에 달했으나, 두 파인튜닝 모델은 이를 각각 3% 와 2% 로 획기적으로 줄였습니다.
• 어텐션 맵 분석: 하이브리드 모델은 병변 부위에 집중된 어텐션을 보인 반면, 제로샷 모델은 시신경 원판 등 거시적 해부학적 구조에 분산된 어텐션을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 함의:
  • 선별 검사 (Screening) 용도: 높은 재현율 (Recall) 을 요구하는 대규모 선별 검사에는 순위 인식 모델이 적합합니다 (중증 사례 누락 방지).
  • 확인 검사 (Confirmatory) 용도: 위양성 (False Positive) 을 줄여야 하는 확인 단계에는 하이브리드 FCN-CLIP 모델이 더 적합합니다.
• 결론: 도메인 특화 적응 (Adaptation) 은 의료 영상 분류에 필수적입니다. 두 파인튜닝 모델은 서로 다른 강점 (순위 민감성 vs 병변 국소화) 을 가지므로, 향후 앙상블 (Ensemble) 또는 다단계 접근법을 통해 결합할 경우 더 강력한 성능을 기대할 수 있습니다.
• 한계 및 향후 과제: 외부 검증 (다른 장비/인구집단) 이 필요하며, 증식성 DR 재현율이 낮은 순위 인식 모델의 개선과 저자원 환경에서의 배포 가능성에 대한 연구가 필요합니다.

이 연구는 기초 모델 (Foundation Models) 을 의료 영상에 적용할 때, 단순한 제로샷 접근을 넘어 도메인 지식 (순위 구조, 병변 국소화) 을 반영한 적응 전략의 중요성을 입증했습니다.