Exploring Deep Learning and Ultra-Widefield Imaging for Diabetic Retinopathy and Macular Edema

이 논문은 MICCAI 2024 에서 공개된 UWF4DR 챌린지 데이터를 활용하여 초광시야 (UWF) 영상 기반의 당뇨망막병증 및 당뇨황반부종 검출을 위해 최신 딥러닝 모델과 주파수 도메인 분석, 특징 융합 기법의 성능을 평가하고 설명 가능성을 검증했습니다.

핵심

🏥 1. 문제 상황: "눈의 지도를 더 넓게 그려야 한다"

• 기존 방식 (일반 카메라): 과거에는 당뇨병성 망막병증 (DR) 을 진단할 때, 안과에서 찍는 일반 안저 사진 (CFP) 을 썼습니다. 하지만 이건 마치 한 장의 사진으로 서울의 '강남역'만 찍는 것과 같습니다. 중심부 (망막 중심) 는 잘 보이지만, 주변부 (시야의 가장자리) 는 보이지 않아 병변을 놓칠 수 있습니다.
• 새로운 방식 (초광각 촬영기, UWF): 이 연구에서는 전국 지도 전체를 한 장에 찍을 수 있는 초광각 카메라를 사용했습니다. 눈의 200 도 전체를 한 번에 볼 수 있어, 병변이 어디에 있든 놓치지 않고 찾아낼 수 있습니다.

🧠 2. 연구의 목표: "AI 의 눈으로 3 가지 미션 수행하기"

연구진은 이 초광각 사진으로 AI 를 훈련시켜 세 가지 중요한 임무를 수행하게 했습니다.

1. 사진이 선명한가? (품질 평가): 사진이 흐리거나 눈꺼풀이 가려져 진단이 불가능한 경우를 걸러냅니다.
2. 치료가 필요한 당뇨 망막병증이 있는가? (RDR 식별): 병이 심해서 바로 안과 전문의에게 보내야 하는지 판단합니다.
3. 황반부종 (DME) 이 있는가?: 눈의 중심부 (황반) 에 물이 차서 시력이 떨어지는지 확인합니다.

🛠️ 3. 해결책: "AI 의 두 가지 눈과 팀워크"

이 연구의 핵심은 AI 가 사진을 보는 방식을 두 가지로 나누어 분석했다는 점입니다.

• 첫 번째 눈 (RGB, 일반 눈): 우리가 평소 보는 색깔이 있는 사진을 봅니다. 병변의 색 (출혈, 노란색 침착물 등) 을 인식합니다.
• 두 번째 눈 (주파수 영역, 텍스처 눈): 사진을 주파수 (파장) 로 변환해서 봅니다. 마치 사진의 '결'이나 '흐림'을 분석하는 것처럼, 병변의 모양이나 질감의 미세한 변화를 포착합니다.

🌟 창의적 비유: "요리사와 식재료"

• RGB 모델은 맛있는 **요리 (병변의 색상)**를 잘 보는 요리사입니다.
• 주파수 모델은 식재료의 **결 (Texture)**을 잘 느끼는 미식가입니다.
• 팀워크 (Ensemble): 연구진은 이 두 명의 전문가가 각각 분석한 결과를 합쳐서 (Feature Fusion), 최고의 요리사 팀을 만들었습니다. 한 명이 놓친 것을 다른 사람이 잡아내는 식이죠.

🤖 4. 사용된 AI 기술들: "새로운 영웅들의 등장"

과거에는 주로 CNN(전통적인 이미지 인식 AI) 을 썼지만, 이번 연구에서는 최신 기술들도 대거 투입했습니다.

• CNN (MobileNet, ResNet): 검증된 베테랑 선수들.
• ViT (Vision Transformer): 긴 거리를 잘 보는 최신 스타 선수들.
• Foundation Models (RETFound): 수백만 장의 눈 사진을 미리 공부한 '슈퍼 AI'입니다.

📊 5. 연구 결과: "어떤 방식이 가장 잘했나?"

• 성공 요인: **색깔 사진 (RGB)**을 보는 방식이 가장 정확했습니다. 특히 **팀워크 (모델 융합)**를 시킨 결과가 가장 훌륭했습니다.
• 주파수 영역의 역할: 색깔만 보는 것보다 조금은 덜 정확했지만, 흐림이나 노이즈를 감지하는 데는 매우 유용했습니다. 마치 "이 사진이 흐리구나"를 알려주는 보조 역할로 훌륭했습니다.
• 설명 가능성 (Grad-CAM): AI 가 왜 그렇게 판단했는지 확인해 보니, **의사들이 실제로 보는 부위 (시신경, 혈관, 출혈 부위)**를 집중적으로 보았습니다. 즉, AI 가 임의의 숫자를 맞추는 게 아니라, 의학적 근거를 가지고 판단한다는 것을 증명했습니다.

💡 6. 결론 및 미래: "의사와 AI 의 완벽한 파트너십"

이 연구는 초광각 촬영기와 최신 AI를 결합하면 당뇨병성 실명을 예방하는 데 큰 도움이 될 수 있음을 보여줍니다.

• 핵심 메시지: "단순히 사진을 많이 찍는 게 아니라, 더 넓은 시야로 찍고, 다양한 AI 기술을 섞어 쓰면 더 정확한 진단이 가능하다."
• 미래 전망: 앞으로는 더 많은 데이터를 학습시키고, AI 가 단순히 '병이 있다/없다'가 아니라 **'병의 단계 (경증/중증)'**까지 알려주도록 발전시킬 예정입니다.

한 줄 요약:

"이 연구는 전국 지도를 한 번에 찍는 초광각 카메라에 색깔과 질감을 모두 분석하는 AI 팀을 투입하여, 당뇨병으로 인한 실명을 미리 막아내는 정밀한 눈 건강 진단 시스템을 개발했습니다."

기술 요약

논문 요약: 초광시야 (UWF) 영상과 딥러닝을 활용한 당뇨망막병증 및 당뇨성 황반부종 탐구

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 당뇨망막병증 (DR) 과 당뇨성 황반부종 (DME) 은 근로 연령층의 실명 원인 중 가장 큰 비중을 차지하며, 조기 발견이 필수적입니다. 기존 연구는 주로 표준 색안저촬영 (CFP, 시야각 30°~50°) 에 집중되어 왔으나, 이는 말초 병변을 평가하는 데 한계가 있습니다.
• 문제점: 초광시야 (UWF, 시야각 최대 200°) 이미징은 망막의 더 넓은 범위를 포착하여 임상적 평가에 유리하지만, CFP 에 비해 UWF 를 활용한 딥러닝 (DL) 연구는 제한적입니다. 또한, 기존 연구들은 주로 CNN 기반의 RGB 공간 도메인 정보에만 의존하여, UWF 의 고유한 특성을 충분히 활용하지 못했습니다.
• 목표: MICCAI 2024 에서 공개된 UWF4DR Challenge 데이터를 활용하여, UWF 이미지에 대한 딥러닝 방법론을 체계적으로 평가하고 다음 세 가지 임상적 과제를 해결하는 것입니다:
  1. 이미지 품질 평가 (Quality Assessment): UWF 이미지의 분석 가능 (Gradable) 여부 판별.
  2. 참조 가능 당뇨망막병증 (RDR) 식별: 경미한 DR 과 중등도 이상/참조가 필요한 DR 구분.
  3. 당뇨성 황반부종 (DME) 식별: DME 의 유무 판별.

2. 제안된 방법론 (Methodology)

연구팀은 **공간 도메인 (RGB)**과 **주파수 도메인 (Frequency Domain)**의 두 가지 입력 방식을 비교 분석하고, 다양한 최신 아키텍처를 벤치마크했습니다.

• 데이터 전처리 및 입력:
  • RGB 도메인: 배경 제거를 위해 800x800 으로 크롭 후 448x448 (Task 1) 또는 448x448 로 리사이즈. 색상 정규화 및 데이터 증강 (회전, 뒤집기 등) 적용.
  • 주파수 도메인: 2D DFT(이산 푸리에 변환) 크기 (Magnitude) 를 계산하여 노이즈를 억제하고 텍스처 이상 (예: 흐림) 을 포착.
• 모델 아키텍처:
  • CNN: MobileNetV2, ResNet18.
  • Vision Transformer (ViT): ViT-B/16 (자기 주의 메커니즘 활용).
  • Foundation Model: RETFound (수백만 장의 안저 이미지로 사전 학습된 대규모 모델).
  • 학습 전략: 2 단계 미세 조정 (Fine-tuning) 전략 적용. RETFound 는 분류 헤드를 MLP 로 교체하여 학습.
• 앙상블 및 융합 (Feature-level Fusion):
  • RGB 와 주파수 도메인에서 학습된 각 모델의 특징 벡터 (Feature Vectors) 를 추출하여 연결 (Concatenation).
  • 결합된 특징 벡터를 기반으로 MLP 를 학습시켜 최종 예측을 수행하는 특징 수준 융합 (Feature-level Fusion) 전략을 도입하여 견고성 (Robustness) 향상.
• 설명 가능성 (Explainability):
  • Grad-CAM을 활용하여 모델이 의사결정을 내릴 때 주목하는 이미지 영역 (시각적 히트맵) 을 시각화하여 임상적 타당성 검증.

3. 주요 기여 (Key Contributions)

1. UWF 를 위한 포괄적인 딥러닝 벤치마크: MICCAI 2024 UWF4DR 챌린지 데이터를 기반으로 CNN, ViT, Foundation Model 을 포함한 다양한 최신 아키텍처를 체계적으로 비교 평가.
2. 다중 도메인 분석: 기존 연구에서 간과되었던 주파수 도메인 정보의 활용 가능성을 탐구하고, RGB 와 주파수 정보를 융합한 앙상블 전략의 유효성을 입증.
3. 임상적 설명 가능성 제공: Grad-CAM 을 통해 모델이 망막의 임상적으로 의미 있는 구조 (시신경 유두, 혈관, 출혈, 삼출물 등) 에 집중함을 시각적으로 증명하여 의료진 신뢰도 확보.
4. 오픈 소스 및 재현성: 실험 프로토콜, 코드, 모델 세부 사항을 GitHub 에 공개하여 연구의 재현성을 보장.

4. 실험 결과 (Results)

세 가지 과제 (Task 1~3) 에 대한 테스트 세트 평가 결과 (AUROC, AUPRC, 민감도, 특이도 기준):

• Task 1 (이미지 품질 평가):
  • RGB 모델이 주파수 모델보다 우세하게 성능을 보임 (ViT-B/16: AUROC 95.4%, RGB 앙상블: 96.4%).
  • 주파수 도메인 모델은 성능이 낮았으나 (80~87%), 앙상블을 통해 특이도 (Specificity) 를 높여 분석 불가능한 이미지를 효과적으로 선별하는 데 기여.
  • Grad-CAM 은 gradable 이미지에서는 시신경 유두와 혈관을, ungradable 이미지에서는 흐릿한 영역이나 눈꺼풀에 집중함을 확인.
• Task 2 (RDR 식별):
  • RGB 모델이 거의 완벽한 성능을 보임 (앙상블 기준 AUROC 100%, 민감도 100%, 특이도 100%).
  • 주파수 모델도 92.6% 의 AUROC 로 견고한 성능을 보였으며, Fourier 특성이 보완적 정보를 제공함을 시사.
  • 모델들이 출혈과 신생혈관 등 전형적인 병변을 정확히 포착함을 Grad-CAM 으로 확인.
• Task 3 (DME 식별):
  • 세 과제 중 가장 난이도가 높았으나, RGB 앙상블이 최고 성능 (AUROC 96.8%, AUPRC 96.9%) 을 기록.
  • ResNet18 이 100% 민감도를, ViT-B/16 이 95.2% 특이도를 기록하는 등 모델 간 trade-off 존재.
  • 주파수 모델은 국소적 세부 정보가 희석되는 경향이 있어 성능이 낮았으나, 앙상블을 통해 견고성 향상.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 통찰: UWF 분석에서 RGB 표현이 가장 신뢰할 수 있는 기준이지만, 주파수 도메인 정보는 보완적 단서로 작용하여 앙상블 전략을 통해 모델의 견고성을 높일 수 있음을 입증했습니다.
• 모델 아키텍처: 기존 CNN 과 최신 ViT, Foundation Model (RETFound) 간 성능 차이가 크지 않아, 다양한 모델 패밀리가 임상 워크플로우에 효과적으로 적용 가능함을 보였습니다.
• 임상 적용 가능성: Grad-CAM 분석을 통해 모델의 판단이 임상적으로 의미 있는 망막 구조에 기반함을 확인하여, 실제 안과 진료 시스템에 통합될 수 있는 잠재력을 입증했습니다.
• 향후 과제: 추가적인 UWF 데이터셋 (합성 데이터 포함) 을 활용한 일반화 검증, DR 중증도 다중 분류, Vision-Language Model (VLM) 을 활용한 설명성 및 성능 향상, 그리고 전향적 임상 검증을 통한 안전성 및 공정성 평가가 필요하다고 제안했습니다.

이 연구는 초광시야 이미징을 활용한 당뇨망막병증 자동 진단 시스템의 발전 방향을 제시하며, 딥러닝 기반의 임상 보조 도구로서의 가능성을 크게 확장했습니다.