An Intelligent Multimodal Deep Learning Framework for Early Diagnosis of Diabetic and Hypertensive Retinopathy Using Retinal Fundus Images

기술 요약: 당뇨망막병증 및 고혈압성 망막병증의 조기 진단을 위한 지능형 멀티모달 딥러닝 프레임워크

문제 정의
당뇨망막병증(DR)과 고혈압성 망막병증(HR)은 전 세계적으로 실명을 유발하는 주요 원인입니다. 조기 진단이 시력 상실을 예방하는 데 매우 중요함에도 불구하고, 현재의 진단 관행은 상당한 한계에 직면해 있습니다. 기존의 대부분 시스템은 망막 안저 영상 분석에만 전적으로 의존하며, 혈당 수치(당화 헤모글로빈)나 혈압과 같은 필수적인 전신 임상 바이오마커를 간과하는 경우가 많습니다. 이러한 "이미지 전용" 접근 방식은 특히 초기 단계의 사례이거나 영상 품질이 가변적인 경우 진단 정확도를 저하시킬 수 있습니다. 또한, 많은 기존 모델은 통합된 프레임워크 내에서 두 질환을 동시에 다루기보다는 DR 또는 HR 중 하나에만 집중합니다. 또한, MATLAB과 같은 접근 가능한 프로토타이핑 도구를 사용하여 영상과 전자 건강 기록(EHR)을 통합하는 멀티모달 시스템의 임상 구현 측면에서도 공백이 존재합니다.

방법론
저자들은 망막 안저 영상과 전신 임상 데이터를 융합하여 DR과 HR을 모두 진단하기 위해 MATLAB(R2023a)으로 구현된 하이브리드 멀티모달 딥러닝 프레임워크를 제안합니다.

1. 데이터 수집: 본 연구는 인도 푸네의 한 병원에서 수집한 1,200개의 안저 영상과 그에 상응하는 임상 기록을 활용했습니다. 데이터셋에는 정상 사례 300건, DR 사례 825건(경증, 중등도, 중증), HR 사례 35건이 포함되었습니다. 임상 속성에는 당화 헤모글로빈(본문에서는 전자 건강 기록으로 지칭), 수축기 혈압(수축기 전자 건강 기록으로 지칭), 그리고 질병 기간이 포함되었습니다.
2. 전처리:
   • 영상: 안저 영상은 히스토그램 평활화를 통한 대비 향상, 중앙값 필터링을 이용한 노이즈 감소, 그레이스케일 변환, 밝기 정규화 과정을 거쳤습니다.
   • 임상 데이터: 수치형 임상 변수는 z-score 스케일링을 사용하여 정규화되었습니다.
3. 분할 및 특징 추출:
   • 영상 처리: 프레임워크는 혈관 및 시신경 유두 분할을 위해 U-Net을, 병변 윤곽 추출을 위해 능동 윤곽 모델(active contour models)을, 삼출물 식별을 위해 영역 성장(region growing) 기법을 채택했습니다.
   • 특징 추출: 분할된 영역으로부터 딥 피처(deep features)를 CNN을 사용하여 추출했습니다.
4. 멀티모달 융합 및 분류:
   • 시스템은 중간(결합) 융합(Intermediate/Joint Fusion) 전략을 사용합니다. 이미지 특징(CNN/Vision Transformer를 통해 추출)과 임상 특징(MLP 또는 텍스트 인코더를 통해 인코딩)은 결합되거나 어텐션 메커니즘을 사용하여 융합되어 하나의 결합된 잠재 표현(joint latent representation)을 생성합니다.
   • 융합된 특징은 질병 레이블을 예측하기 위해 분류 레이어(Softmax)를 통과합니다.
   • 모델 아키텍처는 딥러닝(CNN)과 임상 데이터 처리를 위한 MLP를 통합하여 국소적인 망막 병변과 전신적인 생리적 맥락을 모두 포착합니다.
5. 검증: 데이터셋은 훈련(70%), 검증(15%), 테스트(15%) 세트로 분할되었습니다. 모델의 안정성을 확보하고 과적합을 방지하기 위해 10-겹 교차 검증(10-fold cross-validation)을 사용하여 평가되었습니다.

주요 기여

• 이중 병리 탐지: 단일 질환에 집중하는 기존 연구들과 달리, 본 프레임워크는 당뇨망막병증과 고혈압성 망막병증을 동시에 진단합니다.
• 멀티모달 통합: 본 연구는 이미지 전용 모델의 한계를 극복하기 위해 망막 영상과 전신 바이오마커(당화 헤모글로빈 및 혈압)를 융합하는 방식의 효용성을 입증했습니다.
• MATLAB 구현: 프레임워크가 전체적으로 MATLAB으로 개발되어, 의료 프로토타이핑 및 자원이 제한된 환경에 적합한 확장 가능하고 저비용인 솔루션을 제공합니다.
• 하이브리드 아키텍처: 딥러닝(CNN)과 임상 데이터 처리(MLP)의 통합은 국소적 망막 병변과 전신 생리적 맥락을 모두 포착하는 강력한 진단 도구를 생성합니다.

결과
제안된 멀티모달 프레임워크는 단일 모달리티 베이스라인 모델들에 비해 우수한 성능을 보였습니다:

• 정확도: 하이브리드 모델은 **98%**의 전체 정확도를 달了했습니다.
• 비교: 이는 이미지 전용 CNN 모델(정확도 91.82%)과 임상 데이터 전용 Random Forest 모델(정확도 85.90%)보다 뛰어난 수치입니다.
• 지표: 모델은 민감도 96.04%, 특이도 98.10%, F1-Score 0.976, AUC 0.98을 달성했습니다.
• 오류 감소: 임상 데이터의 통합은 베이스라인 CNN 방식에 비해 위음성(false negatives)을 약 40% 감소시켰으며, 특히 초기 단계의 DR 및 HR 탐지 능력을 개선했습니다.
• 통계적 유의성: 대응 표본 t-검정(paired t-test) 결과, 임상 특징의 포함이 정확도 향상에 통계적으로 유의미한 영향을 미치는 것으로 확인되었습니다 (p < 0.001). 또한 ANOVA 테스트 결과, 모달리티 유형의 주요 효과가 유의미하게 나타났습니다 (F(2, 27) = 23.6, p < 0.0005).
• 일반화: 모델은 다양한 인구 통계 그룹(연령 35~75세) 및 질병 단계 전반에서 95% 이상의 정확도를 유지했습니다.

의의 및 주장
본 논문은 이 멀티모달 프레임워크가 진단 민감도, 특히 시각적 징후가 미미한 초기 단계의 사례에서 민감도를 크게 향상시킴으로써 전통적인 이미지 전용 방식으로부터의 "양자 도약(quantum leap)"을 의미한다고 주장합니다. 당화 헤모글로빈과 혈압과 같은 전신 맥락을 통합함으로써, 시스템은 위음성을 줄이고 위험 계층화를 개선합니다.

저자들은 본 프레임워크가 특히 다음과 같은 분야에서 가치가 있다고 단언합니다:

• 스크리닝 및 원격 의료: 전문의 접근성이 제한된 지역을 위한 대규모 안과 스크리닝을 위한 확장 가능하고 저비용인 솔루션을 제공합니다.
• 임상 의사 결정 지원: 더 빠르고 정확한 의사 결정을 돕는 완전한 위험 평가를 제공합니다.
• 이중 진단: 단일 영상 획득 경로를 통해 DR과 HR 스크리닝을 모두 가능하게 합니다.

본 연구는 현재의 결과가 유망하지만, 향후 연구는 다기관 데이터를 통한 모델 검증, 포인트 오브 케어(point-of-care) 진단을 위한 모바일 기기 구현, 그리고 질병 진행 및 치료 반응을 추적하기 위한 종단적 연구에 집중해야 한다고 결론짓습니다.