💻 computer science

From Pixels to Explanations: Interpretable Diabetic Retinopathy Grading with CNN-Transformer Ensembles, Visual Explainability and Vision-Language Models

이 논문은 당뇨망막병증(DR)의 정확한 등급 판정을 위해 CNN과 트랜스포머 앙상블 모델을 활용하여 높은 진단 성능을 달성하고, Grad-CAM++와 시각-언어 모델(VLM)을 결합하여 픽셀 데이터를 임상적으로 해석 가능한 시각적·텍스트적 설명으로 변환하는 방법론을 제시합니다.

원저자: Pir Bakhsh Khokhar, Carmine Gravino, Fabio Palomba, Sule Yildirim Yayilgan, Sarang Shaikh

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pir Bakhsh Khokhar, Carmine Gravino, Fabio Palomba, Sule Yildirim Yayilgan, Sarang Shaikh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "정답만 말하는 불친절한 AI"

지금까지의 의료 AI는 마치 **'결과만 툭 던지는 불친절한 수험생'**과 같았습니다. 환자의 눈 사진을 보고 "당뇨망막병증 3단계입니다!"라고 말은 하지만, 정작 의사가 "왜 3단계라고 생각하니?"라고 물으면 아무 대답도 못 하고 침묵했죠.

의사 입장에서는 AI가 왜 그런 결정을 내렸는지 알 수 없으니, AI의 말을 100% 믿고 환자를 치료하기가 매우 불안했습니다.

2. 이 논문의 해결책: "눈(시각)과 입(언어)을 모두 가진 AI 팀"

연구팀은 이 문제를 해결하기 위해 두 가지 강력한 도구를 합친 **'멀티모달(Multimodal) 시스템'**을 만들었습니다.

첫 번째 도구 (눈 - 시각적 근거): AI가 사진의 어느 부분을 보고 판단했는지 빨간색 형광펜으로 칠하듯 보여줍니다. (이걸 논문에서는 'Grad-CAM'이라고 불러요.)
두 번째 도구 (입 - 언어적 설명): "사진의 여기저기에 작은 출혈이 보이고, 혈관이 부어 있는 것을 보니 3단계가 확실합니다"라고 사람의 말처럼 설명해 줍니다. (이걸 'VLM'이라는 기술로 구현했어요.)

마치 **"눈으로 직접 보고(시각), 입으로 조목조목 설명하는(언어) 똑똑한 조수"**를 만든 셈입니다.

3. 연구 과정: "최고의 팀원을 뽑는 오디션"

연구팀은 이 조수를 만들기 위해 여러 종류의 AI 모델들을 모아놓고 오디션을 보았습니다.

모델들의 대결: 사진의 세밀한 부분을 잘 보는 'CNN' 모델과, 사진 전체의 흐름을 잘 읽는 'Transformer' 모델을 비교했습니다. 결과적으로 ResNet-50과 ConvNeXt-Tiny라는 모델이 가장 실력이 좋았습니다.
팀워크(앙상블): 혼자 잘하는 모델보다, 여러 명의 전문가를 모아 투표를 시키는 것이 훨씬 정확했습니다. 특히 **'가중치 투표(Weighted Soft Voting)'**라는 방식을 썼는데, 이는 "실력이 검증된 전문가의 의견에 더 큰 점수를 주는 방식"입니다. 이렇게 하니 진단 정확도가 훨씬 올라갔습니다.

4. 결과: "설명도 잘하고, 실력도 좋다!"

연구 결과, 이 AI 시스템은 다음과 같은 능력을 보여주었습니다.

정확한 진단: 당뇨망막병증의 단계를 아주 정확하게 맞혔습니다.
친절한 설명: 단순히 "병이 있다"가 아니라, "미세혈관류가 보이고 출혈이 관찰됩니다"와 같이 의사가 이해할 수 있는 전문 용어를 사용하여 설명했습니다.
시각적 증거: 사진 속 병변 부위를 정확히 짚어내어 의사가 눈으로 바로 확인할 수 있게 도왔습니다.

5. 결론: "의사를 대신하는 것이 아니라, 돕는 최고의 파트너"

이 연구의 핵심은 AI가 의사를 대신해 진단을 내리는 것이 아닙니다. 대신, **의사가 더 빠르고 정확하게 판단할 수 있도록 돕는 '똑똑한 보조 도구'**를 만드는 것입니다.

AI가 "여기 이 부분이 이상해요(시각)"라고 짚어주고, "이런 증상 때문에 그렇습니다(언어)"라고 말해주면, 의사는 그 정보를 바탕으로 훨씬 더 확신을 가지고 환자를 치료할 수 있게 됩니다.

한 줄 요약:
"사진 속 병든 부위를 형광펜으로 칠해주고, 왜 아픈지 말로 설명까지 해주는 똑똑한 AI 진단 시스템을 개발하여, 의료 현장에서 의사의 판단을 돕는 방법을 연구한 논문입니다."

[기술 요약] 픽셀에서 설명으로: CNN-Transformer 앙상블, 시각적 설명력 및 시각-언어 모델을 이용한 해석 가능한 당뇨망막병증 등급 분류

1. 문제 정의 (Problem Statement)

당뇨망막병증(Diabetic Retinopathy, DR)은 실명을 유발할 수 있는 심각한 합병증으로, 조기 진단을 위한 정확한 중증도 등급 분류(Grading)가 필수적입니다. 최근 딥러닝(DL) 모델이 높은 예측 성능을 보이고 있으나, 다음과 같은 세 가지 핵심적인 한계가 존재합니다:

해석 가능성 부족 (Lack of Interpretability): 대부분의 모델이 '블랙박스' 형태로 작동하여, 임상의가 모델의 판단 근거(병변 패턴 등)를 신뢰하기 어렵습니다.
설명 방식의 한계 (Limitations of Saliency Maps): 기존의 Grad-CAM과 같은 히트맵 방식은 시각적 정보가 너무 분산되어 있거나 모호하여, 작고 산재된 DR 병변을 구체적으로 설명하기에 부족합니다.
등급 간 경계의 모호성 (Grade Instability): 데이터 불균형과 인접한 등급 간의 미세한 차이로 인해 모델의 성능이 불안정하며, 이를 보완할 견고한 구조가 필요합니다.

2. 연구 방법론 (Methodology)

본 연구는 예측 성능과 해석 가능성을 동시에 확보하기 위해 **'예측 $\rightarrow$ 시각적 국소화 $\rightarrow$ 텍스트 설명'**으로 이어지는 통합 파이프라인을 제안합니다.

A. 백본 모델 벤치마킹 및 앙상블 (Grading Pipeline)

데이터셋: APTOS 2019 벤치마크 (5단계 등급 분류).
백본 모델: CNN 계열(ResNet-50, DenseNet-121, EfficientNet-B3, ConvNeXt-Tiny)과 Transformer 계열(DeiT-Small, Swin Transformer) 총 6종을 비교 분석.
앙상블 전략: 모델의 견고함을 높이기 위해 Hard Voting, Weighted Soft Voting, Stacking, 그리고 본 연구에서 제안한 Hybrid Class-level Fusion(등급별로 강점이 있는 모델에 가중치를 부여하는 방식)을 실험.

B. 멀티모달 설명 생성 (Explainability Pipeline)

시각적 설명 (Visual): Grad-CAM++를 사용하여 모델이 주목한 망막 영역을 히트맵으로 시각화.
텍스트 설명 (Textual): 시각-언어 모델(VLM)인 LLaVA-1.5-1B와 생물 의학 특화 모델인 LLaVA-Med-V1.5-Mistral-7B를 활용.
- 프롬프트 설계: 환각(Hallucination)을 방지하기 위해 "확실한 것만 기술할 것", "치료 권고 금지" 등의 제약 조건을 포함한 구조화된 프롬프트 사용.

C. 정량적 평가 지표 (Evaluation Metrics)

분류 성능: Quadratic Weighted Kappa (QWK), Macro-F1, Accuracy 등.
설명 품질:
- BERTScore: 등급별 표준 템플릿과의 의미적 유사도 측정.
- CLIPScore: 이미지와 생성된 텍스트 간의 정렬(Alignment) 정도 측정.
- Coverage: 임상적으로 중요한 용어(미세혈관류, 출혈, 삼출물 등)가 포함되었는지 측정.

3. 주요 기여 (Key Contributions)

통합적 벤치마킹: CNN과 Transformer 아키텍처를 동일한 프로토콜 하에서 비교하여 DR 등급 분류에 최적화된 구조적 특성을 규명함.
새로운 앙상블 접근법: 등급별 특화된 모델을 결합하는 Hybrid Class-level Fusion을 제안하여 모델의 견고성을 탐구함.
멀티모달 설명 체계 구축: 단순 히트맵을 넘어, 임상의가 이해할 수 있는 텍스트 기반의 근거(Rationale)를 생성하고 이를 정량적으로 평가하는 프레임워크를 제시함.

4. 연구 결과 (Results)

분류 성능:
- 단일 모델 중에서는 **ResNet-50(QWK 0.919)**과 **ConvNeXt-Tiny(QWK 0.914)**가 가장 우수한 성능을 보임. 이는 국소적인 병변 특징을 포착하는 데 CNN의 유도 편향(Inductive Bias)이 효과적임을 시사함.
- 앙상블 결과, Weighted Soft Voting이 가장 안정적이고 높은 성능(QWK 0.934)을 기록함.
설명 품질:
- **LLaVA-Med(생물 의학 특화 모델)**는 임상 용어 포함도(Coverage) 측면에서 더 우수함.
- **LLaVA-1.5(일반 모델)**는 표준 템플릿과의 의미적 유사도(BERTScore) 측면에서 더 높은 점수를 보임.
- 두 모델 모두 이미지-텍스트 정렬(CLIPScore)은 유사한 수준을 유지함.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 AI 모델이 단순히 "어떤 등급인가"를 맞추는 것을 넘어, "왜 그렇게 판단했는가"를 시각적·언어적으로 설명할 수 있음을 입증했습니다.

임상적 가치: 제안된 시스템은 독립적인 진단 도구가 아닌, **의사 결정 지원 도구(Decision-support tool)**로서 가치가 높습니다. AI가 생성한 텍스트와 히트맵은 임상의가 사례를 우선순위화(Triage)하고, AI의 판단이 타당한지 빠르게 검토하는 데 도움을 줄 수 있습니다.
한계 및 향후 과제: 설명의 정확성을 완벽히 보장하기 위해서는 외부 데이터셋을 통한 검증과 전문의의 직접적인 평가가 추가로 필요하며, 향후 병변의 정밀한 분할(Segmentation) 기술과 결합될 필요가 있습니다.