Weakly Supervised Pneumonia Localization from Chest X-Rays Using Deep Neural Network and Grad-CAM Explanations

기술 요약: 흉부 X선 영상을 이용한 약지도 학습 기반 폐렴 국소화

문제 정의
폐렴은 여전히 전 세계적인 이환율과 사망률의 주요 원인이며, 흉부 X선은 이를 진단하는 핵심 도구 역할을 합니다. 그러나 미세한 병변, 방사선 전문의의 판독 가변성, 그리고 딥러닝 모델의 "블랙박스" 특성으로 인해 정확한 진단이 어려울 때가 많습니다. 합성곱 신경망(CNN)과 비전 트랜스포머(ViT)는 최첨단 분류 성능을 보여주었으나, 일반적으로 해석 가능성이 부족합니다. 또한, 완전 지도 학습 기반의 국소화 방법은 비용이 많이 드는 픽셀 수준의 주석(예: 세그멘테이션 마스크 또는 바운딩 박스)을 필요로 하며, 이를 대규모로 확보하기는 어렵습니다. 본 연구는 픽셀 수준의 레이블 없이도 높은 진단 정확도를 달야하는 동시에, 모델 결정에 대한 임상적으로 의미 있고 투명한 설명을 제공한다는 이중 과제를 해결하고자 합니다.

방법론
저자들은 이미지 수준의 레이블(정상 vs 폐렴)만을 사용하여 분류와 공간적 국소화를 모두 수행하는 통합 약지도 학습(WSL) 프레임워크를 제안합니다. 핵심 방법론은 다음과 같습니다:

• 데이터셋 큐레이션: 본 연구는 공개된 Chest X-ray 데이터셋 [3]을 활용합니다. 데이터 누출을 방기하기 위해 저자들은 데이터를 **환자 단위(patient level)**로 재분할(훈련 70%, 검증 15%, 테스트 15%)하여, 여러 분할에 동일한 환자 ID가 나타나지 않도록 보장했습니다. 이미지는 224×224 크기로 조정되었고, 의사 RGB(pseudo-RGB)로 변환되었으며, 회전, 플립, 밝기 조절, 노이즈 추가 등의 증강 기법이 적용되었습니다.
• 모델 벤치마킹: 일정한 훈련 조건 하에서 7개의 사전 훈련된 아키텍처를 평가했습니다:
  • CNN: ResNet-18, ResNet-50, DenseNet-121, EfficientNet-B0, MobileNet-V2, MobileNet-V3.
  • 트랜스포머: Vision Transformer (ViT-B/16).
• 훈련 전략: 모든 모델은 ImageNet 가중치로 초기화되었습니다. 심각한 클래스 불균형(정상 404장 vs 폐렴 3,692장)을 해결하기 위해, 저자들은 포컬 로스(Focal Loss)(쉬운 샘 샘플의 가중치를 낮춤)와 소수 클래스의 무작위 오버샘플링을 채택했습니다. 훈련에는 Adam 옵티마이저를 사용하였으며, 검증 ROC-AUC를 기준으로 조기 종료(early stopping)를 적용했습니다.
• Grad-CAM을 통한 국소화: 픽셀 수준의 정답(ground truth) 없이 히트맵을 생성하기 위해, 본 연구는 경사 가중 클래스 활성화 매핑(Grad-CAM)을 적용했습니다.
  • CNN의 경우, 마지막 합성곱 계층에서 기울기를 계산했습니다.
  • ViT의 경우, 패치 임베딩을 공간적 단위로 취급하여 마지막 트랜스포머 인코더의 최종 MLP 블록으로부터 활성화와 기울기를 포착하도록 공식을 조정했습니다.
• 정량적 평가: 픽셀 수준의 마스크가 없었기 때문에, **폐 주의도 비율(Lung Attention Ratio, LAR)**을 도입했습니다. 이 지표는 조잡하고 고정된 폐 관심 영역(ROI) 내에 떨어지는 Grad-CAM 활성화 에너지의 비율을 계산하며, 해부학적 일관성의 대리 지표 역할을 합니다.

주요 결과

• 분류 성능: 7개 모델 모두 높은 판별 성능을 달성하였으며, 테스트 정확도는 96%에서 98% 사이였습니다.
  • ResNet-18과 EfficientNet-B0는 가장 높은 테스트 정확도(98%)와 F1-score(0.987)를 기록했으며, ROC-AUC 및 PR-AUC 값은 0.997을 상회했습니다.
  • MobileNet-V3는 유사한 정확도(97%)를 제공하면서도 현저히 낮은 파라미터 수(4.9M)를 보여, 자원이 제한된 환경에서의 적합성을 입증했습니다.
  • ResNet-50 및 DenseNet-121과 같은 더 깊은 모델들은 약간 낮은 일반화 성능을 보였으며, 이는 가벼운 과적합을 시사합니다.
• 국소화 및 해석 가능성:
  • Grad-CAM 시각화 결과, 모델들이 폐렴 사례의 중하부 폐 구역에 있는 방사선학적으로 유의미한 불투명 영역에 집중하고 있음을 확인했습니다.
  • MobileNet-V3는 가장 조밀하고 노이즈가 없는 국소화를 보여주었으며, 세균성 폐렴에 대해 0.693의 높은 폐 주의도 비율(LAR)과 낮은 분산을 나타냈습니다.
  • ViT-B/16은 정상과 세균성 폐렴 사이에서 강력한 판별력을 보였으나(LAR 0.172 vs 0.605), 바이러스성 폐렴에 대해서는 글로벌 셀프 어텐션 메커니즘의 특성에 따라 더 넓고 확산된 주의 패턴을 보였습니다.
  • DenseNet-121은 정상 사례에서 간혹 가짜 활성화(spurious activations)를 보였고, EfficientNet-B0와 ResNet-50은 일부 확산되거나 목표를 벗어난 핫스팟을 나타냈습니다.

핵심 기여

1. 엄격한 벤치마킹: 본 연구는 데이터 누출을 제거하기 위한 환자별 데이터 분할을 포함하여, 6개의 CNN 아키텍처와 1개의 비전 트랜스포머를 동일한 훈련 프로토콜 하에서 공정하게 비교했습니다.
2. 약지도 학습 기반 국소화: 픽셀 수준의 주석에 대한 의존성을 제거하고, 이미지 수준의 레이블만을 사용하여 임상적으로 의미 있는 히트맵을 생성할 수 있음을 입증했습니다.
3. 정량적 해석 가능성: 폐 주의도 비율(LAR)의 도입은 정답 세그멘테이션이 없는 상황에서 설명 가능한 AI 출력의 해부학적 일관성을 평가하는 가볍고 정량적인 방법을 제공합니다.
4. 효율성 분석: 본 연구는 MobileNet-V3를 진단 정확도와 계산 비용 사이의 최적의 절충안으로 식별하여, 실시간, 엣지 및 모바일 헬스 애플리케이션을 위한 타당성을 검증했습니다.

의의 및 주장
본 논문은 설명 가능하고 약지도 학습된 딥러닝 방법이 "블랙박스" 이미지 분류와 임상적으로 해석 가능한 의사 결정 지원 사이의 간극을 효과적으로 메울 수 있다고 주장합니다. 수동 세그멘테이션 훈련 없이도 모델이 관련 폐 영역에 집중한다는 것을 검증함으로써, 본 연구는 AI 보조 폐렴 스크리닝의 투명성과 임상적 신뢰를 높이기 위한 이러한 프레임워크의 사용을 뒷받침합니다. 저자들은 컴팩트한 아키텍처가 포컬 로스 및 환자별 분할과 결합될 때, 다양한 임상 환경에서의 배포를 용이하게 하면서도 최첨단에 근접한 정확도를 달성할 수 있다고 결론짓습니다.

향 향후 연구 방향
저자들은 현재 연구가 단일 데이터셋에 국한되어 있다는 점을 겸허히 언급했습니다. 이들은 견고성을 높이기 위해 더 크고 다양한 데이터셋(예: RSNA Pneumonia, NIH ChestX-ray14)에 대한 평가가 필요하다고 제안합니다. 또한, 다중 레이블 흉부 질환 국소화, 방사선 전문의 판독 연구, 그리고 모바일 배포 최적화를 더욱 탐구하여 프레임워크의 임상적 전환 효과를 강화할 것을 제안합니다.