TransUNet-GradCAM: A Hybrid Transformer-U-Net with Self-Attention and Explainable Visualizations for Foot Ulcer Segmentation

이 논문은 CNN 의 국소적 특징 추출 능력과 트랜스포머의 전역적 문맥 이해 능력을 결합한 TransUNet-GradCAM 모델을 제안하여, 다양한 외부 데이터셋에서도 견고한 제로샷 성능과 높은 설명 가능성을 갖춘 당뇨병성 발궤양 자동 분할 솔루션을 제시합니다.

핵심

🩹 1. 문제 상황: "눈으로 보기엔 너무 어렵다"

당뇨병 환자에게 발에 생기는 상처는 매우 위험합니다. 하지만 이 상처들은 모양이 제각각이고, 배경 (피부, 신발, 의료 도구 등) 이 복잡해서 의사가 눈으로만 보고 정확한 크기를 재는 게 쉽지 않습니다.

• 기존의 문제점: 기존 AI(우네트라고 불리는 기술) 는 상처의 '국소적인' 특징은 잘 찾지만, 상처 전체가 어떤 맥락에 있는지 '넓게' 보는 능력은 부족했습니다. 마치 현미경으로만 주변을 보다가, 전체 그림을 놓치는 것과 비슷합니다.

🧩 2. 해결책: "두 명의 명탐정을 합쳤다 (TransUNet)"

저자들은 두 가지 강력한 기술을 섞어서 새로운 AI 를 만들었습니다. 이를 '트랜스유넷 (TransUNet)' 이라고 부릅니다.

• 비유하자면:
  • 우네트 (U-Net): 정교한 조각가입니다. 상처의 가장자리를 아주 정밀하게 다듬고 세부적인 모양을 잘 잡아냅니다. 하지만 주변 환경을 잘 모릅니다.
  • 비전 트랜스포머 (Vision Transformer): 넓은 시야를 가진 지휘자입니다. 이미지 전체를 한눈에 훑어보며 "아, 저기 상처가 있는구나, 주변 피부 상태는 어떤지 알겠다"라고 전체적인 맥락을 파악합니다.
  • 결합 (Hybrid): 이 두 명을 한 팀으로 묶었습니다. 조각가가 상처의 윤곽을 정밀하게 그리는 동안, 지휘자가 "저기 상처가 맞아, 주변은 정상 피부야"라고 방향을 잡아줍니다. 덕분에 상처의 모양이 꼬불꼬불하거나 배경이 복잡해도 정확하게 찾아낼 수 있게 되었습니다.

🎨 3. AI 가 어떻게 배우는가? (데이터와 학습)

AI 는 수많은 발 상처 사진을 보고 배웠습니다.

• 데이터: 1,200 장 이상의 발 상처 사진을 사용했습니다.
• 학습 방법: AI 가 다양한 환경에서도 잘 작동하도록, 사진을 회전시키거나, 빛을 바꾸거나, 색을 다르게 만들어가며 훈련시켰습니다. (비유: 의사가 비 오는 날, 해가 쨍쨍한 날, 어두운 병실 등 모든 상황에서 상처를 볼 수 있도록 훈련시키는 것과 같습니다.)
• 손실 함수 (Loss Function): 상처는 전체 이미지에서 아주 작은 부분이라 AI 가 "아무것도 없는 배경"만 보고 넘어가기 쉽습니다. 이를 막기 위해 AI 가 상처를 놓치지 않도록 특별히 설계된 점수 계산 방식을 사용했습니다.

🔍 4. 왜 "설명 가능한 AI (Grad-CAM)"가 중요한가?

의사들은 AI 가 "왜 이렇게 판단했는지"를 알고 싶어 합니다. 그냥 "정답"만 알려주면 믿기 어렵기 때문입니다.

• Grad-CAM 비유: AI 가 사진을 볼 때, 어떤 부분에 집중했는지 뜨거운 열감지 카메라 (히트맵) 로 보여주는 것입니다.
• 결과: AI 가 상처가 있는 곳 (붉은색/노란색으로 표시) 에만 집중하고, 배경의 의료 기구나 정상 피부 (파란색/초록색) 에는 집중하지 않는 것을 확인했습니다. 이는 AI 가 의사의 눈과 똑같이 생각한다는 뜻으로, 의사들이 이 기술을 신뢰할 수 있게 해줍니다.

🌍 5. 검증: "다른 병원에서도 통할까?"

이 AI 는 훈련된 데이터뿐만 아니라, 완전히 다른 병원 (AZH 센터, Medetec 데이터) 에서도 테스트했습니다.

• 결과: 새로운 데이터에서도 상처를 잘 찾아냈습니다. (훈련된 데이터에서는 88.8% 정확도, 새로운 데이터에서도 62~78% 정도의 높은 정확도).
• 의미: 이는 AI 가 특정 병원의 사진 스타일만 외운 게 아니라, 상처 그 자체를 이해했기 때문에 가능한 일입니다. 마치 "서울의 길만 아는 택시"가 아니라 "전국 어디든 갈 수 있는 택시"가 된 것과 같습니다.

📏 6. 실제 임상에서의 가치

• 정확한 측정: AI 가 측정한 상처 크기와 전문의가 측정한 크기를 비교했더니, 상관관계가 97% 이상으로 매우 높았습니다.
• 효과: 이제 의사는 손으로 줄자를 대거나 눈대중으로 재는 대신, 이 AI 가 자동으로 상처 크기를 계산해줍니다. 이는 치료 계획을 세우고, 치유 과정을 추적하는 데 큰 도움이 됩니다.

🚀 결론: "의사의 든든한 조수"

이 연구는 단순히 "정확한 AI"를 만드는 것을 넘어, 의사가 왜 그 판단을 내렸는지 설명해 줄 수 있는 (설명 가능한) AI를 만들었습니다.

• 핵심 메시지: "조각가 (세부 파악)"와 "지휘자 (전체 파악)"를 합친 AI 가, 열감지 카메라로 집중 영역을 보여줌으로써 의사들의 신뢰를 얻었습니다. 이는 당뇨병 발 상처 치료의 정확도를 높이고, 환자들을 더 빠르고 안전하게 치료할 수 있는 미래를 엽니다.

이 기술이 보편화되면, 의료진이 부족한 지역에서도 스마트폰이나 태블릿으로 상처를 찍으면 즉시 정확한 진단과 치료 계획을 받을 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 당뇨병성 발 궤양 (DFU) 은 전 세계적으로 수백만 명에게 영향을 미치며, 조기 진단과 정밀한 치유 모니터링이 임상적으로 매우 중요합니다.
• 현황 및 한계:
  • 기존 수동 측정 방식은 시간 소모가 크고 주관적이며, 관찰자 간 편차 (inter-observer variability) 가 존재하여 일관된 평가가 어렵습니다.
  • 기존 딥러닝 기반의 자동화 방법 (주로 U-Net 과 같은 CNN) 은 국소적인 특징 추출에는 탁월하지만, 이미지 전체의 장기적인 공간적 의존성 (long-range spatial dependencies) 과 글로벌 컨텍스트를 포착하는 데 한계가 있습니다.
  • DFU 는 모양, 크기, 주변 조직의 배경이 매우 다양하고 불규칙하여, 정확한 분할을 위해서는 국소적 디테일과 전역적 맥락 이해가 모두 필요합니다.

2. 방법론 (Methodology)

이 연구는 TransUNet 아키텍처를 기반으로 하여 CNN 의 국소 특징 추출 능력과 Vision Transformer(ViT) 의 글로벌 어텐션 메커니즘을 결합한 하이브리드 모델을 제안합니다.

• 아키텍처 (TransUNet):
  • 인코더 (Encoder): CNN 블록을 사용하여 저수준부터 중수준의 공간 특징을 계층적으로 추출합니다.
  • 병목 구간 (Bottleneck): CNN 의 수용 영역 (receptive field) 한계를 극복하기 위해 Vision Transformer (ViT) 모듈을 통합합니다. 깊은 특징 맵을 패치 (patch) 로 변환하고 멀티헤드 셀프 어텐션 (MHSA) 을 적용하여 이미지 내 먼 거리 간의 글로벌 관계를 모델링합니다.
  • 디코더 (Decoder): Skip connections 를 통해 인코더의 공간 정보를 디코더로 전달하여 정밀한 경계 분할을 가능하게 합니다.
• 데이터 전처리 및 증강:
  • FUSeg 데이터셋 (1,200 개 이상 이미지) 을 사용하며, 임상 사진의 조명 및 피부색 변이를 처리하기 위해 강력한 데이터 증강 (Color Jitter, 회전, 플립 등) 을 적용했습니다.
  • 궤양 영역과 배경 간의 클래스 불균형을 해결하기 위해 하이브리드 손실 함수 (Binary Cross-Entropy + Dice Loss) 를 사용했습니다.
• 설명 가능성 (Explainability):
  • 모델의 의사결정 과정을 투명하게 하기 위해 Grad-CAM을 통합하여, 모델이 궤양 부위에 집중하고 있는지 시각적으로 검증했습니다.
• 평가 및 검증:
  • 내부 검증: FUSeg 데이터셋의 검증 세트를 사용.
  • 외부 검증 (Zero-shot): 재학습 없이 AZH Wound Care Center(278 개 이미지) 와 Medetec(152 개 이미지) 데이터셋에 적용하여 일반화 능력을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 아키텍처의 효과성 입증: CNN 의 국소 정밀도와 ViT 의 글로벌 컨텍스트 이해를 결합하여 DFU 분할의 정확도를 극대화했습니다.
2. 강력한 일반화 능력: 재학습 없이도 서로 다른 임상 환경 (다른 카메라, 조명, 피부색) 에서 수집된 외부 데이터셋에서 유의미한 성능을 보여주어 (Zero-shot transferability), 실제 임상 적용 가능성을 입증했습니다.
3. 설명 가능한 AI (XAI) 통합: Grad-CAM 을 통해 모델이 임상적으로 관련 없는 배경 (수술 도구 등) 이 아닌 실제 궤양 부위에 집중함을 시각적으로 증명하여 임상가의 신뢰를 높였습니다.
4. 임상 유틸리티 검증: 예측된 궤양 면적과 실제 전문가 주석 간의 높은 상관관계 (Pearson r = 0.9749) 를 확인하여, 자동화된 치유 모니터링 도구로서의 실용성을 입증했습니다.

4. 실험 결과 (Results)

• 내부 검증 성능 (FUSeg Validation Set):
  • Dice Similarity Coefficient (DSC): 0.8886 (최적 임계값 0.4843 적용 시)
  • Intersection over Union (IoU): 0.7889
  • 정확도 (Accuracy): 0.9973
• 외부 검증 성능 (재학습 없음):
  • AZH Wound Care Center: DSC 0.6209, IoU 0.4502
  • Medetec Dataset: DSC 0.7850, IoU 0.7252
  • 해석: 내부 데이터보다 성능은 낮았으나, 완전히 다른 도메인에서도 예측 능력을 유지하여 과적합 (overfitting) 이 없음을 시사합니다.
• 임상적 상관관계:
  • 예측된 궤양 면적과 실제 면적 간의 상관계수 (r) 가 0.9749로 매우 높게 나타났으며, Bland-Altman 분석을 통해 체계적인 편향이 거의 없음을 확인했습니다.
• 기타 방법론과의 비교:
  • 기존 U-Net 기반 앙상블 방법 및 최신 트랜스포머 기반 방법 (MiT-b3 등) 과 비교하여 경쟁력 있는 성능을 보였으며, GAN 기반 방법보다 경량화되고 설명 가능한 장점을 가집니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: 이 연구는 당뇨병성 발 궤양의 자동화된 정량적 평가 (면적 측정) 를 가능하게 하여, 치료 계획 수립과 치유 과정 모니터링의 정확성을 높이고 의료진의 업무 부담을 줄일 수 있음을 보여줍니다.
• 기술적 의의: 의료 영상 분석 분야에서 CNN 만으로는 부족했던 '글로벌 컨텍스트' 문제를 트랜스포머로 해결하고, 동시에 Grad-CAM 을 통한 설명 가능성을 확보함으로써 '블랙박스' 모델의 한계를 극복한 사례입니다.
• 향후 과제: 모델의 경량화 (양자화 등) 를 통해 모바일 엣지 디바이스에서의 실시간 추론을 구현하고, 더 다양한 다중 센터 데이터를 통한 일반화 검증이 필요하다고 결론지었습니다.

요약하자면, 이 논문은 TransUNet 구조를 활용하여 당뇨병성 발 궤양 분할의 정확도를 높이고, Grad-CAM을 통해 모델의 신뢰성을 확보한 설명 가능한 AI 기반의 임상 지원 도구를 성공적으로 개발 및 검증했다는 점에서 의의가 큽니다.