Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging

1. 문제 정의 (Problem Statement)

• 배경: 당뇨병성 발 궤양 (DFU) 은 당뇨병의 심각한 합병증으로, 재발률이 높고 (1 년 내 25-44%, 3-5 년 내 50-65%) 절단 위험을 초래합니다.
• 현황 및 한계:
  • 기존 DFU 관리 및 모니터링은 정기적인 병원 방문과 환자 스스로의 사진 촬영 (스마트폰 등) 에 의존하고 있습니다.
  • 그러나 가정에서의 모니터링은 촬영 거리, 각도, 조명 조건이 일정하지 않아 (비표준화) 궤양의 진행 상황을 정량적으로 비교하는 데 한계가 있습니다.
  • 기존 원격 모니터링 (RTM) 기술은 열화상만 사용하거나 RGB 이미지만 사용하는 경우가 많으며, 열화상 단독은 초기 단계 (궤양이 명확하지 않거나 온도 차이가 미미한 경우) 에서 감지 정확도가 낮고, RGB 단독은 염증이나 감염에 따른 미세한 온도 변화를 포착하지 못합니다.
• 목표: 가정용 환경에서도 표준화된 데이터를 수집하고, RGB(가시광선) 와 열화상 (Thermal) 데이터를 통합하여 당뇨발 궤양의 병기 (Wagner staging) 를 더 정확하게 분류하는 다중 모달 (Multimodal) 딥러닝 시스템 개발.

2. 방법론 (Methodology)

A. 데이터 수집 시스템 (Image Acquisition System)

• 하드웨어: Raspberry Pi 4B 를 기반으로 한 휴대용 이미징 프로토타입을 개발했습니다.
  • RGB 카메라: Raspberry Pi Camera Module V2 (8MP, 3240x2464 해상도).
  • 열화상 카메라: FLIR Lepton 3.5 모듈 (160x120 해상도).
  • 구현: 두 카메라를 나란히 배치하여 거의 동일한 시야각 (FoV) 을 확보하고, 3D 프린팅 케이스와 터치스크린 GUI 를 통해 사용자가 한 번의 조작으로 동시 촬영이 가능하도록 설계했습니다.
• 데이터셋: 병원 환경에서 윤리 심의 승인 하에 수집된 1,205 개의 샘플로 구성되었습니다. 각 샘플은 RGB, 색상 매핑 열화상, 원시 열 데이터 (Raw Thermal) 를 포함하며, 임상 전문가에 의해 6 단계 (Grade 0~5) 로 라벨링되었습니다.

B. 전처리 및 데이터셋 구성

• 이미지 전처리:
  • RGB: 표준 크기로 리사이징.
  • 열화상: 원시 TIFF 데이터 (Kelvin 단위) 를 섭씨 (°C) 로 변환. 환경 온도와 센서 보정 변화를 고려한 적응형 필터링 (Adaptive Filtering) 을 적용하여 발 부위의 온도 범위 (30°C~45°C) 를 동적으로 조정하고 노이즈를 제거했습니다.
• 학습 데이터셋: 세 가지 모달리티로 구성하여 비교 분석했습니다.
  1. RGB-only: 가시광선 이미지만 사용.
  2. Thermal-only: 열화상 데이터만 사용.
  3. RGB+Thermal (Multimodal): RGB 3 채널 + 열화상 1 채널을 결합한 4 채널 입력 텐서.

C. 모델 학습 (Model Training)

• 아키텍처: ImageNet 에서 사전 학습된 5 가지 CNN 모델 (ResNet-50, VGG16, DenseNet-121, InceptionV3, EfficientNetV2) 을 사용했습니다.
• 학습 전략:
  • Transfer Learning: 사전 학습된 가중치를 활용하고 분류 헤드를 6 클래스에 맞게 재설계 (Fully Connected, ReLU, Batch Norm, Dropout).
  • 데이터 증강 (Data Augmentation): 기하학적 변환 (크롭, 회전, 플립) 및 광학적 조정 (밝기, 대비 등) 을 적용하여 과적합 방지.
  • 불균형 처리: 클래스 가중치 손실 함수 (Class-weighted loss) 를 사용하여 소수 클래스의 학습을 강화.
• 평가: 5-fold 교차 검증 (Stratified Cross-Validation) 을 수행하고, 별도의 테스트 세트 (15%) 로 최종 성능을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 맞춤형 다중 모달 데이터 수집 시스템 개발: Raspberry Pi 기반의 저비용, 일회성 촬영이 가능한 RGB-열화상 통합 프로토타입을 구축하여 가정용 모니터링의 표준화 문제를 해결했습니다.
2. 다중 모달 딥러닝 프레임워크 검증: 단일 모달 (RGB 또는 열화상) 과 다중 모달 (RGB+Thermal) 접근법의 성능을 체계적으로 비교하여, 두 모달리티의 상호 보완적 효과가 병기 분류 정확도 향상에 필수적임을 입증했습니다.
3. 해석 가능한 AI (XAI) 분석: Grad-CAM 을 통해 모델이 어떤 영역 (궤양 부위, 염증, 온도 이상 등) 에 집중하여 판단하는지 시각화하고, 다중 모달 모델이 단일 모달 모델보다 더 임상적으로 의미 있는 영역에 집중함을 보였습니다.

4. 실험 결과 (Results)

• 성능 비교:

  • 최고 성능 모델: VGG16이 모든 데이터셋에서 가장 우수한 성능을 보였습니다.
  • 다중 모달의 우위: RGB+Thermal 데이터로 학습된 VGG16 모델이 가장 높은 성능을 기록했습니다.
    • 정확도 (Accuracy): 93.25% (RGB+Thermal) vs 90.22% (RGB-only) vs 90.96% (Thermal-only).
    • MCC (Matthews Correlation Coefficient): 91.03% (RGB+Thermal) 로 가장 높게 나타났습니다.
  • 모델별 반응: VGG16, DenseNet121, EfficientNetV2 가 다중 모달 입력에 가장 민감하게 반응하여 성능이 크게 향상되었습니다.

• 세부 분석:

  • 초기 단계 (Grade 0-1): 열화상 단독은 온도 차이가 미미하여 성능이 낮았으나, RGB+Thermal 모델은 RGB 의 형태학적 정보를 통해 초기 궤양을 더 잘 식별했습니다.
  • 후기 단계 (Grade 2+): 열화상의 온도 이상 (염증) 이 뚜렷하여 열화상 단독도 어느 정도 성능을 냈으나, 다중 모달 모델이 경계선과 염증 부위를 더 정밀하게 구분했습니다.
  • Grad-CAM 시각화:
    • 열화상 단독: 초기 단계에서 관심 영역 (Salient region) 을 명확히 찾지 못함.
    • RGB 단독: 병변 외의 넓은 영역까지 주의를 분산시키는 경향.
    • RGB+Thermal: 병변 부위에 집중된 명확하고 컴팩트한 활성화 패턴을 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의:
  • RGB 와 열화상의 통합은 궤양의 형태적 특징 (RGB) 과 생리학적 염증 반응 (열화상) 을 동시에 포착하여, 특히 초기 단계와 심한 단계 모두에서 더 정확한 병기 분류 (Wagner staging) 를 가능하게 합니다.
  • 이는 가정 기반 모니터링, 원격 의료 (Telehealth), 그리고 임상 의사결정 지원 시스템 (CDSS) 에 통합될 수 있는 강력한 기반을 제공합니다.
• 한계점 및 향후 과제:
  • 현재 데이터는 단일 센터에서 수집되었으며, 열화상 센서의 해상도 (160x120) 가 RGB 에 비해 낮아 미세한 온도 변화 포착에 한계가 있습니다.
  • 두 카메라 간의 광학적 특성 차이로 인한 픽셀 수준의 정렬 (Registration) 이 완벽하지 않습니다.
  • 향후 연구: 더 크고 다양한 다중 센터 데이터셋 확보, 고해상도 열화상 센서 도입, 자동 이미지 정렬 기술 적용 등을 통해 시스템의 일반화 성능을 높일 계획입니다.

요약: 본 연구는 저비용 하드웨어를 활용한 RGB-열화상 통합 시스템과 다중 모달 딥러닝을 통해 당뇨발 궤양의 병기 분류 정확도를 획기적으로 향상시켰으며, 이는 당뇨 환자의 재발 예방과 절단 위험 감소를 위한 혁신적인 원격 모니터링 솔루션으로 평가됩니다.