Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 유방암은 전 세계적으로 암 관련 사망의 주요 원인이며, 조기 진단이 생존율 향상에 결정적입니다. 현재 진단의 표준은 조직병리학적 검사 (H&E 염색 슬라이드) 이지만, 이는 노동 집약적이며 관찰자 간 편차 (inter-observer variability) 가 존재합니다. 특히 미분열 (mitosis) 과 같은 미세한 특징은 진단이 어렵습니다.
• 문제점:
  • 기존 연구들은 조직병리 이미지 (CNN 기반) 와 전자의무기록 (EHR) (구조화된 임상 데이터) 을 각각 독립적으로 분석하는 경향이 있습니다.
  • 임상 전문가는 진단 시 조직학적 증거와 환자 인구통계, 병력, 실험실 결과 등을 통합적으로 고려하지만, 계산 모델은 이를 분리하여 처리함으로써 임상적 추론 능력을 충분히 모사하지 못합니다.
  • 이미지 데이터는 고해상도 패치 기반이며, EHR 데이터는 희소하고 이질적이며 결측치가 많아 두 모달리티를 융합하는 기술적 난이도가 높습니다.

2. 방법론 (Methodology)

이 연구는 BreCaHAD 데이터셋 (조직병리 이미지) 과 MIMIC-IV 데이터셋 (구조화된 임상 데이터) 을 활용하여 다중모달 학습 프레임워크를 구축했습니다.

A. 데이터 전처리

• 이미지 (BreCaHAD): 고해상도 전체 슬라이드 이미지를 64x64 픽셀 크기의 패치로 분할했습니다. 전문가가 주석한 핵 (종양 핵, 비종양 핵, 미분열) 위치를 기준으로 패치를 추출하고 라벨을 부여했습니다.
• 임상 데이터 (MIMIC-IV): 유방암 관련 변수 (인구통계, 공존 질환, 실험실 수치, 치료 이력) 를 추출했습니다. 결측치가 80% 이상인 특징은 제거했고, 연속형 변수는 표준화, 범주형 변수는 원-핫 인코딩 (One-hot encoding) 처리했습니다.

B. 단일 모달 모델 (Unimodal Baselines)

1. 이미지 모델:
   • Simple CNN: 3 개의 블록으로 구성된 간단한 합성곱 신경망.
   • ResNet-18: ImageNet 에서 사전 훈련된 모델을 BreCaHAD 패치에 미세 조정 (Fine-tuning) 했습니다. 전이 학습과 단계적 언프리즈 (staged unfreezing) 전략을 사용했습니다.
2. 임상 데이터 모델:
   • MLP (Multilayer Perceptron): 256-128 은닉층 구조의 피드포워드 신경망.
   • XGBoost: 그래디언트 부스팅 알고리즘으로, 표본 데이터에서 강력한 성능을 보임.

C. 다중모달 융합 모델 (Intermediate Fusion)

• 아키텍처: 중간 융합 (Intermediate Fusion) 방식을 채택했습니다.
  • 이미지 브랜치: ResNet-18 의 penultimate layer 에서 추출한 512 차원 임베딩.
  • 임상 브랜치: MLP 의 은닉층에서 추출한 128 차원 환자 임베딩.
  • 융합: 두 임베딩을 연결 (Concatenation) 하여 640 차원의 다중모달 표현을 생성한 후, 최종 분류기를 통과시켜 3 클래스 (종양 핵, 비종양 핵, 미분열) 로 분류합니다.
• 학습 전략: 클래스 불균형 문제를 해결하기 위해 가중 손실 함수 (weighted loss) 와 드롭아웃을 적용했으며, Grad-CAM 과 SHAP 를 통해 모델의 해석 가능성을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. 강력한 단일 모달 베이스라인 구축: 이미지 (ResNet-18) 와 표본 데이터 (XGBoost) 에 대해 각각 높은 성능의 기준 모델을 확립했습니다.
2. 중간 융합 아키텍처 제안: 이미지 임베딩과 임상 임베딩을 결합하여 모달리티 간 상호작용을 포착하는 새로운 프레임워크를 제시했습니다.
3. 소수 클래스 성능 향상 증명: 진단적으로 중요하지만 데이터가 부족한 '미분열 (Mitosis)' 클래스에서 단일 모달 모델보다 융합 모델이 성능을 크게 개선함을 입증했습니다.
4. 해석 가능성 (Interpretability) 강화: Grad-CAM (이미지) 과 SHAP (임상 데이터) 를 결합하여 임상 전문가가 이해할 수 있는 투명한 설명을 제공했습니다.

4. 실험 결과 (Results)

• 단일 모달 성능:
  • ResNet-18: 3 클래스 패치 분류에서 정확도 1.000, AUC 1.000을 기록했으나, 세부 분석 시 '미분열' 클래스의 AUC 는 0.927로 상대적으로 낮았습니다.
  • XGBoost: EHR 예측 작업에서 98% 정확도와 0.94 AUC 를 기록하여 MLP 보다 우수한 성능을 보였습니다.
• 융합 모델 성능:
  • 거의 완벽한 성능: 매크로 평균 AUC 0.997, 정확도 0.997을 달성하여 모든 단일 모달 베이스라인을 능가했습니다.
  • 미분열 클래스 개선: 가장 중요한 소수 클래스인 '미분열'의 AUC 를 ResNet 단독 (0.927) 에서 0.994로 6.7%p 향상시켰습니다. 이는 임상적 의사결정이 가장 필요한 부분에서 융합이 효과적임을 의미합니다.
• 해석 가능성:
  • Grad-CAM: 모델이 배경이 아닌 핵 구조 (종양 및 미분열) 에 집중하고 있음을 시각적으로 확인했습니다.
  • SHAP: 연령, 공존 질환 수, 주요 바이오마커가 임상 예측의 주요 요인임을 확인하여 임상적 타당성을 검증했습니다.

5. 의의 및 결론 (Significance)

• 임상적 가치: 다중모달 통합은 전체 정확도뿐만 아니라, 오진 가능성이 높은 소수 클래스 (미분열 등) 에서의 예측 능력을 획기적으로 향상시킵니다. 이는 임상 현장에서 '위음성 (False Negative)'을 줄이는 데 기여합니다.
• 기술적 통찰:
  • 중간 융합의 우위: 이미지와 표본 데이터의 차원 불일치로 인한 초기 융합의 비실용성, 그리고 상호작용 손실로 인한 후기 융합의 한계를 극복하기 위해 중간 융합이 가장 효과적임을 입증했습니다.
  • 해석 가능성과 성능의 조화: 모델의 투명성을 해치지 않으면서 성능을 극대화할 수 있음을 보여주었습니다.
• 한계 및 향후 과제: 현재 BreCaHAD 와 MIMIC-IV 는 환자 수준에서 직접 매칭되지 않았으며 (시뮬레이션 방식), 단일 기관 데이터에 의존하고 있습니다. 향후 TCGA 와 같이 조직병리 이미지와 임상 기록이 매칭된 데이터셋을 활용한 외부 검증 및 외부 데이터셋에서의 일반화 성능 검증이 필요합니다.

이 논문은 의료 AI 분야에서 다중모달 데이터의 통합이 단순한 성능 향상을 넘어, 임상적 판단의 투명성과 소수 질환에 대한 진단 신뢰도를 높이는 핵심 전략임을 강력하게 시사합니다.