CNN-ViT Fusion with Adaptive Attention Gate for Brain Tumor MRI Classification: A Hybrid Deep Learning Model

[기술 요약] CNN-ViT 융합 및 적응형 어텐션 게이트를 이용한 뇌종양 MRI 분류

1. 연구 배경 및 문제 정의 (Problem Statement)

뇌종양의 조기 발견과 정확한 분류는 환자의 치료 계획(수술, 방사선, 화학 요법) 수립에 있어 매우 치명적인 요소입니다. 하지만 MRI 영상을 통한 수동 판독은 시간이 많이 소요되고 판독자 간의 편차가 발생할 수 있는 위험이 있습니다.
기존의 딥러닝 모델들은 다음과 같은 한계를 가집니다:

• CNN (Convolutional Neural Networks): 국소적인 질감(Texture)과 공간적 정보 추출에는 뛰어나지만, 이미지 전체의 장거리 의존성(Long-range dependencies)을 파악하는 데 한계가 있습니다.
• ViT (Vision Transformers): 전역적인 문맥(Global context) 파악에는 유리하나, 의료 영상과 같이 데이터셋 규모가 작은 경우 학습 효율이 떨어지고 많은 파라미터를 요구합니다.
• 기존 융합 방식: 단순히 두 특징을 결합(Concatenation)하거나 평균을 내는 방식은 샘플마다 다른 특징적 중요도를 동적으로 반영하지 못합니다.

2. 제안 방법론 (Methodology)

본 논문은 국소적 특징과 전역적 특징을 동적으로 결합하는 CNN-MobileViT-AAG 하이브리드 아키텍처를 제안합니다.

• 하이브리드 구조 (Two-Branch Architecture):
  • CNN Branch (SqueezeNet 스타일): Fire 모듈을 사용하여 파라미터 효율성을 높이면서 뇌종양의 경계, 형태, 질감 등 국소적 특징을 추출합니다.
  • Global Branch (MobileViT 스타일): MBConv 블록과 경량 트랜스포머 블록을 결합하여, 적은 파라미터로도 이미지 전체의 공간적 관계를 파악합니다.
• 적응형 어텐션 게이트 (Adaptive Attention Gate, AAG):
  • 본 연구의 핵심 혁신 요소입니다. 두 브랜치에서 추출된 특징 벡터($f_{CNN}, f_{ViT}$)를 결합하여 샘플별, 특징 차원별(per-feature-dimension) 가중치 $\alpha \in (0, 1)$를 학습합니다.
  • 수식: $f_{fused} = \alpha \odot f_{CNN} + (1 - \alpha) \odot f_{ViT}$
  • 이를 통해 모델은 특정 샘플이 국소적 정보(CNN)가 중요한지, 전역적 정보(ViT)가 중요한지를 스스로 판단하여 최적의 비중으로 특징을 융합합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 하이브리드 아키텍처 설계: SqueezeNet 기반 CNN과 MobileViT 기반 트랜스포머를 결합한 효율적인 구조를 제안했습니다.
2. AAG 메커니즘 도입: 고정된 가중치가 아닌, 입력 데이터의 특성에 따라 실시간으로 브랜치 기여도를 조절하는 동적 융합 전략을 제시했습니다.
3. 해석 가능성(Interpretability) 제공: 게이트 활성화 값($\alpha$) 분석을 통해, 종양의 종류(Glioma, Meningioma 등)에 따라 모델이 어떤 특징(국소 vs 전역)에 더 의존하는지 설명할 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

Kaggle의 Brain Tumor MRI 데이터셋(4개 클래스: Glioma, Meningioma, No Tumor, Pituitary)을 사용하여 평가한 결과는 다음과 같습니다.

• 주요 성능 지표:
  • 정확도 (Accuracy): 97.60%
  • 정밀도 (Precision): 97.30%
  • 재현율 (Recall): 97.50%
  • F1-Score: 97.40%
  • AUC (Macro-average): 0.9946
• 비교 우위: 기존의 단일 CNN 모델, 단일 ViT 모델 및 기존의 단순 융합 방식보다 높은 성능을 기록했습니다.
• 클래스별 분석: 특히 시각적 유사성으로 인해 분류가 어려운 Meningioma 클래스에서도 높은 F1-score(96.95%)를 기록하며 AAG의 효과를 입증했습니다.

5. 연구의 의의 및 결론 (Significance & Conclusion)

본 연구는 의료 영상 분석에서 **"데이터의 특성에 따른 동적 특징 선택"**이 얼마나 중요한지를 입증했습니다.

• 임상적 가치: 97% 이상의 높은 정확도와 재현율은 오진의 위험을 줄여 실제 의료 현장에서 보조 진단 도구로서의 높은 잠재력을 보여줍니다.
• 기술적 가치: 파라미터 효율적인 모델(약 4.2M)을 설계함으로써 자원이 제한된 임상 환경에서도 배포가 가능한 구조를 제안했습니다.
• 향후 과제: 현재의 2D 슬라이스 기반 분석을 넘어, 3D 볼륨 데이터를 처리할 수 있는 3D 트랜스포머 및 컨볼루션 확장 연구가 필요함을 시사합니다.