Uni-Encoder Meets Multi-Encoders: Representation Before Fusion for Brain Tumor Segmentation with Missing Modalities

[기술 요약] UniME: 결측 모달리티 환경에서의 뇌종양 분할을 위한 2단계 이종(Heterogeneous) 구조 모델

1. 문제 정의 (Problem Statement)

뇌종양 분할(Brain Tumor Segmentation) 시 MRI의 다양한 모달리티(T1, T1ce, T2, FLAIR)는 서로 보완적인 정보를 제공하여 정확도를 높이는 데 필수적입니다. 그러나 실제 임상 현장에서는 특정 모달리티가 누락되는 경우가 빈번하며, 이는 분할 성능을 크게 저하시킵니다. 기존 연구들은 다음과 같은 세 가지 설계 목표 사이의 상충 관계(Trade-off)를 해결하는 데 어려움을 겪고 있습니다:

• 미세 구조 포착 (Fine-grained structure capture): 픽셀 단위의 정밀한 해부학적 구조 파악.
• 교차 모달리티 상호보완성 모델링 (Cross-modal complementarity modeling): 누락된 정보를 다른 모달리티로 보완.
• 가용 모달리티의 효과적 활용 (Effective exploitation of available modalities): 존재하는 정보의 극대화.

2. 핵심 방법론 (Methodology: UniME)

본 논문은 표현 학습(Representation Learning)과 분할(Segmentation)을 분리하는 **2단계 이종 구조(Two-stage Heterogeneous Architecture)**인 UniME를 제안합니다.

[Stage 1: Uni-Encoder 사전 학습 (Pretraining)]

• 목적: 모달리티 누락에 강건한(Robust) 통합된 표현 학습.
• 방법: 단일 ViT(Vision Transformer) 기반의 Uni-Encoder를 마스크 이미지 모델링(Masked Image Modeling, MIM) 방식으로 사전 학습합니다.
• 마스킹 전략: 모달리티 수준의 마스킹(Modality-level)과 패치 수준의 마스킹(Patch-level)을 결합하여, 특정 모달리티가 통째로 사라진 상황에서도 다른 모달리티를 통해 정보를 복원하도록 유도합니다.
• 특징: 공간적 사전 정보(Spatial Priors)를 주입하기 위해 학습 가능한 위치 임베딩(LPe)과 3D 회전 위치 임베딩(3D RoPE)을 결합하여 사용합니다.

[Stage 2: 네트워크 미세 조정 (Fine-tuning)]

• 목적: 정밀한 분할 수행 및 가용 모달리티 정보 극대화.
• 구조: 사전 학습된 Uni-Encoder와 병렬로 배치된 CNN 기반 Multi-Encoders를 결합합니다.
  • Uni-Encoder: 전역적(Global) 세맨틱 정보와 교차 모달리티 관계를 제공합니다.
  • Multi-Encoders: 각 모달리티별로 특화된 CNN을 통해 고해상도의 미세한 구조적 특징(Fine-grained features)을 추출합니다.
• 융합(Fusion): Uni-Encoder의 전역 특징과 CNN의 다중 스케일 특징을 결합하여 최종 분할 지도를 생성합니다.
• LLRD (Layer-wise Learning Rate Decay) 전략: 사전 학습된 Uni-Encoder의 지식을 보존하면서 새로운 태스크에 적응할 수 있도록 레이어별로 학습률을 다르게 적용합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 2단계 이종 구조 제안: 표현 학습과 분할을 분리함으로써 미세 구조 포착, 상호보완성 모델링, 가용 정보 활용이라는 세 가지 목표를 동시에 달성했습니다.
2. 강건한 통합 표현 학습: 마스크 자가 지도 학습(Masked Self-supervised Learning)을 통해 모달리티 결측 상황에서도 안정적인 전역 세맨틱 정보를 추출하는 Uni-Encoder를 개발했습니다.
3. 하이브리드 아키텍처: ViT의 전역적 맥락 파악 능력과 CNN의 국소적 정밀도를 결합하여 의료 영상 분할에 최적화된 구조를 설계했습니다.

4. 실험 결과 (Results)

• 데이터셋: BraTS 2023 및 BraTS 2024 (대규모 뇌종양 데이터셋).
• 성능: 다양한 모달리티 결측 시나리오에서 기존의 최첨단(SOTA) 모델들(M3AE, M2SegMamba 등)을 압도하는 성능을 보였습니다.
• 지표: Dice Similarity Coefficient (DSC) 기준으로 BraTS 2023에서 WT(Whole Tumor), TC(Tumor Core), ET(Enhancing Tumor) 영역 모두에서 유의미한 성능 향상을 기록했습니다. 특히 모달리티가 적게 남아있는 극한의 상황에서 타 모델 대비 월등한 정확도를 보였습니다.

5. 의의 (Significance)

본 연구는 의료 영상 분석에서 고질적인 문제인 '데이터 불완전성(Incomplete Data)' 문제를 해결하기 위한 새로운 패러다임을 제시했습니다. 단순히 모델의 크기를 키우는 것이 아니라, 표현 학습의 단계와 분할의 단계를 구조적으로 분리함으로써, 전역적 맥락과 국소적 정밀도라는 두 마리 토끼를 잡을 수 있음을 입증했습니다. 이는 향후 다양한 결측 모달리티를 가진 의료 영상 분석 분야에 중요한 기초 연구가 될 것입니다.