M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model

1. 문제 정의 (Problem)

의료 기초 모델 (Medical Foundation Models, MFMs) 은 다양한 임상 태스크에 적용 가능한 범용 표현을 학습하는 것을 목표로 합니다. 그러나 기존 대부분의 MFMs 은 다음과 같은 정보 모호성 (Information Ambiguity) 문제를 겪고 있습니다.

• 단일 임베딩 공간의 한계: 다양한 의료 영상 모드 (예: X-ray, 안저, OCT, 병리, 피부) 를 단일 임베딩 공간에 통합하여 학습합니다.
• 모달리티 특이성 (Specificity) 과 다양성 (Diversity) 의 저하:
  • 모달리티 특이성 부족: 서로 다른 영상 모드 간의 고유한 시각적 특징 (예: 안저의 미세한 색소 불규칙성 vs 폐결절의 희미한 불투명도) 이 혼합되어 구별이 어려워집니다.
  • 모달리티 내 다양성 부족: 동일한 모드 내에서도 세밀한 병변이나 조직 구조를 구분하는 능력이 약화됩니다.
• 기존 접근법의 결함: 기존의 통일된 대비 학습 (Unified Contrastive Learning) 은 모든 모드 간의 상호 정보 (Mutual Information) 를 균일하게 최대화하려 합니다. 이는 모드 간 공통된 중복 정보 (Redundancy) 를 최대화하게 되어, 모드별 고유한 정보를 희석시키고 정보 모호성을 유발합니다.

2. 방법론 (Methodology)

저자들은 M-IDoL을 제안하며, 이는 정보 분해 (Information Decomposition) 개념을 도입하여 모달리티별 특이성과 다양성을 동시에 향상시키는 자기지도 학습 (Self-supervised) 기반 의료 기초 모델입니다.

핵심 아이디어: 정보 분해

전통적인 목적 함수인 $I(X; Y)$ (증강된 두 뷰 간의 상호 정보) 에서 다른 모달리티의 표현 $Z$와 관련된 중복 정보 $I(X; Y; Z)$를 제거하는 것을 목표로 합니다. 이를 엔트로피 기반의 두 가지 목적 함수로 분해합니다.

1. 모달리티 간 엔트로피 최대화 (Inter-modality Entropy Maximization):
   • 목표: $H(X|Z)$를 최대화합니다. 즉, 다른 모달리티 $Z$로 예측할 수 없는 $X$의 정보를 최대화하여 모달리티별 고유 정보를 분리합니다.
   • 구현: **라우팅 일관성 손실 (Routing-consistency loss, $L_{route}$)**을 사용하여, 서로 다른 모달리티의 이미지들이 서로 다른 전문가 (Expert) 서브공간으로 분산되도록 유도합니다.
2. 모달리티 내 불확실성 최소화 (Intra-modality Uncertainty Minimization):
   • 목표: $H(X|Y, Z)$를 최소화합니다. 즉, 같은 이미지의 증강된 뷰 $Y$와 $Z$를 조건으로 했을 때 $X$의 예측 불확실성을 줄여, 증강 노이즈가 아닌 의미론적 일관성을 학습합니다.
   • 구현: **모달리티 내 대비 손실 (Intra-modality contrastive loss, $L_{cst}$)**을 사용하여, 동일한 MoE 서브공간 내에서 같은 이미지의 표현들을 밀집시킵니다.

아키텍처: MoE (Mixture-of-Experts) 프로젝터

• 구조: 시각 인코더 뒤에 **라우터 (Router)**와 **N 개의 전문가 (Experts)**로 구성된 MoE 프로젝터를 배치합니다.
• 동작:
  • 라우터: 입력 이미지의 잠재 모달리티를 판단하여 특정 전문가를 선택합니다.
  • Sinkhorn-Knopp 알고리즘: 배치 내 전문가 할당을 균형 있게 유지하여 모든 이미지가 하나의 전문가로 쏠리는 것을 방지합니다.
  • 학습 과정: 초기에는 $L_{route}$가 주도하여 모달리티별 서브공간을 형성하고, 이후 $L_{cst}$가 주도하여 각 서브공간 내에서 세밀한 특징을 학습합니다.
• 추론: 사전 학습 후, 학생 네트워크와 MoE 프로젝터는 제거되고 **교사 네트워크 (Teacher Network)**만 시각 인코더로 사용됩니다.

3. 주요 기여 (Key Contributions)

1. 정보 분해 전략 제안: 통일된 대비 학습의 정보 모호성을 해결하기 위해, 모달리티 간 중복 정보를 명시적으로 제거하고 엔트로피 기반의 두 가지 목적 함수를 도입했습니다.
2. MoE 프로젝터 기반의 적응적 학습: 모달리티 라벨 없이도 MoE 프로젝터를 통해 자동으로 모달리티별 서브공간을 학습하게 하여, 모달리티 특이성과 다양성을 동시에 확보했습니다.
3. 광범위한 실험 및 성능 입증: 5 가지 의료 영상 모드 (안저, X-ray, OCT, 병리, 피부) 의 115 만 장 이상의 무레이블 데이터로 사전 학습되었으며, 21 개의 다운스트림 태스크에서 기존 SOTA 모델들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: 5 가지 모드 (Retinology, Radiology, Ophthalmology, Histopathology, Dermatology) 의 115 만 장 이미지로 사전 학습.
• 성능 비교:
  • 모달리티 전용 모델 대비: RETFound(안저 전용), Virchow(병리 전용) 등 대규모 모달리티 전용 모델들과 경쟁하거나 더 나은 성능을 기록했습니다.
  • 통일된 기초 모델 (Unified MFMs) 대비: UniMed, LVM-Med, CoSMIC 등 기존 통일형 모델들보다 21 개 데이터셋 중 대부분에서 통계적으로 유의미한 성능 향상 (평균 4~6% 이상) 을 보였습니다.
• 시각화 (t-SNE):
  • 기존 통일형 모델은 모드 간 경계가 모호하게 섞여 있는 반면, M-IDoL 은 모드 간 클러스터가 명확히 분리되면서도 (특이성), 각 모드 내부에서 세밀한 특징 분리가 이루어지는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

M-IDoL 은 의료 영상 분석 분야에서 "하나의 모델로 모든 것을" 학습하려는 접근법의 한계를 극복하고, **모달리티의 이질성 (Heterogeneity)**을 존중하는 새로운 패러다임을 제시합니다.

• 정보 모호성 해결: 단순히 모든 데이터를 섞어 학습하는 것이 아니라, 정보 분해 이론을 통해 모달리티별 고유 정보를 보존하면서도 공통 지식을 학습할 수 있는 구조를 제안했습니다.
• 임상 적용 가능성: 21 개의 다양한 임상 태스크에서 뛰어난 일반화 능력을 보여, 실제 의료 현장에서의 다중 모드 진단 지원 시스템으로서의 잠재력을 입증했습니다.
• 효율성: 다단계 학습 (Continual Learning) 이 필요한 기존 방법들과 달리, 단일 단계의 통일된 사전 학습으로 높은 성능을 달성하여 계산 비용을 절감했습니다.

결론적으로, M-IDoL 은 의료 기초 모델이 다양한 영상 모드를 처리할 때 발생하는 정보의 혼란을 해결하고, 각 모달리티에 최적화된 정밀한 표현 학습을 가능하게 하는 획기적인 접근법입니다.