M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis

1. 문제 정의 (Problem Definition)

• 배경: 뇌 네트워크 분석에서 구조적 연결성 (SC, Structural Connectivity) 과 기능적 연결성 (FC, Functional Connectivity) 과 같은 다양한 모달리티 (Multi-modal) 의 정보를 통합하는 것은 단일 모달리티 방법보다 하위 작업 (성별 분류, 질병 분류 등) 에서 더 나은 성능을 보입니다.
• 현재의 한계: 기존의 뇌 네트워크 융합 방법론은 대부분 **정적 (Static)**입니다. 모든 입력 샘플에 대해 동일한 모델과 연산을 적용하며, 각 샘플 고유의 차이 (예: 특정 뇌 영역의 연결 강도나 구조의 차이) 를 고려하지 않습니다.
• 핵심 문제: 샘플 간의 고유한 변이 (Inherent variance) 를 무시하는 정적 융합 방식은 모델의 성능 향상을 저해합니다. 각 입력 샘플에 따라 단일 모달리티 부분과 다중 모달리티 부분을 동적으로 선택하여 적응적 (Sample-adaptive) 으로 융합할 수 있는 메커니즘이 필요합니다.

2. 제안 방법론: M3D-BFS

저자들은 **샘플 적응형 다중 모달 뇌 네트워크 분석을 위한 다단계 동적 융합 전략 (M3D-BFS)**을 제안합니다. 이 방법은 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처를 기반으로 하며, MoE 의 학습 불안정성 (Expert Collapse) 을 해결하기 위해 3 단계 학습 전략을 도입했습니다.

2.1. 전체 아키텍처

• 동적 게이트 (Dynamic Gating): 기존 방법과 달리, 입력 샘플이 들어오기 전에 게이트 모듈을 통해 각 뇌 영역 (Node) 이 특정 전문가 (Expert) 에게 동적으로 할당되도록 설계되었습니다.
• MoE 구성: 단일 모달리티 (SC 전용, FC 전용) 와 다중 모달리티 (SC+FC 융합) 를 처리하는 세 가지 유형의 MoE 블록을 포함합니다.

2.2. 3 단계 학습 전략 (Multi-stage Training)

MoE 를 직접 학습할 때 발생할 수 있는 '전문가 붕괴 (Expert Collapse: 모든 입력이 하나의 전문가로 쏠리는 현상)'를 방지하기 위해 다음과 같은 단계를 거칩니다.

1. 1 단계: 단일 모달리티 인코더 사전 학습 (Uni-modal Encoder Pretraining)

   • SC 와 FC 모달리티 각각에 대해 별도의 인코더 (GCN 기반) 를 학습합니다.
   • 이 단계에서 학습된 가중치는 후속 단계에서 '교사 (Teacher)' 역할을 하여 지식 증류 (Distillation) 의 기초가 됩니다.

2. 2 단계: 단일 전문가 사전 학습 (Single Expert Pretraining)

   • MoE 블록 대신 단일 MLP 전문가 네트워크를 사용하여 다중 모달 융합 모델을 학습합니다.
   • 손실 함수 구성:
     • 분류 손실 ($L_{ce}$)
     • 지식 증류 손실 ($L_{distill}$): 1 단계에서 학습된 단일 모달리티 인코더의 출력을 통해 융합 모델이 단일 모달리티 정보를 잃지 않도록 유도합니다.
     • 대조 학습 손실 ($L_{contrast}$): SC 와 FC 표현 간의 정렬을 강화하기 위해 CLIP 기반의 대조 학습을 적용합니다.

3. 3 단계: MoE 파인튜닝 (MoE Finetuning)

   • 2 단계에서 학습된 단일 전문가의 가중치를 사용하여 MoE 내의 모든 전문가 네트워크를 초기화합니다.
   • MoE 블록만 학습 가능하게 하고 나머지 모듈은 고정 (Frozen) 합니다.
   • 손실 함수 구성:
     • 분류 손실 ($L_{ce}$)
     • MoE 균형 손실 ($L_{moe}$): 전문가 간의 학습 불균형을 방지하기 위해 중요도 손실 (Importance Loss) 과 로드 손실 (Load Loss) 을 적용합니다.
     • 다중 모달 해리 손실 ($L_{disen}$): 단일 모달리티 표현과 융합 표현 간의 중복을 줄이면서 태스크 관련 정보는 유지하기 위해 설계된 새로운 손실 함수입니다. 이는 표현의 직교성을 높여 최종 임베딩을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 동적 융합 접근법: 뇌 네트워크 분석 분야에서 샘플 단위 (Sample-wise) 로 다중 모달리티를 동적으로 융합하는 최초의 연구입니다.
2. 3 단계 학습 프레임워크: MoE 의 전문가 붕괴 문제를 해결하기 위해 '단일 모달리티 학습 $\rightarrow$ 단일 전문가 학습 $\rightarrow$ MoE 파인튜닝'의 체계적인 전략을 제안했습니다.
3. 새로운 손실 함수 설계:
   • 다중 모달 해리 손실 ($L_{disen}$): 모달리티별 정보와 융합 정보 간의 관계를 최적화하여 표현력을 향상시킵니다.
   • 지식 증류 및 대조 학습: 단일 모달리티의 성능을 유지하면서 다중 모달리티 융합의 효율성을 높입니다.
4. 샘플 적응형 메커니즘: 입력 데이터의 특성에 따라 뇌 영역을 다른 전문가에 동적으로 할당하여 개별 샘플의 고유한 뇌 네트워크 특성을 효과적으로 포착합니다.

4. 실험 결과 (Results)

• 데이터셋: 인간 연결체 프로젝트 (HCP, 성별 분류) 와 중대신상/신앙의대 부속병원 (ZDXX, 주요우울장애 분류) 의 두 가지 실제 임상 데이터셋에서 평가되었습니다.
• 성능 비교:
  • 단일 모달리티 방법 (GCN, BrainNPT) 과 기존 다중 모달 융합 방법 (SVM, Random Forest, MMGNN, AL-NEGAT, Cross-GNN, RH-BrainFS, NeuroPath) 과 비교했습니다.
  • HCP 데이터셋: 정확도 (ACC) 81.21% 로 기존 최상위 방법 (Cross-GNN, 78.93%) 보다 2.28%p 향상되었습니다.
  • ZDXX 데이터셋: 정확도 80.85% 로 기존 최상위 방법 (NeuroPath, 78.01%) 보다 2.73%p 향상되었습니다.
  • 민감도 (SEN), 특이도 (SPE), F1 점수, AUC 등 모든 평가 지표에서 일관된 성능 개선을 보였습니다.
• 애블레이션 연구 (Ablation Study):
  • 3 단계 학습 전략의 각 단계와 손실 함수 ($L_{distill}, L_{contrast}, L_{disen}$) 가 제거되었을 때 성능이 하락함을 확인하여 각 구성 요소의 유효성을 입증했습니다.
  • 시각화 결과: 사전 학습 (Pretraining) 을 거친 M3D-BFS 는 전문가 간 분포가 균일하게 유지되는 반면, 사전 학습 없이 학습한 모델은 특정 전문가로 쏠리는 붕괴 현상이 발생함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 신경과학 및 AI 융합: 뇌 네트워크 분석의 정적 한계를 극복하고, 개별 환자의 뇌 연결 특성에 맞춰 유연하게 대응하는 동적 융합 (Dynamic Fusion) 패러다임을 제시했습니다.
• 임상적 가치: 뇌 질환 진단이나 개인별 뇌 상태 분석과 같은 하위 작업에서 더 높은 정확도와 신뢰성을 제공할 수 있는 가능성을 보여줍니다.
• 미래 전망: 데이터 분포의 편향 (Bias) 이 존재하는 더 복잡한 시나리오로 확장하여 다양한 임상 태스크에 적용할 수 있는 기반을 마련했습니다.

이 논문은 다중 모달 뇌 네트워크 분석 분야에서 샘플 적응형 동적 융합의 중요성을 강조하며, MoE 기반의 안정적이고 효율적인 학습 전략을 통해 기존 방법론의 성능 한계를 돌파한 의미 있는 연구입니다.