기술 요약: TIER-MoE

문제 정의

멀티모달 생물 의학적 분류는 다양한 출처(예: MRI, DTI, 임상 메타데이터)로부터 오는 상호 보완적인 증거를 결합하여 질병 진단 및 예후를 개선하는 것을 목표로 합니다. 그러나 기존의 퓨전(fusion) 방법들은 **신뢰성(reliability)**과 상보성(complementarity) 사이의 근본적인 트레이드오프에 직면해 있습니다.

현재의 접근 방식들은 다음과 같은 두 가지 뚜렷한 시나리오를 구분하는 데 실패하는 경우가 많습니다:

1. 특정 피험자에게 진정으로 신뢰할 수 없는 모달리티(modality).
2. 단독으로는 약하지만, 융합되었을 때 고유하고 비중복적인 정보를 제공하는 모달리티.

표준 퓨전 아키텍처(예: 게이트 모델, 어텐션 메커니즘)는 전역적으로 지배적인 모달리티에 과도하게 의존하여, 잠재적으로 약하지만 상보적인 증거를 폐기하는 경 경향이 있습니다. 반대로, 불확실성, 품질 또는 신뢰도 점수를 사용하여 모달리티의 가중치를 조절하는 적응형 퓨전 방법들은 특정 샘플에 대해 특정 모달리티가 입게 될 **기대 예측 손실(expected prediction loss)**을 직접적으로 예측하지 못합니다. 또한, 기존의 Mixture-of-Experts (MoE) 모델은 모달리티의 신뢰성과 전문가의 전문화(expert specialization)를 분리하지 못하여, 증거를 가장 적합한 하위 공간(subspace)을 처리할 수 있는 전문가에게 라우팅하는 데 실패합니다.

방법론: TIER-MoE

저자들은 주체별 모달리티 리스크 추정과 전문가 하위 공간 친화도를 결과적 희소 라우팅(sparse routing)을 위해 통합한 계층적 프레임워크인 TIER-MoE(Trust-Informed Expert Routing via Conditional Modality Risk)를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 교차 적합 조건부 모달리티 리스크 (Cross-Fitted Conditional Modality Risk)

핵심 혁신은 모달리티의 신뢰성을 정적인 품질 점수가 아니라, 해당 피험자에 대한 유니모달(unimodal) 예측기의 조건부 기대 예측 손실로 정의한 것입니다.

• 리스크 정의: $R_m(V_i) = E[L_{i,m} | V_i]$, 여기서 $L_{i,m}$은 피험자 $i$에 대한 모달리티 $m$의 유니모달 예측기 손실입니다.
• 레이블 정직성 타겟 (Label-Honest Targets): 데이터 누수(data leakage)를 방지하기 위해, 리스크 타겟은 Out-of-Fold (OOF) 예측으로부터 도출됩니다. 모델은 대상 피험자를 제외한 모든 피험자를 대상으로 학습되며, 이들의 교정된 예측값은 리스크 추정을 위한 그라운드 트루스로 사용되는 실현된 브라이어 손실(Brier loss)을 생성합니다.
• 추정기 (Estimator): 공유된 마스크 인식 신경망(mask-aware neural network)은 로컬 증거(교정된 분포, 불확실성, 품질 지표)와 사용 가능한 모든 모달리티로부터 풀링된 컨텍스트를 기반으로 이 리스크를 추정합니다.
• 재교정 (Recalibration): OOF 추정치와 최종 재학습된 모델의 예측값 사이의 편차를 수정하기 위해 검증 세트에서 저용량 단조 맵(low-capacity monotone map)을 적합시킵니다.

2. 신뢰성 앵커 (Reliability Anchor)

추정된 리스크는 리스크 가중치가 적용된 유니모달 예측($p^{rel}_i$)을 생성하는 "신뢰성 앵커"를 형성합니다. 이 브랜치는 신뢰할 수 있는 유니모달 증거가 보존되고 버려지지 않도록 보장하며, 퓨전 결과가 최선의 단일 모달리티보다 나빠지는 것을 방지하는 베이스라인 역할을 합니다.

3. 리스크 가이드 하위 공간 전문가 라우팅 (Risk-Guided Subspace Expert Routing)

신뢰성 앵커와 병렬로, 모델은 교차 모달 상호작용을 포착하기 위해 희소 MoE 메커니즘을 채택합니다:

• 공유 경로 (Shared Path): 항상 활성화되는 공유 표현($h^{shared}_i$)은 마스크된 셀프 어텐션을 통해 계산되며, 라우팅 결정과 독립적으로 교차 모달 상호작용을 유지합니다.
• 전문가 하위 공간 (Expert Subspaces): $E$개의 전문가 뱅크는 저차원 하위 공간($B_e$)과 연관됩니다.
• 호환성 점수 (Compatibility Scoring): 호환성 점수($\psi_{i,m,e}$)는 모달리티 토큰과 전문가의 하위 공간 사이의 친화도를 측정합니다.
• 결합 라우팅 기준 (Joint Routing Criterion): 라우팅 결정은 호환성과 조건부 리스크를 결합합니다:
  $$G_{i,m,e} = \psi_{i,m,e} - \eta \hat{R}_{i,m}$$
  여기서 $\eta$는 리스크 페널티를 제어합니다. 점수가 양수인 경우에만 경로가 선택되며, 상위-$K$ 경로가 선택됩니다. 이는 적당한 리스크를 가진 모달리티가 적합한 전문가와 강하게 일치한다면 여전히 라우팅될 수 있도록 하는 한편, 리스크가 낮은 모달리티가 부적절한 전문가에게 강제로 할당되지 않도록 보장합니다.
• 희소 보정 (Sparse Correction): 선택된 전문가들은 저차원 잔차 변환(low-rank residual transformations)을 통해 할당된 모달리티를 처리합니다. 이 잔차들은 공유 표현에 더해져 상호작용 예측($p^{int}_i$)을 형성합니다.

4. 최종 예측 (Final Prediction)

최종 출력은 신뢰성 앵커와 상호작용 브랜치의 볼록 결합(convex combination)입니다:
$$p^{final}_i = (1-\gamma)p^{rel}_i + \gamma p^{int}_i$$
여기 여기서 $\gamma$는 검증 세트에서 고정된 계수입니다.

주요 기여

1. 태스크 기반 신뢰성 공식화: 저자들은 모달리티 신뢰성을 유니모달 예측기의 조건부 기대 예측 손실로 공식화하였으며, 이를 OOF 예측으로부터 직접 학습했습니다. 이는 held-out 오류에 대해 직접 평가 가능한 신뢰도 척도를 제공합니다.
2. 통합된 라우팅 메커니즘: TIER-MoE는 조건부 모달리티 리스크와 전문가 하위 공간 친화도를 결합한 라우팅 전략을 도입합니다. 이 설계는 공유 경로와 희소 전문가 잔차를 통해 신뢰할 수 있는 유니모달 증거를 보존하는 동시에 약한 모달리티의 상보적 가치를 유지합니다.
3. 포괄적인 평가: 이 프레임워크는 알츠하이머병, 피부 병변 악성도, 망막 분류를 다루는 네 가지 생물 의학 코호트(ADNI, OASIS-3, PAD-UFES-20, FPRM)에 걸쳐 평가되었습니다.

결과

실험 결과, TIER-MoE는 여러 지표에서 최첨단 베이스라인(GMU, QMF, PDF, Flex-MoE, I2MoE 포함)보다 우수한 성능을 보였습니다:

• 인도메인 성능 (In-Domain Performance): TIER-MoE는 세 가지 인도메인 데이터셋 모두에서 최고의 Macro-F1 및 Brier 점수를 달성했습니다. ADNI의 경우, 가장 강력한 기존 비교 모델보다 Macro-F1을 3.4 퍼센트 포인트 향상시켰습니다.
• 리스크 교정 (Risk Calibration): 추정된 조건부 리스크는 실현된 유니모달 Brier 손실과 우수한 일치도(더 낮은 ERCE, 더 높은 Spearman 상관관계)를 보였으며, 불확실성이나 품질 기반 베이스라인에 비해 고손실 케이스에 대한 더 나은 식별력을 보여주었습니다.
• 강건성 (Robustness): 모달리티 저하, 결측, 교차 모달 충돌 조건에서도 TIER-MoE는 더 높은 성능 유지력을 보였으며, "해악률(Harm Rate, 적어도 하나의 유니모달 예측기가 정답일 때 융합된 예측이 틀리는 비율)"을 유의미하게 감소시켰습니다.
• 제로샷 일반화 (Zero-Shot Generalization): 적응 과정 없이도 TIER-MoE는 외부 코호트인 OASIS-3로 효과적으로 전이되어 최고의 균형 정확도(balanced accuracy)와 확률 교정 성능을 달ach했습니다. 결정적으로, 학습된 리스크 의미론(교정 및 식별력)은 이러한 코호트 변화 하에서도 유효하게 유지되었습니다.
• 절제 연구 (Ablation Studies): 리스크 가이드 라우팅 또는 OOF 감독 중 하나라도 제거하면 측정 가능한 성능 저하가 발생했으며, 이는 리스크 조건부 라우팅과 레이블 정직한 OOF 감독 모두가 모델의 성공에 필수적임을 확인시켜 줍니다.

의의

본 논문은 모달리티 신뢰성, 교차 모달 상보성, 그리고 전문가 호환성이 서로 구별되면서도 조율되는 요소라고 주장합니다. 이러한 요소들을 분리하고 명시적으로 모델링함으로써(OOF 유도 리스크를 통한 신뢰성, 하위 공간 친화도를 통한 전문가 호환성, 공유 경로를 통한 상보성), TIER-MoE는 이러한 개념들을 혼동하는 기존 퓨전 방법들의 한계를 해결합니다. 실험 결과는 신뢰성을 불확실성이나 품질이 아닌 기대 예측 손실로 정의하는 것이 이질적인 생물 의학 데이터에서 적응형 퓨전을 위한 더 견고한 기초를 제공한다는 것을 시사합니다.