기술 요약: MoBE – 의료 비전-언어 모델의 테스트 타임 모달리티 일반화

1. 문제 정의

의료 비전-언어 모델(MVLMs)은 강력한 제로샷 일반화 능력을 보여주지만, 학습되지 않은 모달리티, 스캐너 또는 획득 프로토콜이 배치될 때 신뢰성 붕괴(reliability collapse)를 겪는다. Mixture-of-Experts(MoE) 구조는 모달리티별 지식을 활용하는 메커니즘을 제공하지만, 테스트 타임에서의 적용은 다음과 같은 **특화-일반화 딜레마(specialization-generalization dilemma)**에 직면한다:

• 맹목적 집계(Blind Aggregation): 모든 전문가를 균등하게 평균 내는 것은 모달리티 특화 지식을 희석시킨다.
• 단일 전문가 의존(Single-Expert Reliance): 가장 '신뢰도가 높은' 단일 전문가를 선택하는 방식은, 해당 전문가의 신뢰도가 분포 변화(distribution shift) 하에서 잘못 설정되었을 경우 치명적인 불일치 위험을 초간다.

기존의 테스트 타임 적응(TTA) 방법들은 경사 하강법 기반 최적화(예: MoME, TNT)나 단일 모델 메모리 캐시(예: TDA)에 의존하는데, 이는 계산 비용이 많이 드는 역전파를 요구하거나, 소스 데이터 없이 여러 모달리티 특화 전문가 중 하나를 선택해야 하는 특정 과제를 해결하지 못한다. 핵심 과제는 파라미터 업데이트나 학습 데이터에 대한 접근 없이, 추론 시점에 어떻게 동적으로 전문가를 라우팅하고 적응시킬 것인가이다.

2. 방법론: MoBE (Mixture of Bayesian Experts)

저자들은 동적 전문가 라우팅과 개별 전문가별 베이지안 적응을 통합한 완전 최적화 프리(optimization-free) 프레임워크인 MoBE를 제안한다. 이 시스템은 병렬의 모달리티 특화 MLP 전문가들로 증강된 동결된(frozen) MVLM 백본(예: BiomedCLIP) 위에서 작동한다.

A. Dynamic-k 엔트로피 가이드 전문가 라우팅

특화-일반화 딜레마를 해결하기 위해, MoBE는 고정된 임계값이나 단일 전문가 선택 대신 예측 불확실성에 기반한 Dynamic-k 라우팅 전략을 채택한다.

• 엔트로피 계산: 각 테스트 샘플에 대해 모든 $E$ 명의 전문가에 걸쳐 예측 엔트로피 $H(p_e)$를 계산한다. 낮은 엔트로피는 높은 모달리티 정렬도를 나타낸다.
• 상대적 임계값 설정: 고정된 top-$k$를 선택하는 대신, MoBE는 엔트로피가 오름차순($H_1 \le H_2 \le \dots \le H_E$)으로 정렬된 전문가들을 정렬하고, 최적의 전문가와 엔트로피 차이가 모달리티 불변 임계값 $\tau$ 이내인 동적 집합 $E_k$를 선택한다:
  $$E_k = \{e_j \mid H_j - H_1 < \tau\}$$
  이는 최적의 전문가만큼 확신을 갖는 전문가들은 포함하되, 명백히 불일치하는 전문가는 제외하도록 보장한다.
• 역 엔트로피 가중치(Inverse-Entropy Weighting): 선택된 전문가들은 소프트맥스 대신 역 엔트로피($w_e \propto 1/\exp(H(p_e))$)를 사용하여 가중치가 부여되며, 이는 상대적인 신뢰도 차이를 더 잘 포착한다.

B. 전문가 베이지안 적응 (Expert Bayesian Adaptation, EBA)

전문가가 라우팅되면, MoBE는 백본이나 전문가 가중치를 업데이트하지 않고 온라인으로 예측을 적응시킨다. 선택된 각 전문가는 테스트 스트림 전반에 걸쳐 지수 이동 평균(EMA)을 통해 업데이트되는 두 개의 지속적인 메모리 변수를 유지한다:

1. 클래스 프로토입($\mu_{e,c}$): 사전 학습된 텍스트 임베딩으로부터 초기화된 클래스 특징의 이동 대표값.
2. 클래스 사전 확률($\Pi_e$): 특정 클래스를 예측하는 전문가의 역사적 경향을 포착하는 분포.

신뢰도 게이트 업데이트(Confidence-Gated Updates):

• 프로토타입 업데이트: 사후 신뢰도가 임계값 $\theta_1$을 초과할 때 트리거된다. 예측된 클래스의 프로토타입은 현재 입력 특징과 평균을 내어 업데이트된다.
• 사전 확률 업데이트: 더 높은 신뢰도 임계값 $\theta_2$에서 트리거된다. 클래스 사전 확률은 현재의 사후 확률을 사용하여 업데이트된다.
• 최종 예측: 시스템은 엔트로피로 라우팅된 로짓과 베이지안 적응된 로짓을 혼합($s_{final} = (1-\lambda)s + \lambda s_{EBA}$)하여, 모델이 사전 학습된 의미 구조를 보존하면서 타겟 분포에 정렬될 수 있도록 한다.

3. 주요 기여

1. 딜레마 식별: 본 논문은 의료 VLM의 테스트 타임 모달리티 적응을 저해하는 "특화-일반화 딜레마"를 밝혀냈다. 여기서 정적 융합이나 단일 전문가 의존은 분포 변화 하에서 실패한다.
2. MoBE 프레임워크: 온라인 신뢰도 업데이트와 프로토타입 정렬을 가능하게 하며, 역전파 없이 동작하는 완전 최적화 프리 추론 프레임워크인 동적 전문가 라우팅과 개별 전문가 베이지안 적응을 결합한 MoBE를 도입했다.
3. 실증적 검증: 표준(MedMNIST, Med-VTAB) 및 이질적 의료 벤치마크 전반에서 일관된 최첨단(SOTA) 성능 향상을 입증함으로써, 학습 없는 전문가 특화가 강력한 모달리티 일반화를 가능하게 함을 증명했다.

4. 실험 결과

저자들은 9가지 영상 모달리티(X-ray, CT, MRI, Ultrasound, Pathology 등)에 걸친 11개 데이터셋에 대해 MoBE를 SOTA TTA 방법들(TENT, EATA, TPT, TDA, MoME) 및 프롬프트 학습 베이스라인(CoOp, CoCoOp)과 비교 평가하였다.

• 학습된 모달리티(Seen Modalities): 결합된 MedMNIST+Med-VTAB 벤치마크에서 MoBE는 평균 정확도 **43.41%**를 달성하여, 베이스라인인 BiomedCLIP(33.00%)과 최적화 기반인 MoME(38.69%)를 능가했다. BreastMNIST에서 주목할 만한 성능 향상이 관찰되었다(73.08%).
• 학습되지 않은 모달리티(Unseen Modalities): 테스트 모달리티가 전문가 사전 학습 중에 보이지 않았던 시나리오에서, MoBE는 BiomedCLIP(20.49%)과 MoME(30.99%)에 비해 평균 정확도를 **38.16%**로 크게 향상시켰다.
• 이질적 벤치마크(Heterogeneous Benchmarks): 10개의 장기와 9개의 모달리티를 아우르는 11개 데이터셋 세트에서, MoBE는 TDA(42.19%)를 넘어 가장 높은 평균 정확도(46.49%)를 달성했다.
• 효율성: 역전파를 요구하는 최적화 기반 방법(예: MoME)과 달리, MoBE는 추론 전용이다. 여러 전문가의 순방향 패스(forward pass)로 인해 단일 동결 모델보다는 계산 비용이 높지만, 경사 기반 적응(예: 동일 데이터셋에 대해 MoME는 약 13분 소요)의 무거운 오버헤드를 피하면서도 더 높은 정확도를 달성한다(MoBE는 약 11분 소요).

5. 의의 및 주장

본 논문은 MoBE가 재학습이나 소스 데이터 접근 없이도 분포 변화에 적응할 수 있게 함으로써 임상 배포 시의 신뢰성 격차를 효과적으로 해결한다고 주장한다. 전문가 라우팅과 베이지안 적응의 관점에서 문제를 구성함으로써, 저자들은 다음을 입증했다:

• 학습 없는 적응의 생존 가능성: 역전파가 불가능한 환경에서도 적절한 일반화를 달 수 있는 강력한 적응이 가능하다.
• 동적 라우팅의 우월성: 엔트로피 가이드 방식의 동적-k 선택은 고정된 top-k 선택 및 균등 융합보다 우수하며, 특화와 일반화 사이의 트레이드오프를 효과적으로 조절한다.
• 온라인 통계의 중요성: 클래스 프로토타입과 사전 확률을 유지하고 업데이트하는 것은 전문가가 진화하는 테스트 분포에 적응하도록 하여, 중심점 불일치(centroid misalignment)와 사전 확률 변화를 교정한다.

저자들은 여러 전문가의 순방향 패스가 필요하기 때문에 MoBE가 단일 동결 모델보다 추론 지연 시간이 길다는 점을 인정한다. 그들은 향후 연구가 조기 종료(early-exit) 라우팅, 가지치기(pruning) 또는 증류(distillation)를 통해 이러한 오버헤드를 줄이고, 가용한 전문가 뱅크가 테스트 분포를 완전히 커버하지 못할 때의 강건성을 개선하는 데 집중해야 한다고 제안한다.