MoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image Classification

기술 요약: MoPET – 통합 의료 영상 분류를 위한 파라미터 효율적 전문가 혼합 모델 (Mixture-of-Experts)

문제 정의

임상 데이터의 심대한 해부학적 및 모달리티 이질성에 맞춰 딥러닝 파운데이션 모델을 적응시키는 것은 구조적 딜레마를 야기한다. 일반론적인 파운데이션 모델(예: CLIP, DINOv3)은 강력한 시각적 표현력을 제공하지만, 전체 엔드 투 엔드(end-to-end) 미세 조정(fine-tuning)은 계산 비용이 매우 높으며 데이터가 제한적인 의료 시나리오에서 심각한 과적합(overfitting)을 초래하기 쉽다. 반대로, 저차원 적응(Low-Rank Adaptation, LoRA)과 같은 파라미터 효율적 미세 조정(PEFT) 기법은 백본 가중치를 동결하고 주입된 저차원 행렬만을 업데이트함으로써 과적합을 효과적으로 완화한다. 그러나 표준적인 PEFT 방식은 모든 특정 진단 작업이나 모달리티마다 별도의 고립된 어댑터를 학습시켜야 하는 요구사항을 가진다. 이러한 파편화된 접근 방식은 자원이 제한된 임상 환경에서의 배포를 복잡하게 만든다.

또한, 이러한 고립된 어댑터들을 하나의 "범용적(generalist)" 네트워크로 통합하는 과정은 **부정적 전이(negative transfer)**의 위험을 수반한다. 서로 충돌하는 시각적 도메인(예: 고주파 조직 병리 텍스처와 저주파 초음파 패턴)으로부터 발생하는 최적화 그래디언트가 공유된 파라미터 공간 내에서 간섭할 때, 모델 성능은 저하된다. 기존의 전문가 혼합(Mixture-of-Experts, MoE) 프레임워크는 종종 사전 정의된 모달리티 레이블이나 동질적인 전문가 풀(pool)에 의존하며, 이는 통합된 의료 영상 분류에 필요한 정교하고 데이터 중심적인 특수화를 포착하지 못할 수 있다.

방법론: MoPET

저자들은 학습된 희소 라우터(sparse router)와 이질적인 저차원 PEFT 전문가 풀을 결합하여, 서로 다른 의료 영상 분류 작업들을 단일 모델로 통합하는 프레임워크인 MoPET(Mixture of Parameter-Efficient Fine-Tuned Experts)을 제안한다.

핵심 아키텍처

MoPET은 다음과 같은 구성 요소를 사용하여 MoE 패러다임을 PEFT와 통합한다:

1. 동결된 백본(Frozen Backbone): 범용적 표현력을 보존하기 위해 사전 학습된 파운데이션 모델(특히 DINOv3 Base)을 동결 상태로 유지한다.
2. 이질적 전문가 풀(Heterogeneous Expert Pool): 단일 어댑터 유형 대신, MoPET은 셀프 어텐션 블록의 쿼리(query), 키(key), 값(value) 투영 레이어에 $K=32$개의 학습 가능한 전문가를 주입한다. 이 풀은 하이브리드 형태로 구성된다:
   • 20개의 LoRA 전문가: 저차원 적응 모듈 ($r=8, \alpha=8$).
   • 12개의 BOFT 전문가: 버터플라이 직교 미세 조정(Butterfly Orthogonal Fine-Tuning) 모듈 (블록 크기 8, 버터플라이 팩터 1).
   • 공유 경로(Shared Path): 원래의 동결된 가중치 행렬이 "항상 켜져 있는" 공유 경로 역할을 한다.
3. 특징 인지형 희소 라우팅(Feature-Aware Sparse Routing): 학습 가능한 게이팅 네트워크($R$)가 각 입력 토큰에 대한 라우팅 점수를 계산한다. Top-K 연산을 통해 현재 입력에 대해 가장 관련성이 높은 $k=12$개의 전문가를 선택한다. 최종 표현 $z$는 다음과 같이 계산된다:
   $$z = Wx + \sum_{i=1}^{K} \text{softmax}(\text{TopK}(R(x), k))_i e_i(x)$$
   이 메커니즘은 다양한 해부학적 입력을 특화된 저차원 경로로 동적으로 라우팅하여, 경쟁하는 그래디언트 업데이트를 격리함으로써 부정적 전이를 방정한다.
4. 부하 분산(Load Balancing): 라우터가 대부분의 전문가를 무시하는 "전문가 붕괴(expert collapse)" 현상을 방로하기 위해, 토큰이 전문가 풀에 균등하게 분포되도록 유도하는 미분 가능한 부하 분산 손실($L_{load}$)을 최소화한다.
5. 동적 다중 도메인 샘플링(Dynamic Multi-Domain Sampling): 데이터셋 간의 극심한 볼륨 차이(예: 546개 이미지 대 165,000개 이미지)를 해결하기 위해, 동적 슬라이딩 윈도우 프로토콜을 사용하여 모든 에포크(epoch)에서 가장 작은 도메인의 균형 잡힌 배치 크기($d_{min}$)를 처리함으로써 큰 데이터셋이 그래디언트 업데이트를 지배하는 것을 방지한다.
6. 태스크별 헤드(Task-Specific Heads): 데이터셋들이 서로 다른 레이블 공간을 가지므로, $D$개의 독립적인 선형 분류 헤드가 백본에 부착된다. 데이터셋 라우터는 도메인 식별자를 명시적으로 사용하여 공유된 터미널 표현을 해당 시맨틱 공간으로 매핑한다.

주요 기여

1. 전체 미세 조정 대비 PEFT의 유효성 검증: 저자들은 12개의 서로 다른 의료 데이터셋을 통해 파라미터 효율적 방법(특히 LoRA 및 BOFT)이 전체 엔드 투 엔드 네트워크 업데이트보다 성능이 우수함을 입증하였으며, 평균 정확도를 86.50%에서 88.97%로 향상시켰다. 이는 저차원 어댑터로부터 통합된 아키텍처를 구축하는 설계 선택을 정당화한다.
2. 통합 MoPET 프레임워크: MoPET은 네 가지 이질적인 데이터셋(혈액, 유방, 피부, 병리)을 단일 네트워크로 통합한다. MoPET은 이 도메인들에 대해 개별적으로 학습된 최상의 격리된 PEFT 어댑터보다 뛰어난 성능을 보이며, 최강의 격리된 어댑터가 기록한 92.83% 대비 **93.46%**의 평균 정확도를 달성했다.
3. 교차 도메인 특징 공유 (보조 부스팅): 본 논문은 보조 데이터셋과의 공동 학습이 데이터가 제한된 타겟 모델의 성능을 높이는 새로운 학습 역학을 보여준다. 보조 풀과의 공동 학습은 평균 타겟 정확도를 81.58%(최강의 격리된 어댑터)에서 **83.58%**로 향상시켰으며, 가장 유의미한 이득은 가장 작은 데이터셋(유방 및 망막)에서 관찰되었다.

실험 결과

• 벤치마크: 실험은 8가지 영상 모달리티(현미경, 초음파, X-ray, 더모스코피, OCT, CT 등)에 걸친 MedMNIST+ 컬렉션의 12개 데이터셋을 대상으로 수행되었다.
• 백본 비교: 통계적 분석(Friedman test) 결과, PEFT 설정 하에서 파운데이션 모델(CLIP, DINO, DINOv3) 간에 유의미한 차이가 없었으며, 이는 미세 조정 방법이 백본의 선택보다 성능에 더 큰 영향을 미친다는 것을 시사한다.
• MoPET 성능:
  • 4개 데이터셋 서브셋에 대해, MoPET은 4개 작업 중 3개에서 최상의 개별 데이터셋 어댑터와 대등하거나 이를 능가하는 성능을 보였다.
  • "부스터(booster)" 구성에서, MoPET은 보조 데이터를 활용하여 세 가지 서로 다른 임상 도메인(유방, 망막, 피부)의 성능을 높였으며, 이는 공유된 시맨틱 추론이 부정적 전이 없이 데이터가 부족한 타겟에 도움을 줄 수 있음을 증명한다.
• 효율성: MoPET은 7.4M 파라미터를 학습한다(86M 백본의 약 8.7%). 단일 격리된 LoRA 어댑터는 더 가볍지만(~0.3M), MoPET은 작업별 어댑터 컬렉션과 "모델 주(model zoo)"를 관리해야 하는 필요성을 대체하여 통합된 솔루션을 제공한다.

의의 및 주장

본 논문은 MoPET이 PEFT의 계산 효율성과 여러 격리된 모델을 관리해야 하는 배포 복잡성 사이의 트레이드오프를 성공적으로 해결했다고 주장한다. 데이터로부터 직접 전문가 할당을 학습함으로써, MoPET은 사전 정의된 모달리티 레이블에 의존하지 않고도 도메인 특화 적응과 공유된 시맨틱 추론이 동일한 파라미터를 두고 경쟁하지 않으면서 공존할 수 있게 한다.

저자들은 현재 설정이 보조 부스팅을 위해 선택된 데이터셋 서브셋을 사용하고 있다는 점을 언급하며, 단순한 데이터 추가 효과와 시맨틱 기반 전이를 완전히 분리하기 위해서는 조합에 대한 체계적인 탐색이 필요할 것이라고 겸허히 밝히고 있다. 또한, 학습된 라우팅 패턴(예: 전문가가 모달리티 또는 해부학에 따라 엄격하게 특화되는지 여부) 역시 명시적인 검증이 남아 있다. 그럼에도 불구하고, 본 연구는 단일 통합 모델이 심대한 해부학적 이질성을 가로질러 효과적으로 추론할 수 있음을 보여주며, 범용 의료 AI 배포를 향한 확장 가능한 경로를 제시한다.