Do Domain-specific Experts exist in MoE-based LLMs?

논문 요약: MoE 기반 LLM 내 도메인 특화 전문가의 존재와 DSMoE 프레임워크

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 확장성 향상을 위해 '전문가 혼합 (Mixture of Experts, MoE)' 아키텍처가 널리 사용되고 있습니다. MoE 는 계산 효율성을 유지하면서 모델 용량을 극대화할 수 있게 해줍니다. 기존 연구들은 MoE 내의 '전문가 (Expert)'들이 어떻게 특화되는지 개선하는 데 초점을 맞추어 왔으나, 다음과 같은 근본적인 질문은 여전히 해결되지 않았습니다.

• 핵심 질문: MoE 기반 LLM 내부에 실제로 특정 도메인 (예: 수학, 생물학 등) 에 특화된 '도메인 특화 전문가 (Domain-specific Experts)'가 존재하는가?
• 현재의 한계: 이러한 특화 현상의 본질과 이를 체계적으로 해석하는 방법이 부재하며, 기존 모델의 성능을 도메인별로 최적화하기 위해서는 추가적인 파인튜닝 (Fine-tuning) 이나 추론 비용 증가가 필요했습니다.

2. 방법론 (Methodology)

저자들은 MoE 아키텍처 내의 도메인 특화 전문가를 식별하고 이를 활용하는 새로운 프레임워크인 DSMoE (Domain Steering Mixture of Experts) 를 제안했습니다.

• 가설: MoE 모델 내에는 특정 도메인에서 자주 활성화되며, 해당 도메인의 토큰을 처리할 때 일반 토큰보다 강한 선호도를 보이는 전문가들이 존재한다.
• 핵심 단계:
  1. 도메인 특화 토큰 식별 (Domain-specific Token Identification):
     • 토큰 제거 시 작업 성능 (손실 함수) 이 유의미하게 저하되는 토큰을 '도메인 특화 토큰'으로 정의합니다.
     • 계산 비용 절감을 위해 Leave-One-Out 방식을 대신하여, 임베딩과 손실 함수의 기울기 (Gradient) 곱의 L2 노름을 기반으로 토큰 중요도 점수를 산출합니다.
  2. 도메인 특화 전문가 식별 (Domain-specific Expert Identification):
     • 각 전문가의 '도메인 특화 점수'를 계산합니다. 이는 해당 도메인에서의 활성화 빈도 ($P(e_j|D)$) 와 도메인 특화 토큰 처리 선호도 ($P(s \in S|e_j) - P(s \in C|e_j)$) 의 곱으로 정의됩니다.
     • 점수가 높은 상위 K 개의 전문가를 도메인 특화 전문가 ($E^*$) 로 선정합니다.
  3. DSMoE (Domain Steering Mixture of Experts) 프레임워크:
     • 학습 불필요 (Training-free): 모델 재학습 없이 추론 단계에서 적용됩니다.
     • 라우팅 조정: 입력 토큰에 대해 라우터가 할당하는 원래 가중치 ($w_j$) 를 도메인 특화 전문가 ($e_j \in E^*$) 인 경우에만 조정 계수 $\alpha$를 곱하여 증폭시킵니다 ($\tilde{w}_j = \alpha \cdot w_j$).
     • 비용: 추가적인 추론 비용이 발생하지 않으며, 라우팅 가중치는 한 번 계산하여 재사용할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 도메인 특화 전문가의 존재 증명: 38 억 (3.8B) 에서 1,200 억 (120B) 파라미터까지 다양한 규모의 10 가지 MoE 기반 LLM 을 평가하여, 수학 등 특정 도메인에 특화된 전문가가 실제로 존재한다는 실증적 증거를 제시했습니다.
2. DSMoE 프레임워크 제안: 추가 학습 비용이나 추론 오버헤드 없이 모델 성능을 극대화하는 새로운 '학습 불필요 (Training-free)' 접근법을 제안했습니다.
3. 강력한 일반화 및 성능 향상: 타겟 도메인뿐만 아니라 비타겟 도메인에서도 Supervised Fine-Tuning (SFT) 및 기존 최첨단 기법 (RICE 등) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MMLU-Pro, GPQA-Diamond, AIME 등 4 가지 주요 벤치마크에서 4 가지 최신 오픈소스 MoE 모델 (GPT-OSS, Qwen3MoE 등) 을 평가했습니다.

• 도메인 특화 전문가 검증: 10 개 모델 모두에서 수학 도메인에 특화된 전문가가 존재함이 확인되었으며, 단일 전문가를 조향 (Steering) 하는 것만으로도 성능이 3%~45% 까지 향상되었습니다.
• 타겟 도메인 성능 (MMLU-Pro):
  • DSMoE 는 기존 MoE 베이스라인과 RICE, SFT(LoRA 기반) 를 모두 능가했습니다.
  • 특히 GPT-OSS-120B 모델에서 화학 (Chemistry) 도메인 기준 기존 모델 대비 29.1%p의 절대적 성능 향상을 기록했습니다.
  • SFT 는 모델 파라미터의 약 2.7% 를 재학습하는 반면, DSMoE 는 파라미터 변경 없이 더 높은 성능을 달성했습니다.
• 비타겟 도메인 일반화 (GPQA, AIME):
  • MMLU-Pro 에서 식별된 전문가를 다른 벤치마크 (GPQA Diamond, AIME 2024/2025) 에 적용했을 때도 일관된 성능 향상이 관찰되었습니다.
  • AIME 2024 에서 GPT-OSS-20B 모델은 기존 대비 27.3%p의 향상을 보였습니다.
• 효율성:
  • 학습 비용: 0 (Training-free).
  • 추론 비용: 기존 MoE 모델과 동일하며, RICE 와 같은 기존 조향 기법보다 계산 오버헤드가 훨씬 낮습니다.
  • Ablation Study: 도메인 특화 전문가 수 ($K$) 는 전체 전문가의 약 1% 수준, 조정 계수 ($\alpha$) 는 5.0 일 때 최적의 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 (Interpretability): MoE 모델이 단순히 블랙박스처럼 작동하는 것이 아니라, 내부적으로 명확한 도메인 특화 구조를 가지고 있음을 규명하여 모델 해석 가능성에 중요한 통찰을 제공했습니다.
• 효율적인 도메인 적응: 고비용의 파인튜닝 (SFT) 없이도, 모델의 내재된 특성을 활용하여 특정 도메인에서 최첨단 성능을 달성할 수 있음을 증명했습니다. 이는 리소스가 제한된 환경이나 실시간 적용이 필요한 시나리오에서 매우 중요한 의미를 가집니다.
• 미래 방향: 이 연구는 MoE 아키텍처의 잠재력을 재발견하게 했으며, 향후 초대규모 모델 (400B+ 파라미터) 및 복잡한 추론 모델 (Large Reasoning Models) 로의 확장 가능성을 제시합니다.

이 논문은 MoE 기반 LLM 의 구조적 특성을 이해하고, 이를 활용하여 추가 비용 없이 모델 성능을 극대화할 수 있는 실용적인 방법론을 제시했다는 점에서 의의가 큽니다.