기술 요약: 전문가 혼합 모델 (MoE) 을 밀집 언어 모델로 가지치기 및 증류

문제 제기

전문가 혼합 (MoE) 아키텍처는 총 파라미터 수를 확장하면서도 학습 및 서비스 효율성을 유지할 수 있는 능력 덕분에 최첨단 대규모 언어 모델 (LLM) 의 주류 패러다임이 되었습니다. 그러나 근본적인 한계가 존재합니다: 토큰당 파라미터의 일부만 활성화되더라도 MoE 모델은 모든 전문가 파라미터를 메모리에 로드해야 합니다. 이 메모리 사용량은 온디바이스 추론이나 단일 GPU 서비스와 같은 메모리 제약이 있는 배포 시나리오에는 적합하지 않게 만듭니다.

현재의 해결책은 처음부터 학습된 별도의 작은 밀집 모델을 공개하거나, 큰 밀집 교사 모델을 계단식 가지치기하여 학습하는 것입니다. 이러한 접근 방식은 계산 비용이 많이 들며, 이미 학습된 MoE 모델에 내재된 풍부한 역량을 활용하지 못합니다. 기존 MoE 압축 방법 (예: MC-SMoE, HC-SMoE) 은 전문가 수를 줄이지만 희소 MoE 구조를 유지하여 메모리 비효율성을 그대로 남깁니다. 학습된 MoE 모델을 표준 완전 밀집 아키텍처로 변환하는 체계적인 프레임워크는 부재합니다.

방법론

저자들은 학습된 MoE 언어 모델을 완전 밀집 아키텍처로 변환하는 첫 번째 체계적인 프레임워크를 제시하며, 이는 전문가 점수 매기기 및 선택, 그룹화 및 연결, 지식 증류라는 3 단계 파이프라인을 통해 이루어집니다.

1. 전문가 점수 매기기 및 선택

이 방법의 핵심은 레이어의 모든 $E$개 전문가를 점수 매겨 $K$개의 하위 집합 ($K \ge k$, 여기서 $k$는 토큰당 활성화되는 전문가 수) 을 선택하는 것입니다. 논문은 7 가지 점수 매기기 방법을 평가합니다:

• 빈도 기반: 선택 빈도 (SF), 사전 선택 확률 (PP), 사후 선택 확률 (PS). 이는 일반 전문가를 선호합니다.
• 조건부 확률 (CP): 라우팅 신뢰도에 초점을 맞추어 전문 전문가를 선호합니다.
• 활성화 가중 CP (ACP): 라우팅 신뢰도와 출력 크기를 결합합니다.
• D-최적 선택 (DO): 전문가의 중요성과 상호 다양성을 동시에 최대화하는 새로운 기준입니다. 이는 중요도 가중 Gram 행렬의 로그-결정자를 최대화하는 하위 집합 $S$를 선택합니다:
  $$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$$
  여기서 $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$입니다. 이는 탐욕적으로 해결됩니다. 저자들은 ACP 점수에 기반한 D-최적 선택인 DO-ACP를 최적 전략으로 제안합니다.

2. 그룹화 및 연결

선택된 전문가들은 $k$개의 그룹에 할당됩니다.

• 순수 가지치기 ($K=k$): 각 그룹은 정확히 하나의 전문가를 포함하며, 가중치 평균화는 발생하지 않습니다.
• 병합 ($K>k$): 그룹 내 전문가들은 매개변수의 점수 가중 평균을 통해 병합됩니다.
  생성된 $k$개의 그룹은 중간 차원 $d_{dense} = k \times d_{expert}$를 갖는 단일 밀집 순방향 네트워크 (FFN) 로 연결됩니다. 하향 투영 행렬은 원래 MoE 의 평균 라우팅 행동을 근사하기 위해 $\alpha_g$ (균일 또는 비례) 인자로 스케일링됩니다.

3. 지식 증류

초기화된 밀집 모델은 MoE 교사로부터의 지식 증류를 통해 정제됩니다. 목적 함수는 교사와 학생 출력 분포 간의 순방향 KL 발산을 최소화합니다. 저자들은 또한 증류 과정에서 교사의 라우팅을 확장 (비선택된 전문가의 지식을 학생에게 노출시키기 위해 $k' > k$개의 전문가 활성화) 하는 것도 탐구합니다.

주요 기여

1. 최초의 MoE-to-Dense 프레임워크: 이 논문은 더 작은 희소 MoE 모델을 생성하는 한계를 넘어, 학습된 MoE를 완전 밀집 아키텍처로 변환하는 최초의 엔드-투-엔드 시스템을 소개합니다.
2. 다양성 인식 전문가 선택: 저자들은 중요도 가중 Gram 행렬의 로그-결정자를 최대화하는 D-최적 선택 기준 (DO-ACP) 을 도입합니다. 이 방법은 중복성을 명시적으로 패널티로 부과하여 중요하면서도 다양한 전문가를 선택합니다.
3. 종합적 평가: 이 연구는 Qwen3-30B-A3B 에서 350 가지 구성 (7 가지 점수 매기기 $\times$ 5 가지 그룹화 $\times$ 2 가지 스케일링 $\times$ $K$의 5 가지 값) 을 평가하고, DeepSeek-V2-Lite 와 GPT-OSS-20B 에서 결과를 검증했습니다.

결과

Qwen3-30B-A3B 의 성능

• 점수 매기기 방법의 우위: 점수 매기기 방법의 선택이 가장 영향력 있는 요인이며, 최상위 및 최하위 방법 간 평균 하류 정확도에서 5.7 퍼센트 포인트 (pp) 의 격차를 만듭니다. 그룹화 전략은 약 1 pp 만 기여합니다.
• DO-ACP 의 우월성: DO-ACP 방법은 모든 다른 구성보다 일관되게 우수합니다. $K=8$(순수 가지치기) 에서 Winogrande, HellaSwag, ARC-E/C, MMLU 하류 벤치마크에서 **43.41%**의 평균 정확도를 달성합니다.
• 순수 가지치기 vs 병합: 다양성 인식 점수 매기기 (DO-ACP, ACP) 의 경우, 순수 가지치기 ($K=k$) 가 병합 ($K>k$) 보다 우수합니다. 빈도 기반 방법 (SF) 은 병합의 혜택을 받지만, DO-ACP 전문가들은 개별적으로 충분히 강력하여 단독으로 작동할 수 있습니다.
• 베이스라인 비교:
  • MoE 압축 대비: 재사용된 MoE 압축 지표 (예: MC-SMoE, HC-SMoE) 보다 5.9–7.1 pp 더 우수합니다.
  • 밀집-to-밀집 (D2D) 가지치기 대비: 매칭된 파라미터의 밀집 교사 (Qwen3-32B $\to$ 3.4B 학생) 와의 통제된 비교에서, MoE-to-dense (DO-ACP) 는 약 4B 토큰 증류 후 D2D 가지치기보다 +6.3 pp 더 우수합니다 (58.10% 대 51.84%).
  • 무작위 초기화 대비: 무작위 FFN 초기화보다 +12.7 pp 더 우수하여, 전문가 구조가 강력한 초기화를 제공함을 보여줍니다.

확장 학습 및 교차 모델 검증

• 확장: DO-ACP 의 성능 우위는 확장된 학습 (~4B 토큰) 과 함께 지속되며 확대됩니다.
• 일반화: 이 결과는 DeepSeek-V2-Lite(64 개 전문가) 및 GPT-OSS-20B(32 개 전문가) 로 일반화됩니다. 전문가 풀 크기가 감소함에 따라 점수 매기기 방법 간의 절대적 격차는 좁아지지만, DO-ACP 는 여전히 최상위 성능을 유지합니다.
• 효율성: MoE-to-dense 증류는 증류 단계에서 MoE 교사가 토큰당 더 적은 파라미터를 활성화하기 때문에, D2D 가지치기보다 월클럭 시간 기준으로 1.6$\times$ 더 빠릅니다.

정성적 분석

MMLU 체인 오브 씽킹 (chain-of-thought) 작업에 대한 오류 분석은 DO-ACP 모델이 D2D 및 빈도 기반 방법보다 비일관성, 반복 루프와 같은 치명적 실패 및 지식 오류의 비율이 가장 낮음을 보여줍니다. 다양성 인식 선택은 인문학과 사회과학 분야에서 특히 사실 및 문화적 지식을 더 효과적으로 보존하는 것으로 나타납니다.

의의 및 주장

이 논문은 메모리 제약 환경에서 MoE 역량을 배포하기 위한 간단하고 효과적인 레시피를 제공한다고 주장합니다: DO-ACP 로 점수 매기기, 레이어당 상위-$k$개 전문가만 유지 (순수 가지치기), 그리고 순방향 KL 로 증류.

저자들은 이 접근 방식이 MoE 의 "메모리 비효율성"을 MoE 의 전문화된 전문가 구조에서 비롯된 성능 향상을 희생하지 않고 "밀집 효율성"으로 전환한다고 강조합니다. 그들은 MoE 모델이 매칭된 파라미터 수의 밀집 교사보다 증류를 위한 더 강력한 출발점을 제공한다고 주장하며, 처음부터 밀집 모델을 학습하거나 밀집 교사를 가지치기할 필요성에 의문을 제기합니다. 이 연구는 빈도나 크기뿐만 아니라 전문가 다양성이 MoE 모델을 밀집 아키텍처로 압축하는 데 있어 결정적인 요소임을 확립합니다.