기술 요약: 제로 전문가 자기 증류 적응 (ZEDA)

1. 문제 제기

혼합 전문가 (MoE) 아키텍처는 토큰당 계산을 제한하면서 용량을 늘려 대규모 언어 모델 (LLM) 을 확장하는 표준이 되었습니다. 동적 MoE 변형은 입력 난이도에 따라 활성화된 전문가 수를 조정하여 추가적인 효율성을 제공하지만, 기존 방법들은 일반적으로 처음부터 사전 학습하거나 작업별 적응을 필요로 합니다. 따라서 완전히 사후 학습된 정적 MoE 모델(광범위한 사전 학습, 지도 미세 조정 (SFT), 그리고 강화 학습 (RL) 을 거친 모델) 을 효율적인 동적 대응 모델로 실용적으로 변환하는 작업은 아직 충분히 탐구되지 않았습니다. 이러한 성숙한 모델에 기존 동적 라우팅 방법을 직접 적용하면, 전체 학습 파이프라인 동안 정밀하게 보정된 라우팅 분포와 역량이 교란될 위험이 있습니다. 핵심적인 과제는 확립된 성능을 희생하거나 과도한 적응 비용을 치르지 않으면서 "쉬운" 토큰에 대해 불필요한 전문가를 건너뛰는 동적 MoE 로 사후 학습된 정적 MoE 를 이전하는 것입니다.

2. 방법론: ZEDA

이 논문은 사후 학습된 정적 MoE 모델을 동적 모델로 변환하는 저비용 프레임워크인 **제로 전문가 자기 증류 적응 (ZEDA)**을 소개합니다. 이 방법은 세 가지 주요 구성 요소로 이루어집니다:

2.1 제로 전문가 주입

ZEDA 는 기존 전문가 풀에 매개변수가 없는 제로 전문가($Z = \{Z_1, ..., Z_{N_Z}\}$)를 주입하여 정적 MoE 를 아키텍처적으로 동적 모델로 변환합니다.

• 메커니즘: 이러한 제로 전문가는 임의의 입력 은닉 상태 $h$에 대해 동일하게 0 을 출력합니다 ($Z_j(h) = 0$).
• 라우팅: 라우터는 확장된 $N + N_Z$개의 전문가 풀에서 상위 $K$개 부분집합을 선택합니다. 만약 제로 전문가가 선택되면, 계산에 기여하지 않으므로 해당 토큰에 대해 활성화된 일반 전문가의 수가 효과적으로 감소합니다.
• 초기화: 일반 전문가에 대한 원래 라우터 매개변수는 보존됩니다. 제로 전문가에 대한 새로운 라우터 매개변수는 라우터 로짓의 규모를 유지하기 위해 원래 매개변수의 평균과 분산과 일치하는 가우시안 분포에서 초기화됩니다.

2.2 2 단계 자기 증류

처음부터 재학습 없이 증강된 모델을 적응시키기 위해 ZEDA 는 원래 사후 학습된 MoE 를 동결된 교사로 사용하는 2 단계 자기 증류 과정을 채택합니다:

1. 지도 미세 조정 (SFT): 학생 모델은 교사로부터 샘플링된 응답으로 학습됩니다. 손실 함수는 표준 교차 엔트로피와 그룹 보조 손실 (Group Auxiliary Loss) 을 결합합니다.
2. 온-정책 증류 (OPD): 학생이 자체 궤적을 생성하면 교사가 이를 평가하여 토큰 수준의 목표를 제공합니다. 목적 함수는 학생의 온-정책 분포와 교사의 분포 사이의 역 KL 발산을 최소화합니다.

2.3 그룹 보조 손실 ($L_{GA}$)

모든 전문가에 걸쳐 균일성을 강제하는 표준 부하 균형 손실은 일반 전문가 간의 학습된 비균일 라우팅 패턴을 교란할 수 있으므로 사후 학습된 MoE 에는 적합하지 않습니다. ZEDA 는 개별 전문가 수준이 아닌 그룹 수준에서 활성화를 균형 잡는 그룹 보조 손실을 도입합니다:

• 그룹: 일반 전문가들은 그룹 $\mathcal{E}$를 형성하고, 제로 전문가들은 그룹 $\mathcal{Z}$를 형성합니다.
• 목적: 이 손실은 가중치 매개변수 $w$로 제어되는 두 그룹 간의 상대적 활성화 빈도를 규제합니다. 이는 일반 전문가 그룹 내의 라우팅 분포를 평탄하게 만들지 않으면서, 활성화된 일반 전문가와 제로 전문가의 비율이 목표 비율 ($N : N_Z \cdot w$) 로 수렴하도록 장려합니다.
• 결과: 이를 통해 모델은 원래 모델의 내부 라우팅 로직을 보존하면서 언제 계산을 건너뛸지 (제로 전문가 선택) 학습할 수 있습니다.

3. 주요 기여

1. 사후 학습 적응 프레임워크: ZEDA 는 제로 전문가 주입과 자기 증류를 통해 완전히 사후 학습된 정적 MoE 모델을 동적 모델로 효과적으로 변환하는 첫 번째 방법으로, 비용이 많이 드는 재사전 학습의 필요성을 피합니다.
2. 안정적인 아키텍처 변환: 그룹 보조 손실의 도입은 일반 전문가의 학습된 라우팅 구조를 교란하지 않으면서 제로 전문가 활용을 규제함으로써 변환을 안정화합니다.
3. 효율성 - 성능 트레이드오프: 이 방법은 (Naive Expert Truncation 과 같은) 기존 동적 MoE 베이스라인 및 변형들을 능가하며, 약간의 정확도 손실만으로 계산량을 크게 줄입니다 (전문가 50% 이상 건너뛰기).
4. 활성화 역동에 대한 통찰: 이 논문은 제로 전문가 활성화가 전체 작업 난이도보다는 **교사 - 학생 분포 간격 (logp-diff)**과 모델 불확실성과 상관관계가 있음을 분석하여 보여줍니다. 구조화된 세그먼트 (코드나 수학 표현식 등) 는 자연어 텍스트에 비해 더 높은 제로 전문가 활성화 비율 (적은 계산) 을 가지는 경향이 있습니다.

4. 실험 결과

실험은 수학, 코드, 지시 따르기를 다루는 11 개의 벤치마크에 걸쳐 Qwen3-30B-A3B와 GLM-4.7-Flash에서 수행되었습니다.

• 성능: ZEDA 는 원래 정적 모델과 비교 가능한 성능을 유지하면서 전문가 FLOPs 의 50% 이상을 제거합니다 (Qwen 에서 $r_{ZE} \approx 51.2\%$, GLM 에서 $53.0\%$ 달성).
  • Qwen3-30B-A3B 에서 ZEDA 는 가장 강력한 동적 베이스라인 (AdaMoE) 보다 평균 6.1 점 더 높은 성능을 보입니다.
  • GLM-4.7-Flash 에서는 베이스라인보다 4.0 점 더 높은 성능을 보입니다.
  • 어려운 추론이나 코드 작업에서 무너지는 베이스라인들과 달리, ZEDA 는 모든 도메인에서 일관되게 경쟁력 있는 성능을 유지합니다.
• 효율성: 8 개의 NVIDIA H200 GPU 에서 적응은 프리필 및 디코드 단계 모두에서 약 20% 의 속도 향상 (약 1.20 배의 엔드투엔드 추론 속도 향상) 을 가져옵니다.
• 적응 비용: 전체 적응 과정은 Qwen 의 경우 31 시간 미만, GLM 의 경우 62 시간이 소요되며, 이는 사전 학습이나 전체 사후 학습 비용에 비해 무시할 수 있을 정도입니다.
• 일반화: ZEDA 는 MMLU-Redux 와 GPQA-Diamond 에서 높은 제로 전문가 활용도를 유지하면서 정확도를 보존하는 강력한 분포 외 (OOD) 일반화를 보여줍니다.

5. 중요성 및 주장

이 논문은 ZEDA 가 대규모 MoE 시스템의 배포 효율성을 향상시키기 위한 실용적이고 비용 효율적인 솔루션을 제공한다고 주장합니다. 사후 학습된 모델의 기존 역량을 활용하고 자기 증류를 통해 동적 라우팅을 학습함으로써, ZEDA 는 모델의 확립된 지식이나 추론 능력을 훼손하지 않으면서 "쉬운" 토큰이 불필요한 전문가 계산을 우회할 수 있게 합니다.

저자들은 이 접근법이 이전의 동적 MoE 방법들과 관련된 상당한 아키텍처 수정과 재학습 비용을 피한다고 강조합니다. 결과는 사후 학습된 MoE 모델이 효율적인 동적 아키텍처로 성공적으로 이전될 수 있음을 시사하며, 추론 비용이 주요 제약 조건인 실제 서비스 환경에서 고용량 모델의 실행 가능성을 높입니다. 이 연구는 동적 계산 할당이 단순히 외부 작업 난이도가 아니라 모델의 내부 불확실성과 학생 - 교사 분포 간의 정렬과 본질적으로 연결되어 있음을 강조합니다.