기술 요약: 전문가가 오분류되는 시점은 언제인가? 혼합 전문가 언어 모델에서의 반사실적 라우팅 분석

1. 문제 제기

혼합 전문가 (MoE) 언어 모델은 대규모 풀 ($N$) 중 소수의 전문가 ($k$) 로 각 토큰을 라우팅함으로써 용량을 확장합니다. 라우터는 일반적으로 표준 언어 모델링 손실과 보조 부하 균형 목적 함수를 통해 훈련되지만, 훈련된 상위-$k$ 라우터가 내리는 구체적인 라우팅 결정의 품질은 직접적으로 평가된 적이 거의 없습니다.

이 논문이 다루는 핵심 질문은 다음과 같습니다: 표준 훈련된 라우터가 선택한 경로가 실제로 동결된 모델 내에서 사용 가능한 최선의 경로인가?

이전 연구들은 라우팅이 초기에 안정화되며 하류 성능이 라우팅의 우수성을 위한 충분한 증거라고 가정합니다. 그러나 추론 성공은 종종 소수의 "중요한" 또는 고엔트로피 토큰에 불균형적으로 의존합니다. 저자들은 표준 훈련이 이러한 중요하고 낮은 신뢰도를 가진 토큰에 대한 라우팅을 최적화하지 못할 수 있다고 가정합니다. 왜냐하면 훈련 신호가 대안적인 동등 계산 라우트를 평가하지 않기 때문입니다.

2. 방법론

반사실적 라우팅 분석

저자들은 모델의 가중치를 수정하지 않고 (특정 개입 실험 제외) 라우팅 품질을 평가하기 위한 프로토콜을 제안합니다.

1. 설정: 검증된 정확한 추론 궤적 (예: MATH Level-5, AIME, HMMT 에서 가져옴) 을 사용하여 특정 MoE 계층의 토큰을 분석합니다.
2. 대안 샘플링: 주어진 계층 $\ell$의 토큰 $t$에 대해, 표준 상위-$k$ 경로 ($S^{\text{std}}_{t,\ell}$) 만 관찰하는 대신, 고득점 전문가 풀에서 Gumbel-top-$k$ 샘플링을 사용하여 $G=32$개의 대안 상위-$k$ 경로를 샘플링합니다. 모든 대안은 동일한 계산 비용 (동일한 $k$) 을 가집니다.
3. 점수 매기기: 각 경로 (표준 및 대안) 에 대해, 해당 계층 $\ell$에서 특정 경로가 활성화되도록 모델을 순전파합니다 (나머지 모든 매개변수는 동결). 경로의 유틸리티는 검증된 궤적에서 실현된 다음 토큰에 대해 해당 경로가 부여하는 확률로 점수화됩니다.
4. 층화: 토큰은 샘플링된 대안 경로가 부여한 평균 확률 ($\bar{p}$) 을 기준으로 세 개의 빈으로 그룹화됩니다:
   • 신뢰도 높음 (Confident): $\bar{p} > 0.9$
   • 모호함 (Ambiguous): $0.5 < \bar{p} \le 0.9$
   • 취약함 (Fragile): $\bar{p} \le 0.5$

훈련의 구조적 분석

이 논문은 관찰된 실패를 설명하기 위해 표준 상위-$k$ MoE 훈련에서의 기울기 흐름을 분석합니다. 언어 모델링 손실은 실행된 경로에 대해서만 신호를 제공한다는 것을 보여줍니다. 선택되지 않은 전문가에 대한 기울기는 소멸합니다. 또한, 표준 부하 균형 손실 (예: Switch 스타일) 은 집계 통계 (라우터 점수와 선택 빈도) 에만 의존하며, 어떤 대안 경로가 손실을 최소화할 것인지에 대한 토큰 수준의 반사실적 신호를 제공하지 않습니다.

최소 라우터 업데이트 (전문가 선호도 최적화 - EPO)

라우팅 실패가 동결된 모델 내에서 "달성 가능한" 것인지 테스트하기 위해, 저자들은 최소한의 개입을 수행합니다:

• 동결: 마지막 계층을 제외한 모든 전문가 가중치와 모든 라우터 가중치를 동결합니다.
• 훈련: 마지막 계층 라우터만 **전문가 선호도 최적화 (EPO)**를 사용하여 업데이트합니다.
• 메커니즘: EPO 는 "어려운 토큰" (높은 교차 엔트로피) 을 식별합니다. 대안 경로를 샘플링하여 현재 선택보다 낮은 교차 엔트로피를 산출하는 대안이 있으면, 이를 "선택된" 경로 ($r^+$) 로, 현재 경로를 "거부된" 경로 ($r^-$) 로 간주합니다. 라우터는 $r^+$를 $r^-$보다 선호하도록 DPO 스타일 목적 함수를 통해 업데이트됩니다.
• 평가: 업데이트된 라우터를 테스트 시간 검색 없이 하류 벤치마크 (AIME, HMMT) 에서 테스트합니다.

3. 주요 결과

취약한 토큰에서 라우팅 품질 저하

네 가지 모델 (Qwen3-30B-A3B, GPT-OSS-20B, DeepSeek-V2-Lite, OLMoE-1B-7B) 과 여러 벤치마크에 걸쳐:

• 신뢰도 높은 토큰: 표준 라우터는 유틸리티와 잘 정렬됩니다. 표준 경로는 종종 샘플링된 대안 중 가장 좋으며, 확률 차이는 무시할 만합니다.
• 취약한 토큰: 정렬이 붕괴됩니다.
  • 표준 경로는 Qwen3 의 경우 취약한 토큰의 **0.8%**에서만 샘플링된 대안 중 가장 좋습니다.
  • Qwen3 의 경우 취약한 토큰에서 가장 좋은 샘플링된 동등 계산 경로는 평균적으로 다음 토큰 확률을 20.4 퍼센트 포인트만큼 향상시킵니다.
  • 이 패턴은 계층을 걸쳐 유지됩니다 (비록 깊은 계층에서 격차가 커지지만) 그리고 다른 모델 계열에서도 동일하게 나타납니다.

반사실적 맹점

분석은 표준 훈련이 "반사실적 맹점"을 생성한다는 것을 확인합니다.

• 손실 함수는 실행된 경로만 평가합니다.
• 부하 균형은 집계 다양성을 장려하지만 특정 어려운 토큰에 대해 어떤 특정 대안 경로가 더 나은지 신호를 주지 않습니다.
• 결과적으로 라우터는 신뢰도 높은 토큰에 대해서는 잘 라우팅하도록 학습되지만, 선택이 가장 중요한 어려운 토큰에서는 비최적 경로와 최적 경로를 구분하지 못합니다.

최소 업데이트가 성능을 변화시킴

EPO 실험은 실패가 단순히 전문가 용량의 부족 때문이 아님을 보여줍니다:

• 모델 매개변수의 0.001% 미만 (마지막 계층 라우터만) 을 업데이트하는 것으로 Qwen3-30B-A3B 와 GPT-OSS-20B 모두에서 AIME 2024+2025 및 HMMT 2025 의 pass@K 성능을 변화시키는 데 충분했습니다.
• 개선은 모호한 및 취약한 토큰에 집중되어 있으며, 업데이트된 라우터가 더 나은 경로를 선택하는 반면, 신뢰도 높은 토큰에 대한 성능은 안정적으로 유지됩니다 (비록 쉬운 토큰에 대한 편향이 감소함에 따라 순위 정렬 지표가 약간 변하더라도).

4. 중요성과 주장

이 논문은 라우팅 품질이 희소성의 단순한 구현 세부 사항이 아니라 MoE 훈련에서 1 차적 관심사로 취급되어야 한다고 주장합니다.

• 진단: 표준 라우터는 균일하게 "나쁘지" 않습니다. 신뢰도 높은 토큰에서는 매우 효과적이지만, 어려운 추론을 주도하는 취약한 토큰에서는 체계적으로 정렬되지 않습니다.
• 근본 원인: 이 정렬 불일치는 선택되지 않은 경로에 대한 토큰 수준의 반사실적 신호가 부족한 표준 상위-$k$ 훈련 목적 함수의 구조적 결과입니다.
• 함의: 어려운 토큰에서의 높은 손실은 반드시 전문가의 용량 한계가 아닙니다. 이는 동결된 모델 내에서 달성 가능한 라우팅 실패일 수 있습니다.
• 미래 방향: 저자들은 향후 사전 훈련 목적 함수가 실행된 경로와 함께 샘플링된 대안을 평가하는 등 동등 계산 대안 경로에 대한 토큰 수준 신호를 포함하여 훈련 중 이러한 정렬 불일치를 방지해야 한다고 제안하며, 사후 수정에 의존해서는 안 된다고 말합니다.

저자들은 겸손하게도, 그들의 분석은 실현된 토큰이 올바른 것으로 알려진 검증 - 정확 궤적에서 수행되었으며 계층을 독립적으로 분석했다고 지적합니다. 그러나 다양한 모델과 도메인에 걸쳐 일관된 패턴은 현재 MoE 훈련 패러다임의 근본적인 한계를 시사합니다.