기술 요약: 전문가의 고유벡터는 학습이 필요 없는 비붕괴형 라우터이다

문제 정의

희소 전문가 혼합(Sparse Mixture of Experts, SMoE) 아키텍처는 입력 토큰을 전문화된 일부 전문가에게 라우팅함으로써 대규모 언어 모델(LLM) 및 시각-언어 모델을 확장하는 초석이 되었습니다. 그러나 이러한 모델들은 서로 다른 전문가들이 유사하거나 중복된 출력을 생성하도록 수렴하여 모델의 유효 용량과 성능을 저하시키는 전문가 붕괴(또는 표현 붕괴)라고 불리는 지속적인 문제에 직면해 있습니다.

이전 연구들은 이를 완화하기 위해 라우터(전문가를 선택하는 메커니즘)를 개선하려고 시도해 왔으나, 이러한 접근 방식은 일반적으로 처음부터 다시 학습하거나 미세 조정을 필요로 하며, 이는 높은 계산 비용과 데이터 처리 비용을 발생시킵니다. 또한, 본 연구에서 제시된 경험적 증거는 GPT-OSS, Qwen3, DeepSeek-MoE와 같은 최첨단 시스템을 포함한 잘 사전 학습된 SMoE 모델들조차 다양한 레이어와 모델 규모에 걸쳐 상당한 라우터 붕괴 현상을 보인다는 것을 입증합니다. 이러한 지속성은 기존의 라우터 개선 방식이 불충분하며, 라우팅 메커니즘에 대한 근본적인 재검토가 필요함을 시사합니다.

방법론: 특이값 분해 SMoE (SSMoE)

저자들은 전문가 가중치 행렬 자체의 스펙트럼 특성을 활용하여 학습된 라우터에 대한 의존성을 제거하는 새로운 학습 불필요(training-free) 프레임워크인 SSMoE를 제안합니다.

핵심 통찰

고급 사전 학습된 SMoE 모델들에 대한 분석을 통해, 저자들은 **전문가 가중치 행렬의 고유벡터(eigenvectors)**가 풍부한 의미론적 정보를 인코딩하고 있음을 관찰했습니다. 붕괴될 수 있는 학습된 라우터 임베딩과 달리, 이러한 고유벡터는 자연스럽게 직교성을 유지하며 내재적인 전문가 특성화를 포착합니다.

SSMoE 프레임워크

이 방법은 네 가지 주요 단계로 작동합니다:

1. 고유벡터 추출: 각 전문가 $i$에 대해, 저자들은 전문가의 피드포워드 신경망(FFN) 가중치($FFN_1$ 및 $FFN_2$)로부터 유도된 두 개의 그람 행렬(Gram matrices)을 계산합니다. 그런 다음 이 행렬들의 고유벡터를 추출합니다.
2. 스펙트럼 임베딩 구축: 주어진 전문가에 대해, 전문가의 라우터 임베딩과 가장 유사한 상위-$c$개의 고유벡터를 두 그람 행렬 모두에서 선택합니다. 이들을 평균하여 전문가의 의미론적 특성화를 나타내는 "스펙트럼 임베딩"($C^{(i)}$)을 형성합니다.
3. 라우팅: 모든 전문가의 스펙트럼 임베딩을 결합하여 라우팅 가중치 행렬($W_{EV}$)을 형성합니다. 입력 토큰 $x$는 이 행렬을 통해 투영되어 고유벡터 기반 로짓($f_{EV}(x)$)을 생성합니다.
4. 하이브리드 라우팅: 새로운 스펙트럼 신호와 기존의 문맥 인식 라우터 사이의 균형을 맞추기 위해, SSMoE는 다음과 같은 볼록 결합(convex combination)을 사용합니다:
   $$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$$
   여기서 $s(x)$는 원래의 학습된 라우터 로짓이며, $\alpha \in [0, 1]$은 조절 가능한 균형 계수입니다. 경험적 결과는 $\alpha$ 값이 0.5에서 0.9 사이일 때 최적의 성능을 낸다는 것을 보여줍니다.

이론적 보장

본 논문은 SSMoE 라우터가 쌍별 로짓 상관관계(pairwise logit correlations)를 줄인다는 것을 입증하는 이론적 보조정리를 제공합니다. 구체적으로, 고유벡터 로짓이 학습된 라우터 로짓과 직교한다면, 결합된 라우터의 공분산은 원래의 라우터에 비해 $(1-\alpha)^2$ 배만큼 엄격하게 감소합니다. 이는 SSMoE가 기존 SMoE 라우터에 내재된 붕괴 문제를 완화한다는 것을 수학적으로 증명합니다.

주요 기여

1. 사전 학습된 모델에서의 붕해 식별: 저자들은 10개의 최첨단 MoE 기반 모델(4B에서 120B 파라미터 범위)에 대해 라우터 붕괴가 추론 및 비추론 아키텍처 모두에 영향을 미치는 만연한 문제임을 경험적으로 입증했습니다.
2. 고유벡터의 의미론적 인코딩: 본 연구는 전문가 가중치 행렬의 고유벡터가 풍부한 의미론적 정보를 자연스럽게 인코딩하며, 학습된 라우터 임베딩의 강력한 대안 역할을 할 수 있음을 밝혀냈습니다.
3. SSMoE 프레임워크: 추가 학습 없이 토큰 라우팅과 전문가 표현을 향상시키기 위해 이러한 스펙트럼 특성을 활용하는 효율적인 학습 불필요 프레임워크를 도입했습니다.
4. 전문가 프루닝 전략: 성능을 향상시키는 동시에 메모리 소비를 크게 줄이는 SSMoE 기반의 전문가 드롭(dropping) 방법을 제안했습니다.

실험 결과

저자들은 깨끗한 데이터와 오염된(노이즈가 있는) 데이터 설정 모두에서 다양한 작업과 모델 규모에 걸쳐 SSMOE를 평가했습니다.

• 대규모 추론 모델 (GPT-OSS): GPT-OSS-20B 및 GPT-OSS-120B에서 SSMoE는 원본 모델 및 베이스라인 무작위 드롭 전략보다 우수한 성능을 보였습니다.
  • 추론 벤치마크(ARC, GSM8K 등)에서 원본 GPT-OSS 모델 대비 평균 **6%**의 향상을 달야냈으며, 동시에 메모리 소비를 **23%** 줄였습니다.
  • 10-shot 설정에서, SSMoE는 20B 모델의 경우 베이스라인 대비 21%, 120B 모델의 경우 10%의 성능 향상을 보였습니다.
  • 결정적으로, 절제 연구(ablation studies)를 통해 성능 향상이 단순히 전문가 수를 줄였기 때문이 아니라 라우팅 메커니즘 자체에 의해 주도되었음을 보여주었습니다.
• 대규모 언어 모델 (MTEB): OLMoE, Qwen-MoE, DeepSeekMoE를 대상으로 한 MTEB(Massive Text Embedding Benchmark) 평가에서 SSMoE는 Router, SMoE, MoEE와 같은 베이스라인들을 일관되게 능가했습니다.
  • 깨끗한 설정에서는 15/18개 작업에서, 오염된 설정에서는 16/18개 작업에서 최첨단 성능을 달성했습니다.
  • 이 방법은 적대적 섭동(오염된 데이터) 하에서도 우수한 강건성을 입증하였으며, 성능이 크게 저하되는 복잡한 표현 모델들보다 뛰어난 모습을 보였습니다.
• 시각-언어 모델 (CLIP-MoE): 제로샷 이미지-텍스트 검색(COCO, Flickr30k) 및 분류 작업에서, SSMoE는 Recall@1을 최대 **+1.1%**까지 향상시켰으며, 베이스라인인 CLIP-MoE에 비해 이미지 노이즈에 대한 더 높은 강건성을 입증했습니다.
• 효율성: 이 프레임워크는 정확도를 유지하거나 향상시키면서 추론 작업에서 메모리 사용량을 약 23%, 임베딩 작업에서 GFLOPs를 약 5% 감소시켰습니다.

의의 및 주장

본 논문은 SSMoE가 SMoE 아키텍처를 최적화하는 방식에 있어 패러다임의 전환을 나타낸다고 주장합니다. 전문가를 학습하는 것에서 벗어나 전문가의 내재적 스펙트럼 특성을 분석함으로써, 저자들은 다음을 입증했습니다:

• 학습 불필요 최적화의 실효성: 재학습이나 미세 조정의 계산 비용 없이도 상당한 성능 향상과 강건성을 달성할 수 있습니다.
• 내부 구조의 중요성: 모델 내부(특히 고유벡터의 직교성)에 대한 깊은 이해가 더 효과적인 아키텍처 개발을 가이드할 수 있습니다.
• 강건성: 고유벡터 기반 표현은 전통적인 학습된 라우터보다 붕괴에 덜 취약하고 데이터 오염에 더 탄력적인, 더 안정적이고 풍부한 의미론적 신호를 제공합니다.

저자들은 결론적으로, 스펙트럼 통찰력을 활용하여 더 효율적이고 효과적이며 강건한 SMoE 아키텍처를 구축하는 것이 중요하다는 점을 강조하며, 이는 오랫동안 지속된 전문가 붕괴 문제에 대한 실질적인 해결책을 제시합니다.