기술 요약: 전문가 혼합 (MoE) 모델에서 전문화의 환상

문제 제기

전문가 혼합 (Mixture-of-Experts, MoE) 모델은 희소 라우팅이 각기 다른 전문가들이 수학, 법률, 생물학 등 특정 도메인에 전문화되도록 한다는'분할 정복'직관에 널리 기반하고 있습니다. 지배적인 가정은 게이트 네트워크가 서로 다른 작업에 맞춰진 불연속적인 전문가 집합으로 입력을 라우팅할 때 희소성이 발생한다는 것입니다. 그러나 최근'표현 붕괴'현상과'슈퍼 전문가 (Super Experts)'의 등장에 대한 관찰은 라우팅 역학이 이러한 이상과 일치하지 않을 수 있음을 시사합니다. 또한, DeepSeek-V2 와 같은 일부 아키텍처는 일반 지식을 처리하기 위해 명시적인'공유 전문가 (Shared Experts)'를 도입하지만, 남은 라우팅된 전문가들이 진정으로 전문화되었는지, 아니면 역시 중앙 집중화된 일반주의 핵심으로 수렴하는지는 여전히 불분명합니다. 본 논문은 보편적인 도메인 전문화 가정을 의문시하며, MoE 모델 대신 숨겨진 도메인 불변의 구조적 편향이 중앙 집중식 계산을 향해 존재할 수 있음을 제안합니다.

방법론: COMMITTEEAUDIT

MoE 모델의 그룹 수준 구조적 조직을 조사하기 위해 저자들은 COMMITTEEAUDIT라는 사후 분석 프레임워크를 소개합니다. 이전 연구들이 개별 전문가 활성화 통계나 내부 표현을 분석한 것과 달리, COMMITTEEAUDIT 는 이질적인 작업 전반에 걸친 전문가 연합의 안정성과 교차점에 초점을 맞춥니다.

이 프레임워크는 세 단계로 작동합니다:

1. 작업 조건부 라우팅 프로파일: 이 프레임워크는 도메인 작업 (예: STEM, 인문학, 법률 등 9 개 도메인으로 그룹화된 MMLU 과목) 으로 분할된 코퍼스의 토큰에 대한 전체 라우팅 벡터 (소프트맥스 분포) 를 추출합니다. 이진 활성화가 아닌 라우터 선호도의 크기를 보존하는 방식으로, 특정 도메인 내 전문가에 대한 기대 라우팅 가중치로 정의된 **전문가 기여도 지수 (Expert Contribution Index, ECI)**를 계산합니다.
2. 작업 특이성 정량화: 실루엣 기반 점수를 사용하여 특정 도메인의 라우팅 벡터가 응집되고 분리된 클러스터를 형성하는지 평가합니다. 충분히 높은 구별력을 가진 작업만 다음 단계로 진행됩니다.
3. 상임위원회 탐색: 프레임워크의 핵심은 도메인 전반에 걸쳐 라우팅을 지속적으로 지배하는'상임위원회 (Standing Committee)'라는 응집된 전문가 연합을 식별하는 것입니다. 이는 다음과 같이 달성됩니다:
   • 각 도메인 내에서 ECI 를 기반으로 전문가를 순위 매기기.
   • 모든 도메인에서 Top-$k$에 나타나는 전문가의 빈도 ($P_i$) 계산.
   • 빈번하게 나타나는 (임계값 $\gamma > 0.8$) 합의 후보 선정.
   • 도메인 전반에 걸친 평균 순위 ($\mu$) 와 순위 분산 ($\sigma^2$) 을 통해 안정성 특성화.
   • 높은 평균 순위와 낮은 도메인 간 변동성 사이의 유리한 트레이드오프를 달성하는 전문가들의 파레토 최적 집합으로 상임위원회 정의.

이 프레임워크는 세 가지 대표 모델에 적용되었습니다: OLMoE(표준 라우팅), Qwen3-30B-A3B(표준 라우팅), 그리고 명시적 공유 전문가 아키텍처를 가진 DeepSeek-V2-Lite. 평가는 MMLU 벤치마크에서 수행되었으며 C4 데이터셋으로 보완되었습니다.

주요 결과

1. 도메인 불변 상임위원회의 존재

분석은 아키텍처나 전문가 풀 크기와 관계없이 모든 테스트된 모델에서 강력한'상임위원회'현상을 드러냈습니다.

• 높은 도메인 간 공유: 서로 다른 도메인 간의 Top-$k$ 전문가 집합에 대한 자카드 유사도는 일관되게 높습니다 (종종 $\ge 0.85$). 이는 입력 도메인과 관계없이 동일한 전문가들이 반복적으로 활성화됨을 나타냅니다.
• 극심한 집중: 전문가 기여도에 대한 지니 계수는 극도로 높습니다 (0.88 에서 0.96 범위). 이는 소수의 전문가가 라우팅 질량의 대다수를 흡수함을 의미합니다.
• 안정성: 식별된 위원회는 응집되어 있으며 (일반적으로 2~5 명의 전문가), 레이어와 도메인 전반에 걸쳐 안정적인 순위 ($\mu \approx 3.1–3.8$) 와 낮은 분산을 유지합니다. 이러한 위원회는 총 라우팅 질량의 최대 70% 를 포착합니다.

2. 구조적 역학 및 중앙 집중화

• 창발적 속성: 명시적 공유 전문가가 없는 모델 (OLMoE, Qwen3) 에서도 상임위원회가 등장합니다. 이는 중앙 집중화가 아키텍처적 산물이 아니라 희소 라우팅 최적화의 고유한 속성임을 시사합니다.
• 깊이 무관성: 중앙 집중화 패턴은 얕은 레이어에서 깊은 레이어까지 지속됩니다. 추상화가 깊어질수록 전문화가 심화된다는 직관과 달리, 라우터는 초기에 계산을 통합하고 네트워크 전반에 걸쳐 지속적인 핵심을 유지합니다.
• 라우팅 예산에 대한 강건성: Top-$k$ 매개변수 ($k$) 에 대한 민감도 스윕은 $k$가 극단적으로 변할 때 위원회의 구체적인 구성이 약간 변할 수 있지만, 작고 지배적인 핵심이라는 현상은 유지됨을 보여줍니다. $k$를 증가시키는 것은 분포를 평탄화하기보다는 기여도 밀도가 낮은 주변 전문가들을 주로 모집합니다.

3. 기능적 역할: 핵심 - 주변 조직

토큰 수준 라우팅에 대한 정성적 분석은 기능적 분업 구조를 드러냅니다:

• 상임위원회 (핵심): 이러한 전문가는 추론 구조와 구문을 고정합니다. 추상적 추론 트리거 (예: "Which", "Suppose", "?") 와 고빈도 구조적 토큰 (예: "the", "in") 에 의해 일관되게 활성화됩니다. 이들은 도메인 불변의 제어 계층으로 작용합니다.
• 주변 전문가: 화학 기호, 법률 용어와 같은 도메인별 지식은 수요에 따라 모집되는 더 넓고 덜 안정적인 전문가 집합에 분산되어 있습니다.
• 개입 증거: DeepSeek-V2-Lite 에 대한 마스킹 기반 개입은 상임위원회의 기능적 중요성을 확인시켜 줍니다. 위원회 전문가의 라우팅 가중치를 억제하면 깊은 레이어에서 정답률이 급격히 떨어집니다 (예: 0.39 에서 0.03 으로) 그리고"답변 없음"응답이 급증하여, 이들이 단순한 통계적 산물이 아닌 필수적인 계산 구성 요소임을 증명합니다.

중요성 및 주장

본 논문은 MoE 모델의'전문화 환상'이 내부 조직에 대한 근본적인 오해라고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 전문화 패러다임에 대한 도전: 저자들은 희소 라우팅을 통해 MoE 모델이 진정한 도메인 전문화를 달성하지 못한다는 체계적인 증거를 제시합니다. 대신, 그들은 계산을 지배하는 도메인 불변의 상임위원회로 자발적으로 조직화되며, 이는 훈련에서 종종 사용되는'공정성 지향'부하 분산 목표에 도전합니다.
2. 방법론적 전환: COMMITTEEAUDIT 를 도입함으로써, 이 연구는 개별 전문가 통계에서 그룹 수준의 구조적 조직으로 분석 렌즈를 전환하여, 이전의 개인 중심 연구들이 놓친 안정적인 연합을 드러냈습니다.
3. 훈련 및 아키텍처에 대한 함의: 이 발견은 모델의 자연스러운 최적화 경로 (중앙 집중화) 와 현재 훈련 목표 (균등 활용을 강제하는 부하 분산 손실) 사이의 긴장을 시사합니다. 저자들은 강제된 균등 전문가 사용이 모델의 자연스러운 효율성에 반할 수 있으며 성능을 제한할 수 있다고 주장합니다. 그들은 미래 아키텍처가 불연속적 전문화를 강제하기보다는 핵심 - 주변 조직을 명시적으로 지원해야 한다고 제안합니다.

본 논문은 상임위원회가 희소 계산의 창발적 속성이며, 추론과 구문 처리에 대한 강력한 귀납적 편향을 반영하는 반면, 도메인별 지식은 주변 가장자리로 추방된다고 결론지었습니다.