💬 NLP

Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

본 논문은 nearly 250 개의 모델을 학습하고 50 조 개의 토큰을 처리하는 광범위한 실험을 통해 검증된 바와 같이, 모델 크기에 관계없이 일관되게 유지되는 최적의 활성화 비율을 식별함으로써 총 파라미터, 연산량, 데이터가 엄격하게 동일한 자원 제약 하에서 전문가 혼합 (MoE) 언어 모델이 밀집형 모델보다 우수한 성능을 발휘할 수 있음을 입증합니다.

원저자: Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지식의 거대한 도서관을 짓고 있다고 상상해 보세요. 엄격한 예산이 있습니다: 특정 수의 책 (파라미터) 만 구매할 수 있고, 책을 읽는 데 특정 시간 (연산) 만 쓸 수 있으며, 읽을 수 있는 고유한 이야기 (데이터) 도 특정 수만큼만 접근할 수 있습니다.

오랫동안 이 도서관을 짓는 표준 방식은 도서관의 모든 책 (단일 질문당) 을 읽는 한 명의 거대하고 초지능적인 사서를 고용하는 것이었습니다. 이것이 논문에서 **밀집 모델 (Dense Model)**이라고 부르는 것입니다. 이는 신뢰할 수 있지만, 모든 무거운 작업을 그 한 명의 사서가 해야 하므로 느리고 비쌉니다.

최근 **혼합 전문가 (Mixture-of-Experts, MoE)**라는 새로운 아이디어가 인기를 얻었습니다. 거대한 사서 한 명 대신 100 명의 전문화된 전문가 팀을 고용하는 것입니다. 질문이 들어오면, '관리자 (게이트)'가 그 질문에 답할 최고의 전문가 몇 명을 빠르게 선택하고, 나머지는 커피 브레이크를 취합니다. 이는 더 빠르며, 읽는 속도를 늦추지 않고 훨씬 더 큰 도서관 (더 많은 총 책 수) 을 보유할 수 있게 해줍니다.

큰 질문
논문은 매우 구체적이고 까다로운 질문을 던집니다: 만약 '한 명의 거대 사서'와 '전문가 팀'에게 책, 시간, 고유한 이야기에 대한 예산이 정확히 동일하다면, 전문가 팀이 실제로 승리할 수 있을까요?

이전 연구들은 종종 전문가 팀에게 더 많은 책이나 더 많은 시간을 주어 속임수를 썼습니다. 이 논문은 규칙이 엄격하게 동일할 때 팀이 승리할 수 있는지 확인하고자 했습니다.

실험: 최적의 지점을 찾기
연구자들은 문제에 돈을 쏟아부은 것이 아니라, 마치 마스터 건축가처럼 행동했습니다. 완벽한 설계를 찾기 위해 이 도서관의 거의 200 가지 버전을 구축했습니다.

아키텍처: 그들은 전문가들을 배치하는 최선의 방법을 파악했습니다. 표준 밀집 레이어와 같은 하나의 '일반화' 레이어를 시작에 두고 그 다음에 전문가 레이어를 배치하는 것이 가장 효과적임을 발견했습니다.
활성화 비율 (커피 브레이크 비율): 이것이 가장 중요한 발견입니다. MoE 팀에서 '활성화 비율'은 실제로 문제 해결을 위해 깨어 있는 전문가의 비율입니다.
- 너무 적은 수의 전문가를 깨우면 (비율이 너무 낮으면), 팀은 충분한 두뇌 능력을 갖추지 못합니다.
- 너무 많은 전문가를 깨우면 (비율이 너무 높으면), 팀은 혼란을 겪고 특수한 집중력을 잃습니다.
- 황금률: 연구자들은 정확히 **20%**의 전문가가 깨어 있는 '최적의 지점'을 발견했습니다. 도서관이 작든 (20 억 권의 책) 중간 크기든 (70 억 권의 책) 이 20% 규칙은 항상 최상의 결과를 산출했습니다.

데이터 문제: 이야기 재사용
약간의 함정이 있었습니다. 전문가 팀이 매우 효율적이기 때문에, 거대 사서만큼 잘 배우려면 더 많은 이야기를 읽어야 했습니다. 만약 거대 사서와 동일한 고유한 이야기를 준다면, 그들은 뒤처질 것입니다.

이를 해결하기 위해 연구자들은 **데이터 재사용 (Data Reuse)**이라는 전략을 시도했습니다. 거대 사서가 이야기를 한 번 읽는다고 상상해 보세요. 전문가 팀은 같은 이야기를 읽지만, 두 번이나 세 번 읽습니다 (데이터 재사용).

결과: 전문가 팀이 거대 사서와 동일한 고유한 이야기를 읽도록 강요받았더라도 (재독함으로써), 그들이 그 20% 활성화 비율을 고수했다면 여전히 거대 사서보다 우위를 점했습니다.

결론
논문은 예, 전문가 팀은 책, 시간, 고유한 이야기 등 총 자원이 정확히 동일할지라도 거대 사서를 이길 수 있다고 결론 내립니다.

그러나 이는 다음 조건이 충족될 때만 작동합니다:

팀 레이아웃을 완벽하게 설계할 것.
전문가의 '깨어남' 비율을 그 마법 같은 **20%**로 유지할 것.
효율성 격차를 메우기 위해 팀이 같은 이야기를 몇 번 더 읽도록 허용할 것.

간단히 말해, 이 논문은 올바른 설계와 약간의 '재독'을 통해, 예산이 동일하더라도 단일 거대 작업자보다 전문화된 전문가 팀이 지능 시스템을 구축하는 더 강력한 방법임을 증명합니다.

기술 요약: 전문가 혼합 (MoE) 은 엄격한 동등 자원 하에서 밀집형 LLM 을 능가할 수 있음

문제 제기
전문가 혼합 (MoE) 언어 모델은 토큰당 연산량을 증가시키지 않으면서 모델 용량을 확장하는 것으로 널리 인식되고 있지만, 다음과 같은 중요한 질문은 여전히 해결되지 않았습니다: 총 파라미터 수 ( $N$ ), 총 학습 연산량 ( $C$ ), 총 데이터 예산 ( $D$ ) 이 엄격하게 동일하게 제한될 때, MoE 아키텍처가 밀집형 아키텍처보다 우수한 성능을 발휘할 수 있을까요? 이전의 비교 연구들은 종종 이러한 제약을 완화함으로써 MoE 를 유리하게 평가했습니다 (예: MoE 가 더 많은 데이터를 사용하도록 허용하거나, 파라미터 수가 극히 다른 모델을 비교). 본 논문은 엄격한 자원 동등성 하에서 아키텍처적 이점만으로 우수한 성능을 달성할 수 있는지에 대한 이해의 공백을 해소합니다.

방법론
저자들은 고정된 $N$ , $C$ , $D$ 하에서 공정한 비교를 보장하기 위해 새로운 관점과 엄격한 3 단계 실험 방법론을 제안합니다:

최적화된 아키텍처 탐색: 활성화율을 비교하기 전에, 저자들은 MoE 백본을 체계적으로 최적화합니다. 레이어 배치 (전체 MoE, 교차 배치, 또는 1 개의 밀집형 + MoE), 게이트 점수 정규화, 파라미터 할당 (Top- $K$ 설정), 그리고 구조적 하이퍼파라미터 (모델 종횡비 $\zeta$ 및 FFN 확장 비율) 를 조사합니다. 그 결과, 특정 구조 비율 ( $\zeta \approx 88$ , $\mu \approx 22$ ) 을 가진 "1 개의 밀집형 + 공유 전문가 (Shared Expert)" 구성이 최적의 백본으로 확인되었습니다.
고정된 $N$ 및 $C$ 하에서의 활성화율 (AR) 분석: 최적화된 백본을 사용하여, 저자들은 총 학습 연산량을 밀집형 기준 모델과 일치시키면서 다양한 활성화율 ( $r_a$ , 활성화된 파라미터 대 총 파라미터 비율) 을 가진 MoE 모델을 학습시킵니다. 동등한 $C$ 를 유지하기 위해, 토큰당 연산량이 더 낮은 MoE 모델은 초기에 비례적으로 더 많은 토큰으로 학습됩니다.
데이터 재사용 전략: 고유 데이터 예산 ( $D$ ) 을 엄격하게 동일하게 맞추기 위해, 저자들은 데이터 재사용 전략을 도입합니다. 그들은 고정된 작은 고유 데이터셋 $\hat{D}$ 에서 모델을 여러 에포크 동안 학습시킵니다. 그리고 "엄격한" 재사용 (정확히 $N, C, D$ 를 일치) 과 "완화된" 재사용 (에포크 수를 2 로 고정) 을 고유 데이터로 학습된 밀집형 기준 모델과 비교합니다.

주요 결과
본 연구는 2B 규모에서 약 200 개의 모델과 7B 규모에서 50 개 이상의 모델을 학습시켰으며, 누적하여 50 조 개의 토큰을 처리했습니다.

최적 활성화율의 존재: 실험은 MoE 모델이 일관되게 밀집형 대응 모델보다 우수한 성능을 보이는 안정적인 "최적 활성화율" 영역 ( $R^*_a$ ) 을 드러냈습니다. 이 최적 비율은 약 20% ( $r_a \approx 0.2$ ) 입니다.
성능 우위: 고정된 $N$ 과 $C$ 하에서, $r_a \approx 20\%$ 인 MoE 모델은 동일한 연산량으로 학습된 밀집형 모델보다 더 낮은 손실 (더 나은 성능) 을 달성합니다. 구체적으로, 최적 AR 을 가진 2B MoE 모델은 동일한 연산량으로 학습된 밀집형 모델보다 우수한 성능을 보이며, 두 배의 연산량으로 학습된 밀집형 모델의 성능에 근접합니다.
규모 간 일관성: 약 20% 의 최적 활성화율은 다양한 모델 크기 (2B, 3B, 7B) 에서 일관되게 유지되며, 이는 테스트된 범위 내에서 발견된 바가 규모에 독립적임을 시사합니다. 이는 모델 크기에 따라 최적의 희소성이 변한다는 이전의 일부 연구 결과와 대조됩니다.
데이터 재사용의 유효성: 데이터 재사용 전략은 MoE 모델의 추가적인 데이터 요구 사항을 성공적으로 상쇄합니다. 고유 데이터로 학습하는 것에 비해 데이터 재사용은 약간의 성능 감소를 초래하지만, 최적 AR 을 가진 MoE 모델은 엄격한 데이터 제약 하에서도 여전히 밀집형 기준 모델을 능가합니다.
하류 일반화: $r_a \approx 20\%$ 인 MoE 모델의 우월성은 추론, 지식, 수학, 코드 벤치마크에 걸친 하류 작업 (SFT) 으로 일반화됩니다. 특히, 데이터 재사용은 추론 작업에는 미미한 부정적 영향을 미치지만 지식 성능은 저하시킵니다. 그러나 최적 AR 에서 재사용된 데이터로 SFT 된 MoE 는 고유 데이터로 학습된 밀집형 모델보다 여전히 우수한 성능을 보입니다.

의의 및 주장
본 논문은 아키텍처가 최적화되고 활성화율이 식별된 최적 영역 내에 있을 경우, 엄격한 동등 자원 제약 ( $N, C, D$ ) 하에서 MoE 아키텍처가 밀집형 LLM 을 능가할 수 있음을 보여주는 최초의 결정적 증거를 제공한다고 주장합니다.

아키텍처적 이점: 성능 향상은 파라미터 수나 연산 예산의 불균형이 아닌 오직 아키텍처적 이점에만 기인합니다.
자원 효율성: 이 발견은 자원이 고정되었을 때 밀집형 모델이 우월하다는 통념에 도전하여, 차세대 NLP 시스템에서 더 자원 효율적인 아키텍처의 길을 엽니다.
실용적 전략: 데이터 재사용 전략의 도입은 MoE 모델의 추가적인 데이터 수요를 완화할 수 있음을 보여주며, 밀집형 모델보다 훨씬 큰 고유 데이터 예산 없이도 우수한 성능을 달성 가능하게 합니다.

저자들은 계산 비용으로 인해 7B 이상의 모델을 학습하지 못했다는 제한 사항과 일부 MoE 구성 요소를 고정하면서 특정 MoE 구성 요소에 초점을 맞췄다는 점을 인정합니다. 그들은 향후 연구가 업사이클링 (upcycling) 및 MoEfication 과 같은 다른 학습 패러다임에서 최적 활성화율이 능력을 어떻게 향상시키는지 탐구할 수 있음을 제안합니다.

유사한 논문