🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

본 논문은 ReLU 기반 라우팅, 학습 가능한 전문가별 스케일링, 그리고 새로운 NormSiLU 활성화 함수를 활용하여 엔드 사이드 장치에서 20%의 전문가 활성화만으로 밀도 모델과 비교 가능한 성능을 달성하고 3.00 배의 추론 속도 향상을 이루는 희소 혼합 전문가 (Mixture-of-Experts) 아키텍처인 DECO 를 소개합니다.

원저자: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 고급스러운 레스토랑을 운영한다고 상상해 보세요. 가능한 최고의 음식 (고성능) 을 최대한 많은 고객에게 제공하려 하지만, 두 가지 엄격한 규칙이 있습니다:

저비용: 모든 셰프가 모든 고객에게 모든 요리를 만들 수 없습니다 (저연산).
작은 주방: 모든 셰프에게 필요한 모든 레시피 책과 재료를 저장할 공간이 부족합니다 (저장 공간 부족).

오랫동안 업계 표준은 모든 셰프가 모든 요리를 시도하는 거대한 셰프 팀 ( "Dense" 모델) 을 고용하는 것이었습니다. 맛은 훌륭하지만 비용이 엄청나게 들고 거대한 주방이 필요합니다.

그런 다음 사람들은 "전문가 혼합 (Mixture of Experts, MoE)" 방식을 시도했습니다. 이는 100 명의 전문 셰프로 구성된 거대한 팀을 두되, 각 주문마다 그중 20 명만 깨워 요리를 하게 하는 것과 같습니다. 이는 조리 시간 비용을 절약합니다. 하지만 여전히 100 명의 셰프 모두에 대한 레시피와 재료를 주방에 보관해야 합니다. 주방이 작다면 (스마트폰이나 노트북처럼), 공간이 부족해지고 올바른 셰프의 재료를 구하기 위해 오가는 시간이 걸려 모든 것이 느려집니다.

DECO 의 등장입니다.

이 논문의 저자들은 DECO라는 새로운 레스토랑 디자인을 개발했습니다. 그들의 목표는 거대한 "Dense" 주방만큼 맛있는 "Sparse" 주방 (동시에 몇몇 셰프만 일하는 주방) 을 구축하되, 작은 공간에 들어맞고 빠르게 작동하도록 하는 것이었습니다.

그들이 어떻게 했는지 간단한 비유로 설명해 보겠습니다:

1. 똑똑한 웨이터 (라우터)

일반적인 MoE 레스토랑에서 웨이터 (라우터) 는 다소 경직되어 있습니다. "모든 테이블마다 정확히 2 명의 셰프가 요리해야 한다"고 말할 수 있습니다.

DECO 의 혁신: 그들은 웨이터에게 유연하고 미분 가능한 도구 ( ReLU 기반 라우팅이라고 함) 를 제공했습니다. 이제 웨이터는 특정 주문을 보고 "이 요리는 3 명의 셰프가 필요하다"거나 "저것은 1 명만 필요하다"고 결정할 수 있습니다. 음식에 기반한 유연한 결정이지 경직된 규칙이 아닙니다.
스케일링 인자: 때로는 한 셰프가 다른 셰프보다 본래 더 시끄럽거나 강력할 수 있습니다. DECO 는 각 셰프를 위한 조정 가능한 볼륨 노브 (학습 가능한 스케일링) 를 웨이터에게 제공합니다. 셰프 A 가 본래 조용하다면, 웨이터는 그들의 볼륨을 높여 더 시끄러운 셰프들과 기여도가 균형을 이루도록 합니다.

2. 전문 셰프들 (전문가)

DECO 의 셰프들은 더 안정적으로 설계되었습니다.

"NormSiLU" 앞치마: 저자들은 셰프들이 표준 앞치마 (활성화 함수) 를 사용할 때 혼란을 겪거나 아예 작동을 멈추는 경우 (소실 신호) 가 있음을 발견했습니다. 그들은 NormSiLU라는 새로운 앞치마를 고안했습니다. 이는 셰프가 요리를 시작하기 전에 에너지를 보정하는 특별한 유니폼이라고 생각하세요. 이는 그들의 출력을 안정적으로 유지하고 번아웃이나 과도한 침묵을 방지합니다.
게이트키퍼 부재: 대부분의 레스토랑은 메인 셰프가 요리를 시작할지 말지 결정하는 "게이트키퍼" 셰프를 사용합니다. DECO 는 유연한 웨이터의 경우 게이트키퍼를 제거하는 것이 실제로 더 낫다는 것을 발견했습니다. 셰프들은 추가적인 "허가" 계층 없이 웨이터의 신호만으로 바로 요리를 시작할 때 더 잘 작동합니다.

3. 결과: "이상적인 삼각형"

이 논문은 DECO 가 세 가지 요소를 동시에 달성하는 "성배"를 이뤘다고 주장합니다:

고성능: 거대하고 비싼 레스토랑 (Dense 모델) 과 똑같이 맛있습니다.
저비용: 어떤 시점에서도 셰프의 20% 만 사용하여 막대한 에너지를 절약합니다.
저장 공간 절약: 설계가 매우 효율적이기 때문에 총 "주방 발자국" (총 파라미터) 이 스마트폰과 같은 엔드 사이드 장치에 들어갈 정도로 작아 재료를 저장소에서 끊임없이 주고받을 필요가 없습니다.

4. 증명

맛 테스트: DECO 를 다른 모델들과 테스트했을 때, 거대한 "Dense" 모델의 성능과 일치하고 다른 "Sparse" 모델들을 능가했으며, 동일한 양의 학습 데이터와 총 재료를 사용했습니다.
속도: 그들은 이 레스토랑을 실행하기 위한 맞춤형 엔진 (가속 커널) 을 구축했습니다. 실제 하드웨어 (고급 그래픽 카드와 Jetson 장치 등) 에서 DECO 는 이러한 모델을 실행하는 표준 방식보다 3 배 더 빠릅니다.

단점 (한계점)

저자들은 아직 테스트하지 않은 부분에 대해 솔직합니다. 그들은 "파인튜닝 (메인 학습 후 셰프들에게 특정 새로운 기술을 가르치는 것)"이나 "강화 학습 (시행착오를 통해 가르치는 것)"을 위해 이 레스토랑 디자인을 시도해 보지 않았습니다. 그곳에 약간의 불안정성이 있을 것으로 의심되므로, 현재 이러한 특정 시나리오를 테스트하기 위해 더 큰 버전을 구축 중입니다.

요약하자면: DECO 는 AI 모델이 작동하는 방식을 교묘하게 재해석한 것입니다. 훌륭한 음식을 얻기 위해 거대하고 비대해진 주방이 필요하지 않다는 것을 증명합니다. 올바른 웨이터, 올바른 유니폼, 그리고 유연한 접근 방식만 있다면 작고 빠르고 효율적인 주방으로도 동일한 고품질 결과를 얻을 수 있습니다.

기술 요약: DECO – 단말기 장치에서 밀집 모델과 비교 가능한 성능을 내는 희소 전문가 혼합 (Sparse Mixture-of-Experts)

문제 제기
혼합 전문가 (MoE) 아키텍처는 계산량을 비례적으로 증가시키지 않으면서 모델 용량을 확장하지만, 전통적으로 거대한 전체 파라미터 풋프린트로 인해 고통받아 왔습니다. 이는 높은 성능, 낮은 계산 비용, 최소한의 저장 오버헤드가 필요한 단말기 장치에서의 효율적인 배포를 방해하는 저장 및 메모리 접근 병목 현상을 초래합니다. 기존 MoE 연구는 종종 성능과 낮은 계산량을 우선시하지만, "저장 오버헤드"라는 목표를 간과합니다. 또한, 많은 MoE 모델은 동일한 계산 예산 하에서 밀집 베이스라인보다 훨씬 많은 토큰으로 학습하여 결과를 달성하거나, 정확한 토큰 수를 일치시키는 대신 이를 달성합니다. 본 논문은 다음과 같은 질문을 제기합니다: 동일한 전체 파라미터 예산과 동일한 수의 학습 토큰이 주어졌을 때, 희소 MoE 모델이 밀집 모델과 비교 가능한 성능을 달성할 수 있는가?

방법론
저자들은 동일한 제약 조건 하에서 밀집 Transformer 성능과 일치하도록 설계된 희소 MoE 아키텍처인 DECO(DEnse-COmparable) 를 제안합니다. 이 아키텍처는 세 가지 핵심 설계 기둥 위에 구축됩니다:

라우터 설계:
- ReLU 기반 라우팅: 기존의 비미분 가능 TopK 라우팅과 달리, DECO 는 ReLU 기반 라우팅을 사용합니다. 이는 유연하고 토큰 의존적인 활성화 비율과 부드러운 학습 가능성을 가능하게 합니다.
- 학습 가능한 전문가별 라우터 스케일링: 공유 전문가와 라우팅된 전문가 간의 출력 스케일 불균형을 해결하고 전문가 이질성을 수용하기 위해, DECO 는 고정된 스칼라 스케일링 인자를 학습 가능한 벡터화 스케일링 인자 ( $\alpha$ ) 로 대체합니다. 이는 개별 라우팅된 전문가의 기여도를 보정합니다.
전문가 설계:
- NormSiLU 활성화: 저자들은 ReLU 기반 라우팅과 일반 SiLU 활성화 전문가를 결합하면 활성화 비율이 급증하고 출력 크기가 소실된다는 점을 파악했습니다. 이를 해결하기 위해 SiLU 연산자 이전에 2 단계 정규화를 적용하는 NormSiLU를 도입했습니다:
  - 전문가 간 평균 정규화: 전문가 업-프로젝션 가중치를 0 주변으로 중심화합니다.
  - 전문가 내 RMS 정규화: 일관된 활성화 크기를 유지합니다.
    이는 활성화 추세를 안정화하고 공격적인 희소성 정규화의 필요성을 줄이며, 견고한 파라미터 활용을 보장합니다.
- 게이트 없는 MLP 전문가: 게이트형 MLP(SwiGLU) 에 대한 표준 선호와 대조적으로, DECO 는 게이트 없는 MLP 전문가를 활용합니다. 실험 결과에 따르면 게이트 없는 전문가는 ReLU 기반 라우팅과 짝을 이룰 때 더 안정적인 활성화 비율 추세를 보이는 반면, 게이트형 변형은 강력한 정규화가 필요한 불안정하고 급증하는 활성화 역학을 겪습니다.
적응형 희소성 정규화:
- DECO 는 라우터 엔트로피에 기반한 적응형 희소성 정규화를 사용합니다. 고정된 계수와 달리, 정규화 강도 ( $\lambda$ ) 는 목표 대비 현재 희소성 수준에 따라 동적으로 스케일링되어, 활성화 비율이 원하는 수준을 정밀하게 중심으로 유지되도록 보장합니다.

주요 결과
실험은 4 가지 파라미터 규모 (0.11B~1.18B) 에서 고정된 학습 토큰 수 (약 파라미터 수의 40 배) 와 20% 라우팅된 전문가 활성화 비율로 수행되었습니다.

밀집 모델 비교 가능성: DECO 는 20% 의 전문가만 활성화함에도 불구하고 C4 검증 세트의 퍼플렉시티 (PPL) 와 상식 추론 벤치마크의 평균 정확도 측면에서 밀집 Transformer 베이스라인 (SwiGLU FFN 사용) 과 동등한 성능을 달성합니다.
MoE 베이스라인 대비 우위: DECO 는 동일한 규모와 활성화 비율을 가진 기존 MoE 베이스라인 (TopP, DeepSeek-V3, ReMoE, BlockFFN) 보다 우수한 성능을 보입니다.
애블레이션 통찰:
- 학습 가능한 전문가별 스케일링은 고정되거나 스칼라 스케일링보다 성능을 크게 향상시켜, 관찰된 전문가 출력 노름의 이질성을 해결합니다.
- NormSiLU 는 필수적입니다. 정규화 단계를 제거하면 활성화 비율이 급증하고 SiLU 출력이 소실되어 성능이 저하됩니다.
- 게이트 없는 전문가는 ReLU 기반 라우팅의 맥락에서 게이트형 전문가보다 우월합니다.
하드웨어 가속: CUTLASS 및 텐서 코어를 활용한 특수 가속 커널이 구현되었습니다. 실제 하드웨어 (NVIDIA RTX 4090 및 Jetson AGX) 에서 DECO 는 희소 활성화를 활용하여 메모리 접근 오버헤드를 줄임으로써 일반 밀집 추론 대비 3.00 배의 속도 향상을 달성했습니다.

의의 및 주장
본 논문은 DECO 가 단말기 MoE 배포의 "이상적인 삼각형"인 높은 성능, 낮은 계산 비용, 그리고 작은 저장 오버헤드를 성공적으로 실현했다고 주장합니다. 그 의의는 과다한 학습 토큰이나 거대한 파라미터 풋프린트 없이도 희소 MoE 모델이 밀집 성능과 일치할 수 있음을 입증하는 데 있습니다.

저자들은 이 성공을 라우팅 메커니즘 (ReLU 기반), 전문가 활성화 (NormSiLU), 그리고 전문가 구조 (게이트 없음) 를 정렬하여 안정적인 학습 역학을 창출하는 MoE 설계의 근본적인 개편에 기인합니다. 그들은 밀집 비교 가능성은 활성화 비율, 전문가 세분성, 데이터 이질성과 같은 요소에 의존하는 조건부임을 지적합니다. 논문은 고엔트로피 다중 도메인 데이터셋이 이 희소 아키텍처에 특히 적합하다고 제안하는데, 이는 모델이 다양한 작업에 대해 전문화된 파라미터 하위 집합을 효과적으로 활성화할 수 있기 때문입니다.

한계점
저자들은 MoE 아키텍처가 라우터 불안정성과 같은 고유한 도전에 직면할 수 있는 지도 미세 조정 (SFT) 또는 강화 학습 (RL) 단계에서 DECO 를 아직 평가하지 않았음을 인정합니다. 또한, 더 큰 모델 규모와 다양한 데이터 분포에 걸쳐 밀집 비교 가능성을 위한 활성화 비율 임계값의 스케일링 법칙은 추가적인 조사가 필요합니다.