💬 NLP

OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale

OmniMoE는 카테시안 곱 라우터(Cartesian Product Router)와 전문가 중심 스케줄링(Expert-Centric Scheduling)과 같은 새로운 구성 요소를 통해 혼합 전문가(Mixture-of-Experts)의 입도(granularity)를 벡터 수준까지 밀어붙임으로써 높은 정확도와 상당한 추론 속도 향상을 모두 달성하는 시스템-알고리즘 공동 설계 프레임워크입니다.

원저자: Jingze Shi, Zhangyang Peng, Yizhang Zhu, Yifan Wu, Guang Liu, Yuyu Luo

게시일 2026-07-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingze Shi, Zhangyang Peng, Yizhang Zhu, Yifan Wu, Guang Liu, Yuyu Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수백만 권의 책(데이터)을 즉각적으로 처리해야 하는 거대하고 고속인 도서관을 운영하고 있다고 상상해 보십시오. 인공지능의 세계에서 이 도서관은 "모델"이며, 책들은 모델이 이해해야 할 정보입니다.

오랫동안 이 도서관들은 두 가지 주요 작업 방식을 가졌으나, 두 방식 모두 큰 문제를 안고 있었습니다:

"대규모 팀" 방식 (Coarse-Grained, 거친 입자): 당신이 질문을 던질 때마다 256명의 사서로 구성된 팀 전체를 호출하는 것과 같습니다. 단 하나의 특정 사실만 필요하더라도 256명의 사서가 모두 일을 시작합니다. 이 방식은 그룹으로 함께 움직이기 때문에 빠르지만, 대부분의 사서가 당신의 구체적인 질문과 관련 없는 일을 하게 되므로 엄청난 에너지 낭비가 발생합니다.
"개별 전문가" 방식 (Fine-Grained, 미세한 입자): 에너지를 아끼기 위해 수백만 명의 작고 초전문화된 사서들을 고용합니다. 질문을 할 때마다 그 사실을 정확히 알고 있는 단 한 명의 완벽한 사서만을 호출합니다. 이는 자원 측면에서 매우 효율적이지만, 물류 측면에서는 악몽입니다. 흩어져 있는 수백만 명의 작은 전문가들을 찾아 도서관을 돌아다니는 데 너무 많은 시간이 걸립니다. 사서들이 책을 읽는 시간보다 자신의 책상으로 걸어가는 데 더 많은 시간을 쓰게 됩니다.

OmniMoE의 등장: 궁극의 사서 시스템

이 논문은 두 세계의 장점을 결합한 새로운 시스템인 OmniMoE를 소개합니다. 이것은 마치 믿을 수 없을 정도로 정밀하면서도 번개처럼 빠른 도서관과 같습니다. 작동 원리는 다음과 같이 세 부분으로 나뉩니다:

1. "원자적" 사서들 (작은 전문가들)

전체 팀을 고용하는 대신, OmniMoE는 "원자적 전문가(Atomic Experts)"를 고용합니다. 이들은 지식의 가장 작은 단위입니다. 즉, 책의 한 장(Chapter)이 아니라 단 하나의 완벽한 문장이나 사실 같은 형태를 띱니다.

혁신: 질문을 하면 시스템은 단순히 한 명의 사서를 선택하는 것이 아니라, 그 질문만을 위한 맞춤형 팀을 동적으로 구성합니다. 이는 당신이 입력하는 매 단어마다 맞춤형 퍼즐 조각을 만드는 것과 같습니다.

2. "카테시안 곱(Cartesian Product)" 지도 (스마트 주소 시스템)

수백만 명의 작은 전문가를 보유하는 것의 문제는, 그들을 어떻게 빨리 찾느냐는 것입니다. 만약 1,000만 명의 이름을 일일이 확인해야 한다면 너무 오래 걸릴 것입니다.

해결책: OmniMoE는 "카테시안 곱 라우터(Cartesian Product Router)"를 사용합니다. 도서관이 이름이 적힌 거대한 명단이 아니라, 거대한 격자(엑셀 시트의 행과 열 같은 구조)라고 상상해 보십시오.
도움이 되는 방식: 시스템은 수백만 명의 이름 중에서 특정 이름을 찾는 대신, 그 사서가 앉아 있는 "행(Row)"과 "열(Column)"을 찾습니다. 이는 "사서 Bob"을 찾는 대신 "5행 3열로 가시오"라고 말하는 것과 같습니다. 이 방식은 거대하고 느린 검색을 작고 즉각적인 계산으로 바꿔줍니다.

3. "전문가 중심" 버스 시간표 (교통 체증 해결사)

스마트한 지도가 있더라도, 버스가 흩어져 있는 1,000명의 전문가를 한 명씩 태우러 다닌다면 버스는 교통 체증(이를 "메모리 병목 현상"이라고 합니다)에 갇히게 될 것입니다. 버스는 멈추고 출발하는 데 모든 시간을 허비할 것입니다.

해결책: OmniMoO는 작업 순서를 변경합니다. 버스가 각 질문마다 전문가를 한 명씩 태우러 가는 대신, 전문가들을 먼저 그룹화합니다.
비유: 버스 기사가 "자, '과학' 섹션으로 가는 분들 먼저 타세요. 그다음 '역사' 섹션 분들을 태우겠습니다"라고 말하는 것과 같습니다. 버스는 한 번에 한 그룹의 전문가를 태워 작업 구역으로 이동하며, 그들은 커다란 효율적인 블록을 이루어 함께 일합니다. 이는 혼란스럽고 멈추고 가기를 반복하는 교통 체증을 매끄럽고 고속인 고속도로로 바꿉니다.

결과: 빠르고, 저렴하며, 똑똑함

이 시스템은 현재 최고의 방법들과 성능을 테스트했습니다:

속도: 이전 최고의 "작은 전문가" 시스템보다 10.9배 더 빠릅니다. 73밀리초(ms) 걸리던 작업을 단 6.7밀리초로 단축했습니다.
지능: 또한 더 정확합니다. 희귀하고 구체적인 사실을 다루는 작은 전문가들 옆에 "공통 밀집 MLP(Shared Dense MLP, 일반 상식과 문법을 처리하는 범용 뇌)"를 유지함으로써, 추론 능력을 잃지 않습니다.
효율성: 컴퓨터 메모리를 훨씬 더 잘 사용하여, 시스템을 느리게 만드는 "교통 체증"을 방지합니다.

요약하자면
OmniMoE는 AI 모델이 속도를 늦추지 않으면서도 수백만 개의 작고 초정밀한 전문가를 사용할 수 있게 해주는 영리한 기술입니다. 이는 전문가들을 격자 형태로 조직하여(빠르게 찾기 위해) 그리고 버스 시간표처럼 업무를 그룹화하여(빠르게 이동하기 위해) 수행합니다. 그 결과, 매우 상세한 지식을 갖추면서도 실용적일 만큼 빠른 AI가 탄생했습니다.

기술 요약: OmniMoE

1. 문제 정의

혼합 전문가(Mixture-of-Experts, MoE) 아키텍처는 토큰당 연산량과 모델 용량을 분리함으로써 언어 모델을 확장하는 표준이 되었습니다. 그러나 기존 설계들은 **전문가 세밀도(expert granularity)**와 하드웨어 실행 효율성 사이의 근본적인 트레이드오프에 직면해 있습니다:

거친 입도(Coarse-Grained) MoE: (예: DeepSeek-V3, KIMI-K2) 대규모의 밀집된 피드포워드 네트워크(FFN) 블록을 전문가로 활용합니다. 이는 하드웨어 친화적인 밀집 행렬 곱셈과 연속적인 메모리 접근의 이점을 누리지만, 부정확한 활성화(imprecise activation) 문제를 겪습니다. 거대한 전문가 블록을 활성화하면 특정 토큰과 무관한 파라미터까지 계산하게 되어 계산 낭비와 경직된 스케일링 제약을 초래합니다.
세밀한 입도(Fine-Grained) MoE: (예: PEER, PKM) 수백만 개의 경량 전문가(예: 정적 벡터)를 활용하여 파라미터 효율성과 라우팅 정밀도를 극대화합니다. 그러나 이를 거대한 규모로 확장할 경우 심각한 시스템 병목 현상이 발생합니다:
1. 표현력 제한: 전문가를 정적 벡터로 축소하면 복잡한 언어적 의존성에 필수적인 토큰 의존적 비선형 변환(예: MLP 프로젝션)이 사라집니다.
2. 라우팅 오버헤드: 수백만 개의 전문가로 라우팅하는 것은 과도한 계산 및 메모리 비용( $O(N)$ )을 유발합니다.
3. 하드웨어 비효л율성: 세밀한 라우팅은 분산되고 비연속적인 메모리 접근을 유발하여, 실행 병목을 계산에서 메모리 대역폭(memory-bound)으로 전이시키며, 결과적으로 낮은 GPU 활용도와 높은 지연 시간을 초래합니다.

핵심 과제는 세밀한 모델의 파라미터 효율성과 거친 입도 아키텍처의 하드웨어 효율성을 어떻게 양립시킬 수 있는가 하는 점입니다.

2. 방법론: OmniMoE

OmniMoE는 하드웨어 효율성을 유지하면서 전문가 세밀도를 논리적 극한까지 밀어붙이는 시스템-알고리즘 공동 설계(system-algorithm co-designed) 프레임워크입니다. 이는 공유된 밀집 MLP와 방대한 풀(pool)의 라우팅된 "원자적 전문가(Atomic Experts)"를 결합한 하이브리드 아키텍처를 채택합니다.

2.1 핵심 아키텍처 구성 요소

원자적 전문가 (Atomic Experts): 계산의 기본 단위는 한 쌍의 벡터( $w_{in}, w_{out}$ )로 매개변수화된 최소 라우팅 단위인 "원자적 전문가"입니다. 단일 원자적 전문가는 경량 비선형 변환을 수행합니다: $E_i(x) = \sigma(x w_{in}^T) w_{out}$ .
동적 전문가 조립 (Dynamic Expert Assembly, DEA): 수백만 개의 독립적인 전문가 블록을 개별적으로 저장하는 대신, OmniMoE는 모든 $N$ 개의 원자적 전문가를 두 개의 글로벌 파라미터 행렬( $W, V$ )로 통합합니다. 각 토큰에 대해 시스템은 이 행렬들로부터 희소한 행(row) 부분 집합을 동적으로 추출하고, 이를 토큰별로 융합된 계산 블록으로 조립합니다. 이를 통해 극단적인 파라미터 효율성을 유지하면서도 동적 구성을 통한 높은 표현력을 유지할 수 있습니다.
공유 밀집 MLP (Shared Dense MLP): 일반적인 의미론적 추론을 처리하고 안정적인 백본을 제공하기 위해 모든 입력에 대해 보편적으로 활성화되는 표준 밀집 MLP 브랜치가 존재하며, 이는 롱테일 지식 검색을 전문으로 하는 라우팅 브랜치를 보완합니다.

2.2 알고리즘 혁신

수백만 개의 원자적 전문가를 관리하기 위해 OmniMoE는 두 가지 핵심 알고리즘 메커니즘을 도입합니다:

카테시안 곱 라우터 (Cartesian Product Router):
- 문제: $N$ 개의 전문가로의 표준 라우팅은 $d \times N$ 크기의 프로젝션 행렬을 필요로 하며, 이는 $O(Nd)$의 복잡도를 가집니다.
- 해결책: 라우터는 1차원 전문가 인덱스 공간을 2D 그리드( $N_r \times N_c$ )로 분해합니다. 두 개의 독립적인 저차원 분포(행 및 열 로짓)를 예측하고 이를 결합하여 전문가 점수를 산출합니다.
- 영향: 이러한 인수분해는 라우팅 복잡도와 파라미터 저장량을 $O(Nd) $에서$ O(\sqrt{N}d)$로 줄여, 대규모 라우팅을 실용적으로 만듭니다.
전문가 중심 스케줄링 (Expert-Centric Scheduling):
- 문제: 표준 "토큰 중심(token-centric)" 실행 방식은 각 토큰에 대해 독립적으로 파라미터를 가져오므로, 분산된 메모리 I/O를 유발하고 벡터화를 방해합니다.
- 해결책: 실행 패러다임을 "전문가 중심"으로 역전시킵니다.
  - 태스크 수집: 배치의 모든 라우팅 결정은 태스크 리스트로 평탄화됩니다.
  - 그룹화 및 정렬: 태스크는 연속적인 전문가 ID 범위를 기준으로 그룹화되고, 각 그룹 내에서는 토큰 ID 순으로 정렬됩니다.
  - 그룹 GEMM (Grouped GEMM): 이러한 재구성을 통해 시스템은 배치 내의 여러 토큰에 대해 전문가 가중치 블록을 한 번만 로드하고 재사용할 수 있으며, 분산된 메모리 조회를 연속적이고 고처리량인 Grouped GEMM 연산으로 전환합니다.
- 영향: 이를 통해 실행을 메모리 제한(memory-bound)에서 계산 제한(compute-bound)으로 전환하여 텐서 코어(Tensor Core) 활용도를 극대화합니다.

3. 주요 기여

원자적 전문가 정식화: 동적 조립을 통해 높은 비선형 표현력을 유지하면서 수백만 개의 전문가로 확장이 가능한 새로운 최소 라우팅 단위를 제시했습니다.
카테시안 곱 라우터: 전문가 수에 대해 선형이 아닌 제곱근 수준으로 복잡도를 낮추어, 거대 전문가 풀에 대한 인덱싱 병목 현상을 해결하는 라우팅 메커니즘을 개발했습니다.
전문가 중심 스케줄링: 메모리 대역폭 병목을 제거하기 위해 계산을 재정렬하는 시스템 레벨 스케줄링 전략을 통해, 세밀한 입도의 MoE가 거친 입도 설계와 유사한 하드웨어 효율성을 달 ㅣ도록 했습니다.
시스템-알고리즘 공동 설계: 높은 모델 표현력과 대규모 환경에서의 하드웨어 효율성을 모두 달성하기 위해 이러한 구성 요소들을 통합한 총체적 프레임워크를 구축했습니다.

4. 실험 결과

OmniMoE는 7개의 상식 벤치마크와 5개의 확장 추론/코딩 벤치마크에서 평가되었으며, 광범위한 효율성 테스트를 병행했습니다.

정확도: 총 파라미터 6.4B / 활성 파라미터 1.7B인 OmniMoE 모델은 7개 상식 벤치마크에서 **평균 제로샷 정확도 50.9%**를 달성했습니다. 이는 거친 입도 베이스라인(예: DeepSeekMoE)보다 +0.7, 세밀한 입도 베이스라인(예: PEER)보다 +2.0 높습니다.
추론 및 처리량: 확장 벤치마크(GSM8K, MATH 등)에서 OmniMoE는 평균 점수 42.5를 기록하여, PEER(+15.5)와 DeepSeekMoE(+2.0)를 크게 앞질렀습니다. 처리량 측면에서 OmniMoE는 ~14.2k tokens/second에 도달하여, 밀집(dense) 베이스라인과 대등한 수준이며 세밀한 입도의 PEER(~~11.6k) 및 PKM(~~7.9k)보다 훨씬 빠릅니다.
효율성: OmniMoE는 PEER 대비 추론 지연 시간을 10.9배 단축(지연 시간을 73ms에서 6.7ms로 감소)하면서도, 메모리 사용량은 거친 입도 MoE와 유사한 수준을 유지했습니다.
스케일링 법칙 (Scaling Laws): 동일한 훈련 FLOPs 및 활성 파라미터 예산 하에서, OmniMoE는 모든 베이스라인 중 지속적으로 가장 낮은 퍼플렉시티(perplexity)를 달성하여 우수한 계산 및 파라미터 효율성을 입증했습니다.

5. 의의 및 주장

본 논문은 OmnisMoE가 총체적인 시스템-알고리즘 공동 설계에 의해 뒷받침된다면, 대규모 세밀한 입도의 MoE가 정확하면서도 매우 효율적일 수 있음을 보여준다고 주장합니다.

트레이드오프의 해소: 세밀한 모델의 파라미터 효율성과 거친 입도 모델의 하드웨어 효율성 사이의 간극을 성공적으로 메웠습니다.
기능적 특화: 절제 연구(Ablation studies)와 브랜치 지배력 분석을 통해 명확한 역할 분담을 확인했습니다. 공유 밀집 MLP는 일반적인 언어 패턴과 추론 연결어를 처리하고, 라우팅된 원자적 전문가는 사실적 엔티티와 롱테일 지식 습득을 전문으로 합니다.
시스템적 영향: 라우팅 복잡도와 메모리 액세스 패턴이 세밀한 입도 MoE의 주요 병목임을 강조하며, 알고리즘적 혁신(카테시안 곱 라우터)과 시스템 레벨 최적화(전문가 중심 스케줄링)의 결합이 백만 규모의 전문가 풀을 활용하기 위해 필수적임을 밝혀냈습니다.

저자들은 현재 구현이 NVIDIA GPU를 위한 커스텀 Triton 커널에 의존하고 있으며, 6.4B 이상의 파라미터로 확장하는 것은 향후 검증이 필요한 영역이라고 언급했습니다.