💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

이 논문은 토큰당 거대 피드포워드 네트워크 파라미터의 연속적인 부분을 선택함으로써 전문가 혼합(Mixture of Experts)을 무한한 공간으로 일반화하여, 방대한 수의 전문가를 통한 효과적인 학습을 가능하게 하는 동시에 훨씬 더 큰 밀집 모델(dense models)에 필적하는 성능을 달성하고 유연한 정확도-속도 트레이드오프를 제공하는 새로운 아키텍처인 $\infty$ -MoE를 제안한다.

원저자: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 모든 책이 지식의 조각을 나타내는 거대하고 첨단 기술이 집약된 도서관을 운영하고 있다고 상상해 보세요. 전통적인 도서관(표준 AI 모델)에서는 몇 명의 매우 크고 범용적인 사서들이 있습니다. 당신이 질문을 하면, 모든 사서가 그 질문에 답하려고 노력하며, 그들의 답변은 하나로 혼합됩니다. 이는 정확하지만, 모든 질문에 대해 그들 모두를 고용해야 하므로 느리고 비용이 많이 듭니다.

이를 해결하기 위해 연구자들은 **Mixture of Experts (MoE)**를 발명했습니다. 모든 사람이 일하게 하는 대신, "수석 사서"(라우터라고 불림)가 당신의 질문을 보고 딱 두 명의 특정 사서만을 골라 답변하게 합니다. 이는 훨씬 빠르고 저렴합니다. 하지만 함정이 있습니다. 이 전통적인 설정에서는 사서를 정확히 몇 명 고용할지(예: 16명 또는 100명) 미리 결정해야 합니다. 만약 너무 많은 사서를 고용하면, 수석 사서가 누구를 선택해야 할지 혼란스러워하며 전체 시스템을 훈련시키는 것이 악몽이 됩니다. 이는 마치 한 번에 두 명하고만 대화할 수 있는 상황에서 1,000명의 팀을 관리하려는 것과 같습니다. 모두의 발을 맞추기가 매우 어렵습니다.

새로운 아이디어: ∞-MoE (무한 전문가 혼합)

이 논문의 저자들(도쿄 대학교)은 대담한 질문을 던졌습니다: 만약 전문가의 수가 정해져 있지 않다면 어떨까? 만약 우리가 무한한 수의 전문가를 가질 수 있다면?

그들은 이 새로운 시스템을 ∞-MoE라고 부릅니다. 다음은 간단한 비유를 통한 작동 방식입니다:

1. 연속적인 "전문가 공간" (Continuous "Expert Space")

사서 #1, 사서 #2, 사서 #3이 한 줄로 앉아 있는 대신, 사서들이 무한하고 연속적인 지도 위에 퍼져 있다고 상상해 보세요.

기존 시스템에서는 지도의 특정 지점(예: "좌표 5에 있는 사서")을 선택해야 했습니다.
새로운 시스템에서 수석 사서는 당신이 질문을 던질 때마다 지도 위에 하나의 **구름(cloud)**을 그립니다. 이 구름은 도움이 될 수도 있는 전문가들의 범위를 나타냅니다.

2. 선택이 아닌 샘플링 (Sampling Instead of Picking)

당신이 질문을 하면, 수석 사서는 단순히 특정 인물 두 명을 고르는 것이 아닙니다. 대신, 그 구름으로부터 "스냅샷"(샘플)을 찍습니다.

그는 좌표 5.2 지점을 선택할 수도 있습니다.
그는 좌표 5.3 지점을 선택할 수도 있습니다.
지도가 연속적이기 때문에, 그가 스냅샷을 찍을 때마다 그는 이전에 존재한 적 없는 고유한 전문가를 얻게 됩니다.

3. "마스크" (뉴런을 켜고 끄는 법)

무한한 전문가를 가지면서 어떻게 무한한 컴퓨터를 만들지 않을 수 있을까요? 비밀은 **마스크(mask)**에 있습니다.
AI의 뇌를 거대한 전구 격자(뉴urn)라고 생각해 보세요.

표준 AI에서는 모든 전구가 켜져 있습니다.
기존의 MoE에서는 라우터가 전문가 #1을 위한 특정 전구 블록을 켜고, 전문가 #2를 위한 다른 블록을 켭니다.
∞-MoE에서는, "샘플"(지도의 좌표)이 스텐실(stencil) 역할을 합니다. 시스템은 거대한 전구 격자를 가져와서 스텐실을 사용하여 해당 질문에 대해 가장 밝은 상위 25%의 전구만을 켭니다.
샘플이 연속적인 숫자이기 때문에, 매 질문마다 켜지는 전구의 패턴이 약간씩 달라집니다. 이는 마치 당신이 입력하는 모든 문장에 대해 고유하고 맞춤 제작된 도구를 갖는 것과 같지만, 이미 가지고 있는 부품들로만 그 도구를 만드는 것과 같습니다.

이것이 왜 큰 뉴스인가요?

저자들은 이 모델을 두 가지 모델(GPT-2 Small 및 Medium)로 테스트했으며 놀라운 결과를 발견했습니다:

더 적은 "활성" 뇌로 더 나은 성능 구현:
1억 2,900만 개의 활성 파라미터(실제로 작동하는 부분)를 가진 ∞-MoE 모델은 3억 5,000만 개의 파라미터를 가진 표준 밀집(dense) 모델만큼 잘 작동했습니다. 이는 거대한 뇌의 지능을 얻으면서도 작은 뇌의 에너지만을 사용하는 것과 같습니다.
유연성:
기존의 MoE에서는 속도를 높이고 싶다면 모델 전체를 다시 훈련시켜야 했습니다. 하지만 ∞-MoE에서는 질문을 던지는 순간에 "샘플"(스냅샷)의 수를 그냥 변경할 수 있습니다.
- 속도가 필요하다면? 샘플(전문가)을 적게 가져옵니다.
- 최대 정확도가 필요하다면? 샘플을 더 많이 가져옵니다.
- 논문은 모델 자체를 바꾸지 않고도 이 설정을 조정하는 것만으로 표준 MoE보다 2.5%의 정확도 향상을 얻을 수 있음을 보여줍니다.
안정성:
기존 시스템에 더 많은 전문가를 추가할 때 발생하는 문제 중 하나는 시스템이 불안정해지고 훈련하기 어려워진다는 것입니다. ∞-MoE는 전문가를 별개의 떨어진 목록이 아닌 매끄럽고 연속적인 공간으로 취급하기 때문에, 전문가의 "수"가 무한대를 향해 증가하더라도 훈련이 안정적으로 유지됩니다.

한계점 (Limitations)

저자들은 자신들이 아직 해결하지 못한 부분에 대해서도 솔직하게 밝히고 있습니다:

규모 확장 (Scaling Up): 그들은 이 모델을 중간 규모의 모델로 테스트했습니다. 오늘날 기업들이 사용하는 거대한 모델(GPT-4 규모 등)에서도 어떻게 작동할지는 아직 확실하지 않지만, 잘 작동할 것으로 기대하고 있습니다.
하드웨어 속도: 수학적으로는 빨라야 하지만, 실제 컴퓨터 코드는 까다롭습니다. 단어 하나하나마다 켜지는 "전구"가 바뀌기 때문에, 표준 컴퓨터 칩이 이들을 한꺼번에 효율적으로 처리하기 어렵습니다. 그들은 이를 빠르게 실행하기 위해 특수한 코드를 작성해야 했으며, 여전히 개선의 여지가 있습니다.

요 요약

∞-MoE는 고정된 전문가 팀에서 형태가 변하는 무한한 팀으로 업그레이드하는 것과 같습니다. 100명의 특정 인원을 고용하는 대신, 당신은 이미 가지고 있는 부품만을 사용하여 매 질문마다 고유하고 완벽한 전문가를 즉석에서 만들어내는 마법 같은 기계를 갖게 됩니다. 이를 통해 AI는 거대한 정적 뇌의 비용에 짓눌리지 않고도 더 똑똑하고 유연해질 수 있습니다.

기술 요약: ∞-MoE: 전문가 집합을 무한대로 일반화하는 Mixture of Experts

1. 문제 정의

대규모 언어 모델(LLM)은 파라미터, 데이터, 연산량을 확장함으로써 상당한 성능 향상을 이루었습니다. 그러나 단순히 모델 크기를 키우는 것은 상당한 계산 및 메모리 오버헤드를 초래합니다. Mixture of Experts(MoE) 아키텍처는 각 토큰을 전문화된 전문가의 희소한 부분 집합으로 라우팅함으로써, 토큰당 연산 비용의 선형적 증가 없이 파라미터 용량을 확장하여 이 문제를 해결합니다.

이러한 이점에도 불구하고, 기존의 MoE는 전문가 수를 확장할 때 다음과 같은 한계에 직면합니다:

이산적 제약(Discrete Constraints): 전문가는 이산 공간 내에서 완전히 독립적인 개체로 취급됩니다.
학습 불안정성(Training Instability): 전문가 수가 증가함에 따라 각 전문가를 효과적으로 학습시키는 것이 어려워집니다.
라우터 오버헤드(Router Overhead): 전문가 풀을 공격적으로 늘릴 경우(예: 수백만 개), 라우터 오버헤드가 증가하거나 전문가가 과도하게 압축되어 정확도가 저하될 수 있습니다.

본 논문이 제기하는 핵심 질문은, 계산 효율성을 유지하면서 유한한 전문가 집합을 넘어 사실상 무한한 수의 전문가로 나아감으로써 성능을 더욱 개선할 수 있는가 하는 점입니다.

2. 방법론: ∞-MoE

저자들은 MoE를 이산적인 전문가 집합에서 연속적이고 잠재적으로 셀 수 없이 무한한 전문가 공간으로 일반화하는 프레임워크인 ∞-MoE를 제안합니다.

2.1 연속적 전문가 공간 (Continuous Expert Space)

라우터가 집합 $Z = \{1, \dots, n\}$ 에서 이산 인덱스 $i$ 를 선택하는 표준 MoE와 달리, ∞-MoE는 전문가 공간을 연속적인 도메인 $Z \subseteq \mathbb{R}^{d_z}$ 로 정의합니다.

라우터(Router): 라우터는 연속 공간 상의 확률 밀도 $p(z|x)$ 를 출력하며, 이는 가우시안 분포 $\mathcal{N}(z | \mu(x), \Sigma(x))$ 로 모델링됩니다.
샘플링(Sampling): 학습 및 추론 과정에서 모델은 $K$ 개의 연속적인 전문가 인덱스 $z^{(k)} \sim p(z|x)$ 를 샘플링합니다.
적분(Integration): 출력은 몬테카를로 샘플링을 통해 근사됩니다: $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ .

2.2 동적 마스킹을 통한 전문가 설계 (Expert Design via Dynamic Masking)

고정된 파라미터 예산 내에서 무한한 수의 전문가를 구현하기 위해, 저자들은 샘플링된 연속 인덱스 $z$ 를 사용하여 단일 피드 포워드 네트워크(FFN)를 변조합니다.

메커니즘: 샘플링된 $z$ 는 FFN의 중간 레이어에 있는 뉴런의 부분 집합을 동적으로 선택하는 마스크를 생성하는 데 사용됩니다.
구현:
1. 중간값 $\hat{m} = W_z z$ 를 계산합니다.
2. 가장 큰 $N\%$ 의 노드만을 유지하고 나머지는 0으로 설정하는 top- $N\%$ 연산자를 적용합니다.
3. 최종 전문가 출력은 $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ 가 됩니다.
효과: 각각의 서로 다른 샘플링된 $z$ 는 FFN 파라미터의 고유한 부분 집합을 활성화하며, 이를 통해 전통적인 MoE의 희소성 특성을 유지하면서도 연속적인 연속체로부터 구별되는 "전문가"를 효과적으로 생성합니다.

3. 주요 기여

이론적 일반화: 본 논문은 MoE를 이산적인 전문가 풀에서 연속적인 도메인으로 확장하는 정식화를 도입하여, 이론적으로 무제한의 전문가 수를 허용합니다.
효율적인 구현: 연속 샘플링과 동적 뉴런 마스킹을 결합함으로써, 방법론은 무한한 전문가의 용량을 달면서도 희소 라우팅의 계산 효율성(토큰당 아주 적은 비율의 파라미터만 활성화됨)을 보존합니다.
유연한 추론: 이 접근 방식은 추론 시 샘플 수 $K$ 를 조정함으로써 정확도와 속도 사이의 유연한 트레이드오프를 제공합니다.
커스텀 커널 최적화: 저자들은 마스킹 및 리덕션 연산을 효율적으로 처리하기 위해 퓨즈드(fused) CUDA 커널을 개발하여, 표준 PyTorch 구현 대비 1.25배의 속도 향상을 달了했습니다.

4. 실험 결과

저자들은 다양한 제로샷 NLP 벤치마크(BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE)에 대해 GPT-2 Small 및 GPT-2 Medium 아키텍처를 대상으로 ∞-MoE를 평가했습니다.

Dense 모델과의 성능 비교: GPT-2 Small 기반의 ∞-MoE(활성 파라미터 129M, 총 파라미터 186M)는 평균 점수 39.8을 기록하여, 동일한 점수(39.8)를 기록한 350M 파라미터 규모의 dense GPT-2 Medium과 대등한 성능을 보였습니다(∞-MoE는 더 적은 활성 파라미터를 사용함). 특히, ∞-MoE는 dense GPT-2 Small(38.5) 및 표준 MoE 변형 모델들을 능가했습니다.
표준 MoE와의 성능 비교: ∞-MoE는 모든 벤치마크에서 Switch Transformer (Top-1) 및 표준 MoE (Top-2)보다 일관되게 높은 성능을 보였습니다. GPT-2 Small의 경우, 평균 점수를 38.8(MoE)에서 39.8로 향상시켰습니다.
$K$ 에 따른 스케일링: 추론 시 샘플 수 $K$ 를 늘리면 추가적인 정확도 이득이 발생했습니다. 최소한의 샘플링( $K=1$ )만 사용하더라도, 모델은 표준 MoE 대비 2.5%의 정확도 향상을 유지했습니다.
안정성: 라우팅 엔트로피 측정 결과, 모델이 학습 중에 빠르게 안정화되었으며, 높은 정규화된 라우팅 엔트로피( $\approx 0.9$ )를 보여 전문가 공간이 균일하게 활용되고 있음을 나타냈습니다.
절제 연구 (Ablation Studies):
- 데이터셋 크기: HellaSwag에서의 성능은 학습 데이터 크기가 1,000억 토큰에 도달할 때까지 양의 상관관계로 증가했습니다.
- 인덱스 차원: 연속 인덱스 $z$ 의 차원을 높이면 $d_z=128$ 까지 성능이 향상되었으나, 그 이상의 차원에서는 더 이상의 이득이 관찰되지 않았습니다.

5. 의의 및 주장

본 논문은 ∞-MoE가 dense 모델의 높은 용량과 sparse MoE의 효율성 사이의 간극을 성공적으로 메운다고 주장합니다. 전문가를 연속적인 공간으로 취급함으로써, 이 방법은 거대한 이산적 전문가 풀과 관련된 학습 불안정성 없이 "무한한" 전문화를 가능하게 합니다.

저자들은 이 프레 framework가 유연한 속도-정확도 트레이드오프를 제공한다는 점을 강조합니다. 즉, 사용자는 재학습 없이 특정 지연 시간이나 하드웨어 제약 조건에 맞춰 추론 시 샘플링된 전문가 수( $K$ )를 조정할 수 있습니다.

6. 한계점 및 향 향후 과제

저자들은 몇 가지 한계와 열린 과제를 명시했습니다:

더 큰 모델로의 확장성: GPT-2 Medium보다 큰 모델(예: GPT-3 규모)에서 ∞-MoE의 동작, 특히 총 파라미터와 활성 파라미터 간의 트레이드오프에 대해서는 아직 완전히 이해되지 않았습니다.
라우터 분포: 현재 구현은 단일 모드 가우시안(unimodal Gaussian) 라우터를 사용합니다. 혼합 가우시안(Mixtures of Gaussians)과 같은 더 복적인 분포는 더 나은 커버리지를 제공할 수 있지만, 학습 분산과 샘플링 복잡성을 유발할 수 있습니다.
도메인 일반화: 비-NLP 도메인(예: Vision Transformer 또는 멀티모달 모델)에 대한 적용 가능성은 아직 탐구되지 않았습니다.
하드웨어 효율성: 이론적인 FLOPs는 낮지만, 활성화되는 뉴런 세트의 동적인 특성으로 인해 실제 처리량(throughput)이 저해될 수 있으며, 이는 배칭(batching)과 고정 형태 GEMM 사용을 어렵게 만듭니다. 저자들은 현재 구현이 마스크된 밀집 행렬 곱셈(masked dense matrix multiplications)을 통해 처리량을 우선시하고 있다고 언급했으나, 이론적 계산 절감과 실제 속도 사이의 간극을 좁히기 위해서는 추가적인 시스템 수준의 최적화가 필요합니다.