💻 computer science

Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster

이 논문은 훈련과 추론 과정 모두에서 이 제약을 일관되게 적용함으로써, MoE 모델 서빙 중 메모리 점유율과 전문가 전송을 획기적으로 줄이기 위해 시퀀스당 소수의 전문가를 고정하는 시퀀스 로컬 전문가 로스터 전략을 제안하며, 이를 통해 훨씬 적은 상주 가중치로도 거의 전체 상주 수준의 처리량을 달성한다.

원저자: ChaeWoo Son

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: ChaeWoo Son

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

텍스트를 생성하는 현대의 인공지능 시스템은 종종 '전문가 혼합(mixture of experts)'이라 불리는 설계 방식에 의존합니다. 이를 방대한 지식을 가진 전문 작업자들이 모인 거대한 도서관이라고 상상해 보십시오. 각 작업자는 특정하고 좁은 주제에 정통한 전문가입니다. 시스템이 질문에 답해야 할 때, 시스템은 모든 전문가를 한꺼번에 활성화하지 않습니다. 대신, 그 순간에 가장 관련성이 높은 극소수의 전문가만을 선택합니다. 이러한 접근 방식 덕분에 시스템은 매우 거대하고 유능하면서도, 단어를 하나 생성할 때마다 비교적 적은 컴퓨팅 자원을 사용할 수 있습니다. 그러나 이러한 시스템을 일반적인 컴퓨터에서 구동할 때는 심각한 병목 현상이 발생합니다. 비록 특정 순간에는 소수의 전문가만 사용되지만, 컴퓨터의 메모리는 다음에 어떤 전문가가 필요할지 미리 알 수 없기 때문에 전체 전문가 라이브러리를 즉시 사용할 수 있도록 대기 상태로 유지해야 합니다. 이 요구 사항 때문에 전체 메모리 크기는 사용되는 작은 그룹이 아니라 전체 라이브러리의 크기에 맞춰져야 하며, 이는 메모리가 제한된 기기에서 이러한 강력한 모델을 실행하는 것을 어렵게 만듭니다.

연구자들은 사용하지 않는 전문가들을 하드 드라이브에 저장해 두었다가 필요할 때마다 메모리로 불러오는 방식으로 이를 해결하려 노력했습니다. 하지만 이는 새로운 문제를 야기했습니다. 시스템이 흩어진 방식으로 전문가를 선택하기 때문에, 끊임없이 새로운 전문가를 불러오게 되어 프로세스가 느려지는 것입니다. 독립 연구자인 손채우(ChaeWoo Son)가 이끄는 팀은 다른 질문을 던졌습니다. 컴퓨터가 흩어진 전문가를 빠르게 불러오는 방법을 찾는 대신, 시스템이 하나의 대화가 진행되는 동안 자연스럽게 작고 일관된 전문가 그룹에 머물도록 바꿀 수는 없을까? 그들은 시스템이 '시퀀스 로컬(sequence-local)'이 되도록, 즉 대화가 시작되면 동일한 소규모 팀이 전체 대화 흐름을 처리하도록 훈련시켜, 컴퓨터가 해당 팀만을 메모리에 유지할 수 있는지 확인하고자 했습니다.

연구진은 먼저 이 행동을 시스템에 직접 가르치려고 시도했습니다. 그들은 모델이 현재 대화에서 이미 사용했던 전문가를 선호하도록 훈련시켜, 이 습관이 시스템의 지능의 일부로 영구적으로 자리 잡기를 바랐습니다. 연구 결과, 훈련이 진행되는 동안에는 이 기술이 효과가 있었지만, 그 행동은 지속되지 않았습니다. 훈련 압박이 제거되자마자 시스템은 이전의 흩어진 습관으로 돌아갔습니다. 심지어 시스템이 자신의 편향된 선택으로부터 학습하도록 강화하려 했을 때도, 과정은 불안정해졌고 텍스트의 품질은 저하되었습니다. 연구는 시스템이 새로운 기술을 배우는 것이 아니라, 단지 일시적인 규칙에 반응하고 있을 뿐이라는 결론을 내렸습니다. 연구진은 시스템이 이 행동을 내면화하도록 강요하는 것이 잘못된 접근 방식임을 깨달았습니다.

시스템의 '뇌'를 바꾸는 대신, 연구진은 게임의 규칙을 바꾸기로 했습니다. 그들은 훈련 중과 실제 사용 시 모두 적용되는 엄격하고 영구적인 규칙을 부과했습니다. 이 새로운 규칙 아래에서는, 텍스트의 첫 몇 단어를 바탕으로 모든 대화에 소수의 고정된 전문가 팀이 배정됩니다. 일단 이 팀이 선택되면, 시스템은 해당 대화가 끝날 때까지 다른 누구로도 교체될 수 없습니다. 이 규칙은 마치 예산처럼 작동합니다. 컴퓨터는 오직 그 특정 소규모 팀만을 빠른 메모리에 유지하면 되고, 나머지 라이브러리는 더 느린 저장 장치에 머물 수 있습니다. 팀이 대화 내내 고정되어 있기 때문에, 컴퓨터는 전문가를 계속해서 넣었다 뺐다 할 필요가 없습니다.

이 접근 방식의 결과는 놀라웠습니다. 연구진이 이 규칙을 테스트 모델에 적용하고 새로운 제약 조건에 적응하도록 짧은 재학습 기간을 부여했을 때, 시스템은 규칙이 없을 때와 거의 비슷하게 성능을 발휘하면서도 메모리 사용량은 대폭 줄였습니다. 테스트 결과, 전체 전문가의 4분의 1만을 메모리에 유지하면서도 기존 방식과 거의 동일한 속도를 달升할 수 있었습니다. 시스템은 기존 방식에 비해 느린 저장 드라이브에서 데이터를 가져와야 하는 횟수를 32배나 줄였습니다. 텍s 품질은 가장 극단적인 메모리 절감 시나리오에서 약 5% 정도 약간 떨어졌지만, 이러한 트레이드오프 덕분에 모델을 훨씬 더 작고 접근 가능한 하드웨어에서 실행할 수 있었습니다.

또한 이 연구는 이러한 시스템이 어떻게 학습하는지에 대한 예상치 못한 통찰을 보여주었습니다. 연구진은 이러한 메모리 제약 없이 모델을 오래 훈련할수록, 나중에 이 효율적인 패턴으로 강제하는 것이 더 어려워진다는 것을 발견했습니다. 시스템의 주의력을 분산시키려는 자연스러운 경향은 시간이 지남에 따라 더 강해지며, 이는 사후에 메모리 제한에 적응하는 데 더 많은 비용을 들게 만듭니다. 이는 만약 우리가 이러한 모델을 일상적인 기기에서 효율적으로 만들고 싶다면, 문제가 발생한 후에 해결하려 하기보다 처음부터 효율적이 되도록 가르쳐야 할 수도 있음을 시사합니다.

이 연구는 모든 가능한 상황에 대한 해결책을 제시한다고 주장하는 것이 아니며, 연구진은 자신들의 테스트가 합성 데이터와 더 작은 모델을 대상으로 수행되었음을 주의 깊게 명시했습니다. 그들은 대화 도중 주제가 갑작스럽게 바뀌면 고정된 전문가 팀이 어려움을 겪을 수 있다는 점을 관찰했지만, 테스트 결과 주제가 바뀌더라도 시스템이 약간의 품질 저하를 감수하며 적응할 수 있음을 보여주었습니다. 이 연구는 메모리 제약을 학습 목표가 아닌 하나의 규칙으로 취급함으로써, 이러한 거대 모델을 훨씬 더 실용적으로 만들 수 있다는 개념 증명 역할을 합니다. 이는 더 빠른 하드웨어를 만드는 것에서 벗어나, 시스템이 자원을 사용하는 더 스마트한 규칙을 설계하는 쪽으로 초점을 옮김으로써, 현재로서는 너무 작아 담을 수 없는 기기에서도 강력한 인공지능이 실행될 수 있는 길을 열어줍니다.

기술 요약: Predatory MoE: 시퀀스 국소적 전문가 로스터를 이용한 Mixture-of-Experts 서빙

문제 정의

오픈 웨이트 Mixture-of-Experts (MoE) 모델은 토큰당 전체 파라미터의 극히 일부만을 활성화함으로써 높은 성능을 달amate합니다. 그러나 메모리가 제한된 단일 가속기 환경에서 이러한 모델을 서빙할 때는 일반적으로 모든 전문가(expert)를 메모리에 상주시켜야 하므로, 메모리 점유율이 활성 파라미터 수가 아닌 전체 파라미터 수에 따라 결정됩니다.

기존의 솔루션들은 비활성 전문가를 호스트 메모리나 디스크로 오프로딩하고 필요할 때마다 가져오는 방식을 사용합니다. 기존 시스템들은 발생하는 라우팅 수요에 적응합니다 (예: LRU 캐시 또는 예측적 프리페칭 사용). 그러나 제약 없는 라우팅은 유한한 캐시에 "적대적"일 수 있습니다. 토큰 수준의 라우터는 어떤 토큰에서든 임의의 전문가를 선택할 수 있어 빈번한 가중치 전송을 유발하기 때문입니다. 저자의 32개 전문가 테스트베드에서, 제약 없는 모델은 256개 토큰 시퀀스당 평균 28개의 전문가를 호출했습니다. 본 논문은 라우팅 수요 패턴 자체를 **시퀀스 국소적(sequence-local)**으로 변경하여, 각 시퀀스가 소수의 고정된 전문가 로스터(roster)에 의해 서비스되도록 함으로써, 상주 메모리가 전체 전문가 수가 아닌 로스터 예산(budget)을 따르게 할 수 있는지 질문합니다.

방법론

본 논문은 시퀀스 국소성을 달성하기 위한 두 가지 주요 접근 방식, 즉 이를 모델 가중치에 학습시키는 것과 라우팅 규칙으로 부과하는 것을 조사합니다.

1. 시퀀스 국소성 학습 시도

저자는 먼저 "부익부 빈익빈" 선택 편향(증폭기 편향, amplifier bias)을 사용하여 시퀀스 국소성을 학습 목표로 주입할 수 있는지 탐구했습니다. 이 편향은 해당 시퀀스 내에서 이미 사용된 전문가를 남은 시퀀스 동안 더 선호하도록 합니다.

결과: 이 편향은 활성 상태일 때 작동 집합(working set) 크기를 줄였으나, 국소성이 지속되지는 않았습니다.
- 타이밍 민감도: 편향은 학습 시작부터 적용되었을 때만 라우팅을 영구적으로 재형성했습니다. 학습 후반부에 적용했을 때는 즉각적인 선택 효과만 나타날 뿐 추가적인 적응은 일어나지 않았습니다.
- 회귀 현상: 학습 중간에 편향을 제거하면, 편향되지 않은 학습이 계속됨에 따라 라우팅이 다시 분산된 패턴으로 회귀하여 원래의 작동 집합 크기로 돌아갔습니다.
- 증류 실패: 자기 증류(self-distillation, 라우터가 자신의 편향된 선택을 모방하도록 학습)를 통해 편향을 내재화하려는 시도는 타겟이 계속 변하는 문제를 야기하여 라우팅을 불안정하게 만들고 모델 품질을 저하시켰습니다.
결론: 시퀀스 국소성은 학습된 가중치의 속성이 아니라 라우팅 절차의 속성처럼 행동했습니다.

2. 로스터 라우팅 규칙 (The Roster Routing Rule)

학습 기반 접근 방식의 실패를 바탕으로, 저자는 학습과 서빙 시 동일하게 적용되는 라우팅 규칙으로서 시퀀스 국소성을 부과했습니다.

메커니즘:
- 각 시퀀스는 레이어당 전문가 선택 횟수를 추적합니다.
- 가장 많이 사용된 상위 $m$ 개의 전문가로 로스터 $R$ 이 형성됩니다.
- 탐색 단계 (Exploration Phase): $m$ 개의 서로 다른 전문가가 사용될 때까지는 편향이 적용되지 않습니다.
- 장벽 단계 (Barrier Phase): 로스터가 가득 차면, 로스터 멤버는 선택 보너스 $+\delta$ 를 받고 비멤버는 $-\delta$ 를 받습니다. 비멤버가 로스터에 진입하려면 $2\delta$ 의 점수 격차를 극복해야 하며, 이때 가장 적게 사용된 멤버를 밀어내게 됩니다.
- 고정 (Pinning - 서빙 시): 배포 시, 짧은 프리픽스(예: 시퀀스의 20%) 이후 로스터가 고정됩니다. 이후의 디코딩은 이 고정된 로스터 내로 제한됩니다.
리트로핏 (Retrofitting): 사전 학습된 모델의 경우, 저자는 고정된 규칙(핀닝 활성화) 하에서 수행되는 600단계 미세 조정(fine-tuning) 단계를 제안합니다. 이를 통해 전문가들이 라우터 스스로 국소성을 학습할 필요 없이, 규칙이 만들어낸 트래픽 패턴에 적응할 수 있게 합니다.

주요 기여

학습 기반 국소성에 대한 실증적 분석: 타이밍 민감도, 회귀 현상, 라우터 증류의 자기 참조적 불안정성을 통해 시퀀스 국로성이 지속적인 목표로서 학습되기 어렵다는 것을 보여주는 통제된 분석을 제공했습니다.
로스터 예산 라우팅 규칙: 국소성을 창발적 행동이 아닌 명시적이고 예산이 정해진(budget $m$ ) 절차적 제약으로 취급하는 메커니즘을 제안했습니다. 이 규칙은 안정적인 학습 역학을 유지하며, 시퀀스당 작동 집합을 예산 $m$ 에 가깝게 유지합니다.
리트로핏 레시피: 짧은 미세 조정(600단계)을 통해 사전 학습된 모델을 로스터 규칙에 적응시키는 방법을 제시합니다. 이 과정은 규칙을 부착할 때 발생하는 품질 저하 없이, 처음부터 규칙 하에 학습된 모델의 성능과 일치하는 결과를 보여줍니다.
서빙 분석: 매칭된 메모리 예산 하에서 표준 캐싱 전략과 비교했을 때 전문가 전송을 획기적으로 줄이는 것을 보여주는 트레이스 기반 시뮬레이션을 수행했습니다.

결과

품질 및 예산 트레이드오프

처음부터 학습 (From-Scratch Training): $m=4$ (8개 전문가 중)로 로스터 규칙 하에서 학습했을 때, 베이스라인 대비 퍼플렉시티(perplexity) 증가가 $+0.27\%$ 에 불과하면서 작동 집합이 $\approx 4.18$ 로 나타났습니다.
리트로핏 (Retrofitting): 사전 학습된 모델에 미세 조정 없이 규칙을 적용하면 큰 퍼플렉시티 상승( $+32\%$ )이 발생했습니다. 그러나 핀닝이 적용된 규칙 하에서 600단계 미세 조정을 거치자, 이 비용은 $m=4$ 일 때 $+0.9\%$ , 32개 전문가 모델에서 $m=8$ 일 때 $+5.0\%$ 로 감소했습니다.
규모 (Scale): 32개 전문가 테스트베드에서, 미세 조정을 통해 핀닝 $m=8$ (메모리 75% 감소) 적용 시의 비용을 제로샷 부착 시의 $\sim 9\times$ 퍼플렉시티 배수와 비교하여 $+5.0\%$ 퍼플렉시티로 낮추었습니다.
서빙 가능성의 침식 (Erosion of Serveability): 저자는 무제ら한 학습이 모델의 로스터 서빙 적합성을 점진적으로 침식시킨다는 것을 관찰했습니다. 퍼플렉시티가 수렴한 후에도 지속적인 학습은 핀닝된 로스터 하에서의 서빙 비용을 증가시켰으며, 이는 서빙 제약이 학습 중에 노출되어야 함을 시사합니다.

서빙 성능 (트레이스 기반 시뮬레이션)

매칭된 메모리 예산(전문가 가중치의 25% 상주) 하에서:

전송 감소: 로스터 서в링 모델은 unconstrained 모델을 사용하는 LRU 캐시 대비 전문가 전송을 최대 32배 줄였습니다.
처리량 (Throughput): 로스터 서빙 모델은 전체 상주 디코딩 처리량의 **94%**를 회복한 반면, LRU 서빙되는 unconstrained 모델은 33%만을 달성했습니다.
지연 시간 (Latency): 로스터 방식은 스톨(stall) 시간을 0.01 ms/token 근처로 줄여, 30.3 ms/token을 기록한 LRU 베이스라인과 대조를 이루었습니다.

의의 및 주장

본 논문은 시퀀스별 전문가 국소성이 (모델이 학습하도록 요구되는 행동이 아니라, 지정되고 예산이 정해진 데 더 적합한) 라우팅 절차의 일부로 다뤄질 때 더 자연스럽게 처리된다고 주장합니다.

실질적 영향: 제안된 방법은 (예: 25%의 전문가 메모리만 상주시키면서) 거의 전체 상주 처리량을 회복하면서도 대규모 MoE 모델을 서빙할 수 있게 해줍니다 (예: $+5.0\%$ 의 완만한 퍼플렉시티 증가를 대가로).
범위 및 한계: 저자는 정량적 결과가 합성된 단일 도메인 테스트베드(최대 32개 전문가)에서 나왔음을 명시합니다. 이 결과가 검증 없이 생산 규모의 모델이나 멀티 스트림 배치 서빙에 직접 일반화될 것이라고 주장하지 않습니다.
향후 과제: 저자는 기존 오픈 웨이트 MoE의 라우팅 트레이스를 분석하고, 작은 오픈 MoE를 실제 데이터로 미세 조정하여 리트로핏 레시피와 "침식" 가설을 테스트하는 등 검증을 위한 경로를 제시합니다.
외삽 (Extrapolation): 저자는 2.4T 파라미터 모델의 경우 로스터 서빙을 통해 워크스테이션 규모(예: $m=32$ 일 때 약 97 GB)로 footprint를 줄일 수 있다는 산술적 추정치를 제공하지만, 이는 실제 라우팅 패턴 및 아키텍처 세부 사항에 대한 검증되지 않은 가정에 기반한 차수(order-of-magnitude) 추정치임을 강조합니다.

요약하자면, 본 논문은 적대적인 라우팅 수요를 감당하는 시스템 엔지니어링에서, 라우팅 수요 자체를 서빙 가능하도록 설계하는 엔지니어링으로의 전환을 제 제안하며, 절차적인 "로스터 규칙"과 짧은 미세 조정을 결다면 통제된 환경에서 상당한 메모리 및 처리량 이득을 얻을 수 있음을 입증합니다.