💬 NLP

MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs

O MoE-Prism é um framework de co-design entre modelo e sistema que possibilita a elasticidade de computação ao nível de requisição em serviços de Mixture-of-Experts (MoE) ao decompor especialistas monolíticos em subespecialistas granulares e implementar um tempo de execução $k$ -aware, melhorando significativamente o throughput e reduzindo a latência para cargas de trabalho heterogêneas.

Autores originais: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja administrando uma biblioteca massiva e superinteligente, onde os livros não são escritos por humanos, mas por um cérebro digital gigante chamado Modelo de Linguagem de Grande Escala (LLM). Esses cérebros estão ficando maiores e mais inteligentes a cada dia, mas também são incrivelmente famintos por eletricidade e poder computacional. Para torná-los mais rápidos e baratos de operar, cientistas inventaram um truque inteligente chamado "Mistura de Especialistas" (Mixture-of-Experts ou MoE). Pense em um modelo MoE não como um único cérebro gigante, mas como uma equipe de muitos especialistas menores trabalhando juntos. Quando você faz uma pergunta, o sistema não acorda toda a equipe; ele apenas chama alguns especialistas específicos que são melhores naquele tópico. Isso é como pedir a um bibliotecário para buscar apenas livros da seção de "Ficção Científica" em vez de arrastar a biblioteca inteira até a sua mesa.

No entanto, há uma pegadinha: atualmente, esses sistemas são um pouco rígidos. Não importa se você está fazendo uma pergunta simples como "Qual é o tempo?" ou uma complexa como "Analise este contrato jurídico de 50 páginas", o sistema frequentemente acorda exatamente o mesmo número de especialistas. É como contratar uma equipe de construção inteira para pendurar um único porta-retratos, ou enviar um único estagiário para construir um arranha-céu. Isso desperdiça energia em tarefas fáceis ou pode não dar poder suficiente para tarefas difíceis. A grande questão que os pesquisadores estão fazendo é: Podemos tornar esses sistemas de IA mais flexíveis, permitindo-nos aumentar ou diminuir o número de especialistas com base na dificuldade real do trabalho, tudo isso mantendo o sistema rápido e eficiente?

É exatamente isso que os pesquisadores por trás do MOE-PRISM se propuseram a resolver. Eles perceberam que, embora a ideia de "ajustar para cima ou para baixo" os especialistas pareça ótima, a tecnologia atual é muito desajeitada para fazer isso de forma suave. Eles descobriram que o sistema existente trata cada especialista como um tijolo gigante e indivisível — você não pode usar meio tijolo. Se você precisa de um pouco menos de potência, tem que remover um especialista inteiro, o que é um salto enorme que muitas vezes estraga a qualidade da resposta. Além disso, quando o sistema tenta lidar com muitas solicitações ao mesmo tempo (como uma biblioteca movimentada), ele tende a agrupá-las todas e usar a configuração "maior" para todos, desperdiçando energia nas tarefas fáceis apenas para manter o tamanho do lote (batch size) grande.

Para corrigir isso, a equipe construiu um novo framework chamado MOE-PRISM. Eles abordaram o problema de dois ângulos: o "modelo" (o próprio cérebro) e o "sistema" (o gerente da biblioteca).

Primeiro, no lado do modelo, eles inventaram uma maneira de quebrar esses "tijolos de especialistas" gigantes em pedaços menores e mais finos. Imagine pegar um bloco grande e pesado de queijo e cortá-lo em muitos cubos menores. Eles fizeram isso observando como os neurônios internos da IA (as minúsculas unidades de processamento dentro de um especialista) se iluminam quando ela trabalha. Eles notaram que, para qualquer tarefa específica, apenas um subconjunto desses neurônios realmente importa. Assim, eles fatiaram os especialistas em "sub-especialistas" menores que agrupam esses neurônios importantes. Isso permite que o sistema escolha, por exemplo, 12,5 sub-especialistas em vez de ser forçado a escolher entre 12 ou 13 especialistas inteiros. Isso lhes dá um "dial" muito mais suave para controlar quanta potência computacional é usada, sem a necessidade de treinar todo o modelo de IA do zero.

Segundo, no lado do sistema, eles criaram um "gerente" mais inteligente para a biblioteca. Em vez de apenas jogar todas as solicitações em um grande monte e usar a configuração mais alta para todos, este novo gerente agrupa as solicitações que precisam de quantidades de potência semelhantes. Se chegarem várias perguntas fáceis, elas serão processadas juntas com uma configuração de baixa potência. Se chegarem várias perguntas difíceis, elas terão seu próprio grupo de alta potência. Isso evita que o sistema desperdice energia ao superatender as tarefas fáceis apenas para manter o lote cheio. Eles também construíram um "controlador de tráfego" especial que lida com os gráficos de computador (gráficos CUDA) de forma eficiente, garantindo que, mesmo com todas essas configurações diferentes, o sistema não fique sobrecarregado por problemas de memória.

Quando testaram o MOE-PRISM em três modelos de IA populares, os resultados foram promissores. Eles descobriram que, ao usar esses especialistas de granularidade mais fina e o escalonamento mais inteligente, poderiam aumentar o número de "configurações de potência" disponíveis em 4 vezes. Em seus testes, isso levou a uma melhoria de 33,9% na capacidade de processamento (throughput) para tarefas offline. Para tarefas online, onde a velocidade é crítica, reduziu o tempo para gerar a primeira palavra de uma resposta (Time-to-First-Token) ao lidar com cargas de trabalho mistas.

O artigo sugere que esta abordagem não apenas economiza dinheiro em eletricidade, mas torna a IA mais adaptável. Prova que você pode ter um único modelo de IA que pode ser "elástico", esticando seu poder computacional para tarefas difíceis e encolhendo-o para tarefas fáceis, tudo isso sem quebrar o banco ou diminuir a velocidade. Embora os testes atuais tenham sido feitos em configurações específicas com duas placas de vídeo, os resultados indicam que este "refatoramento" da estrutura interna da IA e o "repensar" de como escalonar seu trabalho podem ser um passo importante para uma IA mais eficiente e flexível no mundo real.

Resumo Técnico: MOE-PRISM

1. Declaração do Problema

Arquiteturas de Mixture-of-Experts (MoE) tornaram-se centrais para grandes modelos de linguagem (LLMs) para escalar a capacidade sem aumentos proporcionais de computação. No entanto, os sistemas de serviço de MoE existentes normalmente executam todas as requisições sob uma configuração de roteamento fixa (um top- $k$ estático), falhando em explorar os requisitos de computação heterogêneos entre diferentes requisições. Embora algumas abordagens alcancem a "elasticidade de computação ao nível da requisição" através do cascateamento de múltiplos modelos ou do uso de mecanismos de saída antecipada (early-exit), esses métodos introduzem custos significativos de memória/implantação ou exigem mudanças arquiteturais e de treinamento especializadas.

O artigo identifica duas lacunas primárias que impedem a eficácia da elasticidade ao nível da requisição dentro de uma única instância de MoE:

Unidades de Roteamento de Grão Grosso: O roteamento nativo de MoE trata especialistas inteiros como unidades indivisíveis. Reduzir o orçamento de roteamento $k$ em um remove um especialista inteiro, causando uma queda brusca e discreta na qualidade do modelo e limitando os pontos de operação disponíveis no espaço de compromisso entre computação e qualidade.
Agrupamento Heterogêneo Ineficiente: Sistemas de serviço como o vLLM utilizam continuous batching. Quando requisições com diferentes orçamentos de roteamento são misturadas, o sistema normalmente executa o lote no $k$ máximo solicitado para garantir a qualidade, levando ao "super-serviço" (over-serving) e desperdício de computação. Por outro lado, dividir lotes para preservar orçamentos fragmenta a execução, reduzindo o throughput.

2. Metodologia: MOE-PRISM

O MOE-PRISM é um framework de suporte a modelo e sistema projetado para permitir a elasticidade de computação ao nível da requisição dentro de uma única instância de serviço de MoE. Ele aborda o problema através de dois componentes co-projetados:

A. Mecanismo de Refatoração de Modelo (Lado do Modelo)

Este componente transforma o modelo para expor um espectro mais denso de pontos de operação de roteamento sem exigir retreinamento de ponta a ponta.

Decomposição de Especialistas: O mecanismo perfila as ativações de neurônios intermediários em dados de calibração. Ele observa que a massa de ativação dentro de um especialista está concentrada em subconjuntos de neurônios dependentes do token.
Particionamento de Sub-especialistas: Usando um resolvedor de otimização de partição (inicialização gulosa seguida de simulated annealing), cada especialista monolítico é fatiado em $N$ sub-especialistas mais finos e disjuntos. O particionamento visa agrupar neurônios que co-ativam entre tokens, garantindo que pular um sub-especialista minimize a perda de qualidade.
Reconstrução de Gating: O sistema reconstrói a interface de roteamento para os novos sub-especialistas via dois caminhos:
1. Proxy Livre de Treinamento: Um mecanismo de seleção hierárquica que utiliza estatísticas de co-ativação para pontuar sub-especialistas, permitindo implantação imediata.
2. Ajuste Fino Apenas do Gate: Uma adaptação de baixo custo onde apenas os pesos do roteador são ajustados (com o restante do modelo congelado) para alinhar-se com o espaço expandido de sub-especialistas, maximizando a fidelidade.

B. Tempo de Execução de Serviço Ciente de $k$ (Lado do Sistema)

Este componente gerencia a execução de orçamentos de roteamento heterogêneos de forma eficiente.

Escalonador de Serviço Ciente de $k$ :
- Offline (Orientado a Throughput): Utiliza separação temporal via agrupamento por níveis de qualidade. As requisições são ordenadas por seu orçamento de roteamento ( $k$ ) e agrupadas em níveis. O escalonador decide se despacha um lote residual imediatamente ou se o mescla com o próximo nível com base em uma heurística local de throughput, minimizando o super-serviço enquanto mantém a plenitude do lote.
- Online (Sensível à Latência): Utiliza separação espacial via roteamento baseado em faixas (lanes). Os ranks de paralelismo de dados (DP) são particionados em faixas de "baixo- $k$ " e "alto- $k$ " com uma fronteira suave e adaptável. Isso evita a mistura de orçamentos vastamente diferentes no mesmo fluxo de execução, evitando ao mesmo tempo o particionamento rígido que poderia causar acúmulo de filas.
Executor de Grafo Segmentado: Para lidar com o aumento dos estados de roteamento sem explodir o uso de memória do CUDA Graph, o executor divide o bloco Transformer na fronteira Attention-MoE.
- Segmentos de Atenção: Compartilhados entre diferentes valores de $k$ (insensíveis ao roteamento).
- Segmentos de MoE: Especializados pelo orçamento de roteamento $k$ (sensíveis ao roteamento).
- Este design permite que o sistema mantenha a eficiência do CUDA Graph enquanto suporta a execução dinâmica de $k$ .

3. Principais Contribuições

Método de Refatoração de Modelo: Uma técnica para decompor especialistas monolíticos em sub-especialistas e reconstruir a rede de gating, permitindo que um único modelo exponha pontos de operação de roteamento mais densos. Suporta implantação livre de treinamento e ajuste fino opcional apenas do gate.
Tempo de Execução de Serviço Ciente de $k$ : Uma extensão para o vLLM que combina escalonamento ciente de orçamento (separação temporal e espacial) com execução eficiente de $k$ -dinâmico via executor de grafo segmentado.
Integração de Sistema e Avaliação: Integração total no vLLM e avaliação em três modelos MoE representativos (OLMoE, DeepSeek-V2-Lite, Qwen3), demonstrando elasticidade prática.

4. Resultados Experimentais

Os autores avaliaram o MOE-PRISM em três modelos usando o framework vLLM em GPUs A100, RTX A6000 e H800.

Throughput (Offline): O MOE-PRISM melhorou o throughput de inferência offline em até 33,9% em comparação com as linhas de base. Os ganhos advêm tanto da capacidade de executar $k$ mais baixo (via refatoração) quanto da capacidade do escalonador de agrupar requisições similares para evitar o super-serviço.
Latência (Online): Sob cargas de trabalho heterogêneas, o MOE-PRISM reduziu o Time-to-First-Token (TTFT), particularmente em altas cargas, onde as linhas de base sofrem com atrasos de fila e latência de cauda.
Acurácia: A refatoração do modelo preservou amplamente a acurácia dos modelos originais. Em alguns casos (ex: OLMoE e Qwen3 em orçamentos mais baixos), os modelos refatorados alcançaram uma perplexidade ou acurácia em tarefas de downstream modestamente melhor, sugerindo que a nova estrutura suporta uma seleção de especialistas eficaz sob computação restrita.
Estudos de Ablação:
- Refatoração: Confirmou que a decomposição de grão fino reduz significativamente o excesso de orçamento de roteamento em comparação com o arredondamento de grão grosso.
- Grafo Segmentado: Mostrou que o executor reduz o uso de memória do grafo em ~84% (comparado a uma abordagem padrão ciente de $k$ ) com penalidade de throughput negligível (<0,2%).
- Escalonamento: Demonstrou que a execução de $k$ -dinâmico por si só é insuficiente; o escalonamento explícito é necessário para evitar interferência entre diferentes $k$ e realizar ganhos de desempenho de ponta a ponta.

5. Significância e Alegações

O artigo alega que o MOE-PRISM demonstra a viabilidade prática da elasticidade de computação ao nível da requisição no serviço de MoE. Ao tratar o top- $k$ de roteamento como um controle de tempo de execução em vez de uma configuração arquitetural fixa, o sistema pode:

Servir requisições com variados requisitos de qualidade/computação dentro de uma única instância de modelo implantada.
Traduzir orçamentos de roteamento heterogêneos em melhorias tangíveis de latência e throughput de ponta a ponta.
Evitar o overhead de memória e implantação associado ao cascateamento de múltiplos modelos.

Os autores observam uma limitação: a avaliação está atualmente restrita a ambientes de teste de duas GPUs, o que representa o ambiente mínimo não trivial para validar o mecanismo central. Eles não alegam escalabilidade imediata para clusters massivos sem engenharia adicional, mas os resultados estabelecem os princípios fundamentais de co-design modelo-sistema para o serviço elástico de MoE.