🤖 machine learning

WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware

Este artigo apresenta o WiSP, um sistema de gerenciamento de conjunto de trabalho sensível ao roteamento para modelos Mixture-of-Experts em hardware de baixo recurso que pagina dinamicamente os pesos dos especialistas e otimiza a alocação de VRAM entre os especialistas e o cache KV para melhorar significativamente o throughput de decodificação sem modificar o motor de serviço subjacente.

Autores originais: Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O IA "Grande Demais para Caber"

Imagine que você tem uma biblioteca enorme de livros (o modelo de IA) que contém centenas de bilhões de páginas. Você quer ler uma história específica em um e-reader pequeno e portátil (uma placa de vídeo padrão, ou GPU).

O problema é que o e-reader não tem memória suficiente para guardar a biblioteca inteira de uma vez. No entanto, para qualquer frase específica que você leia, você só precisa de algumas páginas específicas de alguns livros específicos. O resto da biblioteca fica sem uso.

As soluções atuais tentam resolver isso mantendo a biblioteca inteira em um armazém (a memória principal do computador) e correndo até o armazém para buscar as páginas de que você precisa toda vez que vira uma página. Isso é lento porque a viagem até o armazém (transferência de dados) leva muito tempo.

A Solução WiSP: O "Bibliotecário Inteligente"

Os autores criaram um sistema chamado WiSP (Paging de Conjunto de Trabalho). Em vez de correr ao armazém para cada página, o WiSP age como um bibliotecário inteligente que observa o que você está lendo e mantém uma pilha pequena e curada dos livros que provavelmente serão necessários bem na sua mesa (a memória da GPU).

Aqui está como ele funciona em três partes simples:

1. A "Pilha Inteligente" (Expert Paging)

Em modelos de IA chamados "Mixture-of-Experts" (MoE), o modelo possui muitos "especialistas" diferentes (submodelos especializados), mas ele usa apenas alguns para cada palavra que gera.

Jeito Antigo: O sistema busca todos os especialistas para uma camada, mesmo que use apenas dois deles. Isso desperdiça espaço e tempo.
Jeito WiSP: O WiSP mantém apenas os especialistas específicos que você está realmente usando na sua mesa. Se você precisar de um novo especialista, ele troca rapidamente um da pilha por um novo, buscando-o no armazém.
O Resultado: Como ele só move as pequenas partes que você realmente precisa, é muito mais rápido. O artigo descobriu que, em computadores pequenos, isso faz a IA rodar até 2 vezes mais rápido do que o método antigo.

2. A "Mesa Compartilhada" (Alocação de Memória)

Sua mesa (memória da GPU) é muito pequena. Você tem duas coisas disputando espaço:

A Pilha de Especialistas: Os livros que você precisa ler agora.
As Notas de Contexto (KV Cache): As notas que você escreveu até agora sobre a história, para não esquecer o que aconteceu.

Se você encher sua mesa com muitos livros, não terá espaço para suas notas. Se encher com muitas notas, não poderá pegar os livros que precisa.

A Solução WiSP (MV-WSA): Esta é uma regra inteligente que decide como dividir o espaço da sua mesa. Ela pergunta constantemente: "É mais útil ter mais livros na mesa ou mais notas?"
Ela ajusta a divisão dinamicamente. Se você estiver escrevendo uma história longa, ela te dá mais espaço para notas. Se estiver mudando de assunto rapidamente, ela te dá mais espaço para livros. Isso garante que você nunca fique sem espaço para nenhum dos dois.

3. O Mito da "Bola de Cristal" (Por que a Predição Não Ajudou)

Os pesquisadores se perguntaram: "E se usarmos uma bola de cristal (predição de IA) para adivinhar qual livro você precisará a seguir e buscá-lo antes de você pedir?"

A Surpresa: Eles descobriram que, neste cenário específico (lendo uma frase por vez), a predição não torna o processo mais rápido.
Por quê? A "estrada" (conexão de dados) entre o armazém e a mesa é muito estreita. Mesmo que você adivinhe perfeitamente, o caminhão só consegue carregar o que cabe de uma vez. O gargalo não é adivinhar o livro certo; é a velocidade do caminhão.
O Valor Real: A "bola de cristal" ainda é útil, mas não para velocidade. Ela ajuda o bibliotecário a saber exatamente o tamanho ideal da pilha para você especificamente. Isso permite que o sistema encolha a pilha para o tamanho perfeito, liberando mais espaço na mesa para suas notas.

O Resumo Final

O artigo argumenta que rodar grandes modelos de IA em computadores pequenos é um problema de gerenciamento de memória, não apenas um problema de computação.

WiSP é uma ferramenta que atua como um bibliotecário inteligente, mantendo apenas os livros necessários na mesa e trocando-os de forma eficiente.
Ele não altera o modelo de IA em si; apenas gerencia a memória melhor.
Ele faz a IA rodar significativamente mais rápido em dispositivos pequenos, evitando o desperdício de tempo movendo dados desnecessários.
Ele nos ensina que, neste cenário específico, gerenciar seu espaço de trabalho de forma eficiente é mais importante do que tentar prever o futuro.

O sistema funciona tão bem que pode até rodar modelos de IA massivos em uma única placa de computador que anteriormente não conseguiria suportá-los, sem alterar a qualidade das respostas que a IA fornece.

Resumo Técnico: WiSP – Uma Visão de Conjunto de Trabalho para o Atendimento de Mixture-of-Experts em Hardware de Recursos Extremamente Baixos

Definição do Problema
Modelos modernos de Mixture-of-Experts (MoE), como o Qwen3-30B-A3B e o Mixtral-8×7B, colocam a maior parte de seus parâmetros em camadas de especialistas, mas apenas uma pequena fração desses especialistas é ativa para qualquer dado token. Em GPUs de consumo com VRAM limitada, esses modelos muitas vezes não cabem inteiramente na memória. A solução padrão, o offloading estático de nível de camada (ex: --cpu-offload-gb no vLLM), mantém o uso de memória baixo, mas transfere todos os especialistas de uma camada através do barramento PCIe a cada passagem de forward. Essa abordagem falha em explorar a esparsidade dos modelos MoE, efetivamente negando seus benefícios de eficiência.

Os autores enquadram o atendimento de MoE de baixo recurso como um problema de gerenciamento de conjunto de trabalho (working-set management). Neste regime, a memória GPU é o armazenamento rápido limitado, e a memória host é o armazenamento de suporte (backing store). Dois fluxos distintos de demanda de memória competem pelo mesmo orçamento de VRAM:

Pesos dos Especialistas: Um fluxo dependente de roteamento onde apenas um subconjunto de especialistas é necessário por token.
KV Cache: Um fluxo dependente de token necessário para geração autorregressiva.

Sistemas existentes costem tratar esses elementos como problemas separados ou visam configurações de datacenter de alta concorrência, onde a computação pode sobrepor-se à transferência de dados. No entanto, no atendimento interativo de baixa concorrência (ex: assistentes de codificação locais), a computação é mínima por etapa, tornando a largura de banda do PCIe o gargalo primário, em vez da computação ou da precisão da predição.

Metodologia: WiSP (Paging de Conjunto de Trabalho)
O artigo apresenta o WiSP, um sistema que trata o conjunto de especialistas residentes como um cache sobre o comportamento de roteamento do modelo, gerenciado conjuntamente com o KV cache. O WiSP consiste em dois componentes principais:

Paginador de Especialistas Consciente de Roteamento (Routing-Aware Expert Pager):
- Mecanismo: O WiSP conecta-se a um motor de atendimento não modificado (ex: vLLM) aproveitando um gancho de indireção de mapa de especialistas existente (π). Em vez de carregar camadas completas, ele mantém um pequeno espaço de rascunho (scratch space) na GPU contendo apenas o "conjunto de trabalho" de especialistas com probabilidade de serem reutilizados.
- Operação: Em cada etapa, o paginador busca apenas os especialistas roteados ausentes da memória host (H2D) e remove (evict) os especialistas menos recentemente utilizados (LRU) para abrir espaço.
- Garantias: Como os kernels e pesos subjacentes permanecem inalterados (apenas o mapeamento é redirecionado), o WiSP produz saídas byte-idênticas ao motor base. Ele não requer novos kernels, mudanças de quantização ou retreinamento do modelo.
MV-WSA (Alocação de Conjunto de Trabalho de Valor Marginal):
- O Problema da Alocação: Como os pesos dos especialistas e o KV cache compartilham o mesmo orçamento de VRAM, aumentar o conjunto de especialistas residentes reduz a capacidade do KV cache, e vice-versa.
- Estratégia: O MV-WSA determina a divisão ótima ( $f$ ) entre o orçamento de especialistas e o orçamento de KV. O objetivo é equalizar o benefício marginal de latência por byte entre ambos os pools.
- Piso de Admissão: Crucialmente, o alocador impõe um tamanho mínimo de KV cache ( $\kappa_{min}$ ) necessário para admitir o nível de concorrência atual. Se a divisão ótima não restringida fosse esvaziar o KV cache, o sistema trava a divisão para garantir que o scheduler possa inicializar e rodar.
- Modos de Implementação:
  - Configurador Offline: Analisa um traço representativo para definir uma divisão fixa no início.
  - Controlador Online: Redimensiona dinamicamente ambos os pools durante o atendimento em "barreiras de drenagem" (pontos onde nenhuma requisição ativa retém blocos de memória), movendo fisicamente bytes entre o rascunho de especialistas e o pool de KV sem exceder o orçamento total.

Principais Descobertas sobre Prefetching
Uma descoberta empírica central do artigo é que o prefetching baseado em roteamento fornece pouco ou nenhum benefício no decode de fluxo único e baixa concorrência.

Gargalo: O desempenho é limitado pela largura de banda do PCIe, não pela precisão da predição. No decode de batch-1, a computação por etapa é pequena demais para ser escondida atrás das transferências de PCIe.
Resultado: O prefetching especulativo frequentemente degrada o desempenho (reduzindo o throughput em ~50% nos testes) porque compete pela largura de banda e remove especialistas necessários para a etapa imediata seguinte.
Reenquadramento: O sinal de roteamento é valioso não para esconder a latência, mas para a alocação de memória. Ele ajuda a identificar o tamanho mínimo de "conjunto residente seguro", permitindo que o sistema ajuste o tamanho do cache de especialistas por usuário e aloque a VRAM liberada para o KV cache.

Resultados
Os autores avaliam o WiSP em várias arquiteturas MoE (LLMs, VLMs, Hybrid SSM-MoE e modelos de Difusão) usando uma NVIDIA H100 (com alguns experimentos emulando orçamentos de memória menores).

Ganhos de Throughput: Sob orçamentos de VRAM compatíveis onde o modelo não cabe, o WiSP alcança até 1,95× o throughput de decode comparado ao offloading estático de CPU. O ganho é maior em orçamentos de memória intermediários, onde o WiSP pode fazer o cache de uma parte significativa do conjunto de especialistas reutilizados enquanto o baseline ainda faz o streaming de tudo.
Capacidade de KV: Ao reduzir a pegada dos especialistas, o WiSP aumenta diretamente a capacidade do KV cache. Experimentos mostram que encolher o limite de especialistas pode aumentar a concorrência máxima em mais de 40% no mesmo orçamento de memória total.
Desempenho de Alocação:
- Offline: O configurador MV-WSA performa bem tanto no prefill quanto no decode, mantendo-se a poucos pontos percentuais de um oracle por workflow em simulação, enquanto divisões fixas (ex: 50/50) são ~20% piores.
- Online: O controlador de redimensionamento duplo dinâmico melhora o throughput em 1,20× sobre a melhor divisão estática offline ao se adaptar a mudanças de carga de trabalho (ex: alternando de turnos de contexto longo para surtos de chamadas de ferramentas).
Generalidade: O WiSP atende com sucesso modelos que não cabem em uma única GPU (ex: Jamba-v0.1, MiniMax-M2) e funciona em diversas modalidades, incluindo Modelos de Linguagem-Visão (Kimi-VL) e modelos de Difusão (DiT-MoE, LLaDA-MoE), mantendo saídas byte-idênticas.

Significância e Alegações
O artigo afirma que o WiSP fornece um framework unificado para o atendimento de MoE de baixo recurso ao tratar a residência de especialistas e o cache de KV como um problema único de alocação de conjunto de trabalho.

Mudança de Paradigma de Design: Argumenta-se que, para o atendimento de baixa concorrência, o foco deve mudar de "como fazer o prefetch de especialistas mais rápido" para "como alocar VRAM de forma ótima entre especialistas e KV cache".
Impacto Prático: O WiSP permite o atendimento de modelos MoE de escala de fronteira em hardware de consumo sem sacrificar a correção da saída ou exigir hardware especializado (como Intel AMX).
Limitações: Os autores observam explicitamente que o WiSP é projetado para o regime onde o modelo não cabe na VRAM; se o modelo couber, a residência estática permanece mais rápida, pois o paging adiciona uma indeterminação desnecessária. Além disso, a otimização de prefetching mostrou-se ineficaz no decode de fluxo único, embora possa ser relevante para sessões de agentes de múltiplos turnos ou alto batch onde o overlap de computação é possível.

O trabalho conclui que, no decode de fluxo único limitado por memória, o sinal de roteamento é uma alavanca de memória (determinando o tamanho do conjunto de trabalho) em vez de uma alavanca de velocidade (escondendo a latência), tornando a alocação inteligente o principal motor de desempenho.