Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

Resumo Técnico: Quais Falhas de Especialistas Valem a Espera?

Definição do Problema
Modelos de linguagem Mixture-of-Experts (MoE), como o Qwen3-Next-80B-A3B, oferecem alta capacidade, mas exigem o armazenamento de todos os especialistas na memória, excedendo a VRAM de GPUs de consumo (ex: 24 GB). O descarregamento (offloading) de especialistas para a memória da CPU ou SSDs permite que esses modelos rodem em hardware de consumo, mas introduz latência quando especialistas com "falha de cache" (aqueles que não estão atualmente na memória da GPU) são necessários. Soluções tradicionais incluem buscar cada falha (alta latência), computar na CPU (aritmética lenta) ou prefetch (risco de erro de predição). Abordagens alternativas alteram a computação ao substituir um especialista ausente por um residente. No entanto, permanece incerto quais substituições causam perda significativa de qualidade em modelos com centenas de especialistas por camada, se um único métrica pode guiar políticas de cache e quando um cache deve admitir um especialista que é repetidamente substituído.

Metodologia
O estudo foca no Qwen3-Next-80B-A3B (512 especialistas por camada, selecionando 10) com aproximadamente 25% dos especialistas residentes na memória da GPU. A pesquisa utiliza três ferramentas distintas para avaliar políticas de substituição:

1. Emulação: Uma implementação em PyTorch que computa as saídas do modelo exatamente para todas as políticas nas mesmas sequências de tokens, idealizando a latência de busca para isolar o impacto da substituição na qualidade (medida por perplexidade de teacher-forcing).
2. Simulador de Logit do Roteador: Uma ferramenta em C++ que reproduz os logits do roteador para comparar políticas rapidamente sem computar o modelo completo, estimando o tempo por token e estados de cache.
3. Engine: Uma implementação modificada do llama.cpp que realiza a busca real de especialistas, substituição e cache em GPUs de consumo (RTX 3090).

O estudo define massa de portão substituída ($m$) como a soma do peso normalizado do portão dos especialistas substituídos. Ele testa várias políticas:

• Buscar cada falha: A linha de base de referência.
• Regra 0.15: Busca sincronamente especialistas perdidos se eles forem a primeira escolha do roteador ou tiverem um peso de portão $\ge 0,15$; substitui os demais.
• Regra de Primeira Escolha: Busca apenas a primeira escolha perdida; substitui todas as outras.
• Admissão em Segundo Plano: Uma regra que acumula a massa de portão dos especialistas substituídos ao longo do tempo e os admite no cache assim que um limiar (ex: 0,5) é atingido.

Principais Contribuições e Descobertas

1. Fonte de Perda de Qualidade: Na emulação, a maior parte da perda de qualidade provém da substituição de alguns especialistas fortemente ponderados (primeiras escolhas ou aqueles com altos pesos de portão), em vez do número absoluto de substituições. Para o Qwen3-Next, a regra 0.15 substituiu 7,5% das chamadas (vs. 8,5% ao buscar cada falha) mas reduziu o aumento de perplexidade de 5,67% para 0,35%. Isso sugere que proteger especialistas de alto peso é crítico, mesmo que muitos especialistas de baixo peso sejam substituídos.
2. Massa como Métrica Comparativa: O estudo propõe a "Hipótese da Massa": entre políticas que sempre buscam a primeira escolha, uma maior massa de portão substituída correlaciona-se com maiores aumentos de perplexidade nos mesmos inputs. Na engine, essa correlação foi forte (Pearson $r \approx 0,92$) entre diferentes políticas nos mesmos dados. No entanto, a massa não previu quais inputs específicos perderiam qualidade, nem se manteve ao comparar políticas que substituíram primeiras escolhas.
3. Composição de Substituições: Um experimento (Experimento B) variando a composição das substituições com igual massa encontrou que algumas substituições pesadas causaram mais perda do que muitas leves, embora a regra de decisão estatística planejada não tenha gerado um julgamento definitivo devido à baixa massa realizada na condição primária.
4. Política de Admissão em Segundo Plano: Uma regra que admite um especialista no cache em segundo plano assim que sua massa substituída acumulada atinge um limiar de 0,5 reduziu a perplexidade em 0,3–1,5%, com os ganhos mais significativos ocorrendo imediatamente após mudanças de tópico.
5. Desempenho de Políticas Selecionadas: Duas políticas foram selecionadas com base nestes resultados:
   • Foco em Qualidade: Regra 0.15 + Evicção baseada em frequência + Admissão em segundo plano ($\beta=0,5$).
   • Foco em Velocidade: Regra de Primeira Escolha + Evicção baseada em frequência + Admissão em segundo plano ($\beta=0,5$).
     Nesses dois hosts, estas políticas foram 2,5–3,0× mais rápidas por token do que buscar cada falha, com um aumento de perplexidade de apenas 0,7–1,5%. Comparada à regra 0.15 sozinha, a política Foco em Qualidade reduziu a perplexidade ainda mais (em ~0,5–0,8%) com um custo de tempo ligeiramente maior, enquanto a Foco em Velocidade reduziu o tempo em ~5% sem um aumento estatisticamente significativo na perplexidade.
6. Comparação com o llama.cpp Original: Em uma máquina com ~16 GB de RAM disponível, a engine usando a regra 0.15 decodificou 2,8–3,0× mais rápido que o llama.cpp padrão configurado para usar a mesma VRAM, com um aumento de perplexidade de apenas 1,6%.

Significância e Alegações
O artigo afirma fornecer a primeira medição direta de quais substituições de especialistas explicam a perda de qualidade em MoEs com centenas de especialistas por camada. Estabelece que:

• Estratégia de Substituição: Proteger especialistas de alto peso (via regra 0.15) é mais eficaz do que simplesmente reduzir o número total de substituições.
• Utilidade da Métrica: A massa de portão substituída é uma métrica útil para comparar políticas nos mesmos inputs, mas não é um preditor de perda entre diferentes inputs.
• Eficiência Prática: É possível rodar grandes MoEs em GPUs de consumo com degradação mínima de qualidade (aumento de 0,7–1,5% na perplexidade) alcançando ganhos de velocidade de 2,5–3,0× sobre estratégias de offloading padrão.

Limitações e Modéstia
O autor afirma explicitamente que suas conclusões são modestas e condicionais:

• Escopo: Os resultados baseiam-se principalmente no Qwen3-Next-80B-A3B e na perplexidade de teacher-forcing. O teste de geração (GSM8K e HumanEval) apoiou as previsões apenas parcialmente; por exemplo, a correlação entre massa e concordância no HumanEval falhou.
• Causalidade: O estudo não separa os efeitos do rank do especialista do seu peso, nem afirma que o peso do portão em si causa a perda.
• Comparações: As políticas não foram comparadas contra prefetch ou métodos de menor precisão.
• Generalização: As razões de velocidade e valores específicos de perplexidade são reportados para os hosts de hardware específicos medidos e podem não se aplicar a outras máquinas.
• Status Experimental: Exceto pelo teste de geração e Experimento B, as análises são exploratórias. O artigo relata previsões falhas (ex: correlações de massa por nível de problema) e conclusões que se inverteram conforme o tamanho da amostra aumentava (ex: a correlação entre massa e perda).

Em resumo, o trabalho demonstra que políticas inteligentes de substituição e admissão em segundo plano podem mitigar significativamente a latência do offloading de grandes MoEs em hardware de consumo, desde que especialistas de alto peso sejam priorizados para busca.