💻 computer science

Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster

Este artigo propõe uma estratégia de escalação de especialistas local à sequência que fixa um pequeno conjunto de especialistas por sequência para reduzir drasticamente a pegada de memória e as transferências de especialistas durante o serviço de modelos MoE, alcançando um throughput próximo da residência total com significativamente menos pesos residentes ao aplicar esta restrição consistentemente tanto durante o treinamento quanto durante a inferência.

Autores originais: ChaeWoo Son

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: ChaeWoo Son

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os sistemas modernos de inteligência artificial que geram texto frequentemente dependem de um design chamado mistura de especialistas (mixture of experts). Imagine uma vasta biblioteca de trabalhadores especializados em conhecimento, onde cada trabalhador é um especialista em um tópico específico e estreito. Quando o sistema precisa responder a uma pergunta, ele não ativa todos os trabalhadores de uma só vez. Em vez disso, seleciona apenas um pequeno punhado dos especialistas mais relevantes para aquele momento específico. Essa abordagem permite que o sistema seja incrivelmente grande e capaz, utilizando relativamente pouco poder computacional para cada palavra que produz. No entanto, existe um gargalo significativo na forma como esses sistemas são executados em computadores padrão. Embora apenas alguns especialistas sejam usados em qualquer momento dado, a memória do computador deve conter toda a biblioteca de especialistas pronta para uso, porque o sistema não sabe com antecedência quais serão necessários a seguir. Esse requisito força o tamanho total da memória a corresponder ao tamanho de toda a biblioteca, e não apenas ao pequeno grupo que está sendo usado, tornando difícil executar esses modelos poderosos em dispositivos com memória limitada.

Pesquisadores tentaram resolver isso armazenando os especialistas não utilizados em um disco rígido e carregando-os na memória apenas quando necessário. Mas isso cria um novo problema: como o sistema escolhe especialistas de uma forma dispersa e imprevisível, ele acaba buscando novos especialistas constantemente, retardando o processo. Uma equipe liderada pelo pesquisador independente ChaeWoo Son fez uma pergunta diferente: em vez de tentar tornar o computador mais rápido na busca de especialistas dispersos, poderiam eles mudar o sistema para que ele naturalmente se mantivesse fiel a um grupo pequeno e consistente de especialistas durante a duração de uma única conversa? Eles queriam ver se poderiam treinar o sistema para se tornar "sequencialmente local" (sequence-local), significando que, uma vez iniciada uma conversa, o mesmo pequeno time de especialistas lidaria com todo o fio da meada, permitindo que o computador mantenha apenas esse time na memória.

Os pesquisadores primeiro tentaram ensinar esse comportamento diretamente ao sistema. Eles tentaram treinar o modelo para favorecer os especialistas que já havia usado na conversa atual, esperando que esse hábito se tornasse uma parte permanente da inteligência do sistema. Eles descobriram que, embora esse truque funcionasse enquanto o treinamento estava acontecendo, o comportamento não se consolidou. Assim que a pressão do treinamento era removida, o sistema revertia para seus velhos hábitos dispersos. Mesmo quando tentaram reforçar o comportamento fazendo o sistema aprender com suas próprias escolhas enviesadas, o processo tornou-se instável e a qualidade do texto sofreu. O estudo concluiu que o sistema não estava aprendendo uma nova habilidade, mas estava simplesmente reagindo a uma regra temporária. Os pesquisadores perceberam que tentar forçar o sistema a internalizar esse comportamento era a abordagem errada.

Em vez de tentar mudar o cérebro do sistema, os pesquisadores decidiram mudar as regras do jogo. Eles impuseram uma regra estrita e permanente que se aplicava tanto durante o treinamento quanto quando o sistema estava sendo realmente utilizado. Sob essa nova regra, cada conversa é atribuída a um time de especialistas pequeno e fixo com base nas primeiras palavras do texto. Uma vez que esse time é selecionado, o sistema não tem permissão para mudar para qualquer outro durante o restante dessa conversa. Essa regra atua como um orçamento: o computador só precisa manter esse pequeno time específico em sua memória rápida, enquanto o resto da biblioteca pode permanecer no drive de armazenamento mais lento. Como o time é fixo para toda a conversa, o computador não precisa trocar especialistas para dentro e para fora constantemente.

Os resultados dessa abordagem foram impressionantes. Quando os pesquisadores aplicaram essa regra a um modelo de teste e deram a ele um curto período de retreinamento para se adaptar às novas restrições, o sistema desempenhou quase tão bem quanto desempenhava sem a regra, mas com uma redução massiva no uso de memória. Em seus testes, eles foram capazes de manter apenas um quarto do total de especialistas na memória e ainda alcançar quase a mesma velocidade de quando mantinham todos eles. O sistema reduziu o número de vezes que precisava buscar dados do drive de armazenamento lento por um fator de trinta e dois em comparação ao método antigo. Embora a qualidade do texto tenha caído ligeiramente — cerca de cinco por cento no cenário de economia de memória mais extremo — a compensação permitiu que o modelo rodasse em hardware muito menor e mais acessível.

O estudo também revelou um insight inesperado sobre como esses sistemas aprendem. Os pesquisadores descobriram que, quanto mais longo um modelo é treinado sem essas restrições de memória, mais difícil se torna forçá-lo a este padrão eficiente posteriormente. A tendência natural do sistema de dispersar sua atenção parece crescer com o tempo, tornando mais caro adaptar-se aos limites de memória após o fato. Isso sugere que, se quisermos que esses modelos sejam eficientes em dispositivos cotidianos, talvez precisemos ensiná-los a ser eficientes desde o início, em vez de tentar corrigir o problema depois que já aprenderam a ser dispersos.

Este trabalho não afirma ter resolvido o problema para todas as situações possíveis, e os pesquisadores foram cuidadosos ao notar que seus testes foram feitos em dados sintéticos e modelos menores. Eles observaram que, se uma conversa muda de tópico abruptamente no meio, o time fixo de especialistas pode ter dificuldades, embora seus testes tenham mostrado que, mesmo com uma mudança de tópico, o sistema poderia se adaptar com uma pequena penalidade na qualidade. O estudo serve como uma prova de conceito de que, ao tratar a restrição de memória como uma regra e não como um objetivo de aprendizado, podemos tornar esses modelos massivos muito mais práticos de executar. Isso desloca o foco de construir hardware mais rápido para projetar regras mais inteligentes sobre como o sistema utiliza seus recursos, abrindo as portas para que a inteligência artificial poderosa rode em dispositivos que atualmente são pequenos demais para contê-la.

Resumo Técnico: Predatory MoE: Servindo Mixture-of-Experts com um Roster de Especialistas Local à Sequência

Declaração do Problema

Modelos de Mixture-of-Experts (MoE) de pesos abertos alcançam alta capacidade ao ativar apenas uma pequena fração de seus parâmetros totais por token. No entanto, em configurações de acelerador único e memória restrita, servir esses modelos normalmente exige manter todos os especialistas residentes na memória, o que significa que a pegada de memória escala com a contagem total de parâmetros, em vez da contagem ativa.

Soluções padrão envolvem o descarregamento (offloading) de especialistas inativos para a memória do host ou disco e a busca sob demanda. Sistemas existentes adaptam-se à demanda de roteamento conforme ela ocorre (por exemplo, usando caches LRU ou pré-busca preditiva). No entanto, o roteamento não restringido é frequentemente "hostil" a caches limitados: roteadores ao nível de token podem selecionar qualquer especialista em qualquer token, causando transferências frequentes de pesos. No banco de testes de 32 especialistas do autor, um modelo não restringido acessou uma média de 28 dos 32 especialistas por sequência de 256 tokens. O artigo questiona se o próprio padrão de demanda de roteamento pode ser alterado para ser local à sequência, de modo que cada sequência seja servida por um pequeno e fixo roster (lista) de especialistas, permitindo que a memória residente siga um orçamento de roster em vez da contagem total de especialistas.

Metodologia

O artigo investiga duas abordagens primárias para alcançar a localidade de sequência: treiná-la nos pesos do modelo ou impô-la como uma regra de roteamento.

1. Tentativa de Treinar a Localidade de Sequência

O autor explorou primeiro se a localidade de sequência poderia ser instilada como um objetivo de treinamento usando um viés de seleção "o rico fica mais rico" (um viés amplificador). Esse viés favorecia especialistas já usados dentro de uma sequência para o restante dessa mesma sequência.

Descobertas: Embora o viés tenha reduzido o tamanho do conjunto de trabalho enquanto ativo, a localidade resultante não foi persistente.
- Sensibilidade Temporal: O viés só remodelou o roteamento de forma duradoura quando aplicado desde o início do treinamento; aplicá-lo tardiamente gerou apenas efeitos de seleção imediatos, sem adaptação adicional.
- Reversão: Se o viés fosse removido no meio do treinamento, o treinamento contínuo sem viés fazia com que o roteamento revertesse para um padrão disperso, restaurando o tamanho original do conjunto de trabalho.
- Falha de Destilação: Tentativas de internalizar o viés via autodestilação (treinar o roteador para imitar suas próprias seleções enviesadas) resultaram em um alvo móvel que desestabilizou o roteamento e degradou a qualidade do modelo.
Conclusão: A localidade de sequência comportou-se como uma propriedade do procedimento de roteamento, não dos pesos aprendidos.

2. A Regra de Roteamento de Roster

Com base na falha das abordagens baseadas em treinamento, o autor impôs a localidade de sequência como uma regra de roteamento aplicada identicamente durante o treinamento e o serviço.

Mecanismo:
- Cada sequência mantém uma contagem contínua de seleções de especialistas por camada.
- Um roster $R$ é formado pelos top- $m$ especialistas mais usados.
- Fase de Exploração: Até que $m$ especialistas distintos sejam usados, nenhum viés é aplicado.
- Fase de Barreira: Uma vez que o roster está cheio, os membros recebem um bônus de seleção $+\delta$ , e os não membros recebem $-\delta$ . Os não membros devem superar um déficit de pontuação de $2\delta$ para entrar no roster, substituindo o membro menos usado.
- Fixação (Serviço): Na implantação, o roster é congelado após um prefixo curto (ex: 20% da sequência). A decodificação subsequente é restrita a este roster fixado.
Retroajuste (Retrofitting): Para modelos pré-treinados, o autor propõe uma fase de ajuste fino de 600 passos sob a regra implantada. Isso permite que os especialistas se adaptem aos padrões de tráfego criados pela regra sem exigir que o roteador aprenda a localidade em si.

Principais Contribuições

Análise Empírica de Localidade Baseada em Treinamento: Uma análise controlada demonstrando que a localidade de sequência resiste a ser treinada como um objetivo persistente devido à sensibilidade temporal, reversão sob treinamento contínuo e a instabilidade autorreferencial da destilação do roteador.
Regra de Roteamento de Orçamento de Roster: Um mecanismo que trata a localidade como uma restrição procedimental com um equilíbrio explícito (o orçamento $m$ ), em vez de um comportamento emergente. Esta regra mantém a dinâmica de treinamento estável e mantém os conjuntos de trabalho por sequência próximos ao orçamento $m$ .
Receita de Retroajuste: Um método para adaptar modelos pré-treinados à regra de roster via ajuste fino breve (600 passos). Este processo iguala o desempenho de modelos treinados do zero sob a regra, eliminando efetivamente o custo de qualidade ao anexar a regra a um modelo pré-treinado.
Análise de Serviço: Uma simulação baseada em traços mostrando que o padrão de demanda resultante reduz drasticamente as transferências de especialistas em comparação com estratégias de cache padrão sob orçamentos de memória equivalentes.

Resultados

Trade-offs de Qualidade e Orçamento

Treinamento do Zero: O treinamento sob a regra de roster com $m=4$ (de 8 especialistas) resultou em um conjunto de trabalho de $\approx 4,18$ com apenas um aumento de $+0,27\%$ na perplexidade em relação ao baseline.
Retroajuste: Aplicar a regra a um modelo pré-treinado sem ajuste fino causou um salto grande na perplexidade ( $+32\%$ ). No entanto, um ajuste fino de 600 passos sob a regra de fixação reduziu esse custo para $+0,9\%$ (em $m=4$ ) e $+5,0\%$ (em $m=8$ para um modelo de 32 especialistas).
Escala: No banco de testes de 32 especialistas, o ajuste fino reduziu o custo de fixar $m=8$ (redução de 75% na memória) para $+5,0\%$ de perplexidade, comparado a um multiplicador de perplexidade de $\sim 9\times$ para o anexo zero-shot.
Erosão de Servibilidade: O autor observou que o treinamento não restringido gradualmente erode a adequação de um modelo para o serviço de roster. Mesmo após a convergência da perplexidade, o treinamento contínuo aumenta o custo de servir sob um roster fixado, sugerindo que as restrições de serviço devem ser expostas durante o treinamento.

Desempenho de Serviço (Simulação Baseada em Traços)

Sob orçamentos de memória equivalentes (25% dos pesos dos especialistas residentes):

Redução de Transferência: O modelo servido por roster reduziu as transferências de especialistas em até 32 $\times$ em comparação com um cache LRU servindo um modelo não restringido.
Throughput: O modelo servido por roster recuperou 94% do throughput de decodificação de residência total, enquanto o modelo não restringido servido por LRU alcançou apenas 33%.
Latência: A abordagem de roster reduziu o tempo de parada para quase zero (0,01 ms/token) comparado aos 30,3 ms/token da linha de base LRU.

Significância e Alegações

O artigo afirma que a localidade de especialista por sequência é mais naturalmente tratada como parte do procedimento de roteamento (especificado, orçado e presente durante o treinamento) do que como um comportamento que o modelo é solicitado a aprender.

Impacto Prático: O método proposto permite servir grandes modelos MoE com apenas uma fração da memória de especialistas residente (ex: 25%) enquanto recupera quase todo o throughput de residência total, ao custo de um aumento modesto na perplexidade (ex: +5,0%).
Escopo e Limitações: O autor é explícito ao dizer que seus resultados quantitativos vêm de um banco de testes sintético de domínio único (até 32 especialistas). Eles não alegam que os resultados se generalizam diretamente para modelos de escala de produção ou serviço em lote de múltiplos fluxos (multi-stream batched serving) sem validação adicional.
Trabalho Futuro: O artigo delineia um caminho para validação, incluindo a análise de traços de roteamento de MoEs de pesos abertos existentes e o ajuste fino de pequenos MoEs abertos em dados reais para testar a receita de retroajuste e a hipótese de "erosão".
Extrapolação: Embora o autor forneça estimativas aritméticas sugerindo que, para um modelo de 2,4 trilhões de parâmetros, o serviço de roster poderia reduzir a pegada para uma escala de estação de trabalho (ex: ~97 GB em $m=32$ ), ele enfatiza que estas são estimativas de ordem de magnitude baseadas em suposições não verificadas sobre padrões de roteamento do mundo real e especificidades de arquitetura.

Em resumo, o artigo propõe uma mudança de engenharia de sistemas para servir demandas de roteamento hostis para a engenharia da própria demanda de roteamento para que ela seja servível, demonstrando que uma "regra de roster" procedimental combinada com um ajuste fino breve pode alcançar ganhos significativos de memória e throughput em ambientes controlados.