Imagine que você tem um cérebro de robô gigante e superinteligente construído para resolver quebra-cabeças, escrever código e traduzir idiomas. Este cérebro não é feito de um único bloco enorme e pesado de metal; em vez disso, ele é construído como uma fábrica gigante com centenas de estações de trabalho especializadas. Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs), os motores de IA que alimentam tudo, desde chatbots até assistentes de programação. Para tornar esses cérebros rápidos e eficientes, os engenheiros usam um truque chamado Mistura de Especialistas (Mixture-of-Experts - MoE). Pense nisso como uma equipe gigante de 256 diferentes "especialistas" em cada uma das salas da fábrica. Quando uma pergunta chega, um gerente inteligente (chamado de "roteador") decide quais poucos especialistas são necessários para resolver aquele problema específico, enquanto o resto da equipe faz uma pausa para o café. Isso mantém o robô rápido porque ele só acorda os trabalhadores que realmente precisa.

Mas aqui está a grande questão: todos esses trabalhadores são igualmente importantes? Se você tivesse que encolher a fábrica para economizar espaço e eletricidade, poderia simplesmente demitir 30% dos trabalhadores em cada sala de forma aleatória? Ou existe um padrão secreto? Os cientistas têm especulado, mas não tinham um mapa claro de quais partes do cérebro são frágeis e quais são robustas. Compreender isso é importante porque esses modelos estão ficando enormes e, se pudermos "podar" (remover) as partes desnecessárias de forma segura, podemos fazê-los rodar mais rápido em computadores mais baratos, economizando energia e dinheiro sem perder sua inteligência.

---

A Grande Auditoria da Fábrica: Quem Podemos Deixar Ir?

Neste artigo, uma equipe de pesquisadores da Persistent Systems decidiu jogar um jogo de alto risco de "cortar o cordão" em um modelo de IA específico e massivo chamado Qwen3.6-35B-A3B. Este modelo é uma fera: possui 40 camadas (pense nelas como 40 andares em uma fábrica em forma de arranha-céu) e, em cada andar, há 256 especialistas. Cada vez que o modelo processa uma palavra, ele escolhe os 8 melhores especialistas para realizar o trabalho.

Os pesquisadores queriam descobrir: se forçarmos o modelo a ignorar os "especialistas mais fracos" (aqueles com os menores números em seus cérebros) em certas camadas, o modelo entra em colapso ou continua funcionando? Eles testaram isso em uma tarefa difícil: traduzir código de uma linguagem de programação para outra (como transformar C++ em Python), usando um benchmark chamado XLCoST.

A Descoberta: Tudo Depende de Onde Você Corta

A equipe tentou cortar especialistas em diferentes padrões, como um cirurgião testando diferentes locais de incisão. Eles tiveram três teorias principais:

1. A Teoria do "Corte Plano": Apenas corte 30% dos especialistas mais fracos de cada andar, em todo lugar.
2. A Teoria do "Corte Precoce": Talvez os andares inferiores sejam os mais importantes?
3. A Teoria do "Corte Tardio": Talvez os andares superiores estejam apenas repetindo o que os andares inferiores já fizeram?

Os resultados foram um choque total para a ideia do "Corte Plano".
Quando tentaram o Corte Plano (removendo 30% dos especialistas de todos os 40 andares), o modelo basicamente esqueceu como fazer seu trabalho. De 300 quebra-cabeças de programação, ele acertou apenas 150 (ou "Bom/Similar"). Ele começou a alucinar, vazando seu processo de pensamento interno para o código final e cometendo erros de sintaxe. Foi como demitir 30% do pessoal da fundação, dos escritórios intermediários e do último andar ao mesmo tempo — o edifício inteiro começou a balançar.

Mas então, eles encontraram a "Zona Mágica".
Os pesquisadores descobriram que a sensibilidade do modelo muda drasticamente dependendo de em qual andar você está:

• Andares 0–9 (A Fundação): Estes são super frágeis. Se você cortar especialistas aqui, o modelo quebra imediatamente.
• Andares 10–29 (O Meio): Também muito frágeis.
• Andares 30–39 (A Cobertura): Esses andares superiores são surpreendentemente resistentes! Os especialistas aqui parecem estar fazendo muito trabalho sobreposto. O "roteador" (o gerente) já está confuso aqui, escolhendo especialistas com confiança muito baixa, o que significa que os especialistas são algo intercambiáveis.

A Estratégia Vencedora: A Poda "De Cima para Baixo"

A equipe realizou um experimento massivo com 300 prompts para encontrar o cronograma de poda perfeito. Eles descobriram que, se focarem seus cortes apenas nos andares superiores, o modelo permanece saudável.

• A Estratégia de "Rampa Tardia": Eles cortaram 35% dos especialistas nos andares 30–34 e 55% nos andares mais altos (35–39).
• O Resultado: De 300 prompts, essa estratégia manteve 255 saídas funcionando corretamente! Isso é muito melhor do que o corte plano, e removeu mais de 1.100 especialistas.

Mas espere, eles não pararam por aí. Eles queriam ter certeza de que isso não era apenas um golpe de sorte, então testaram suas melhores ideias em um novo conjunto de 500 prompts inéditos. Foi aqui que a história ficou ainda mais interessante.

No teste maior, a "Rampa Tardia" ainda era boa, mas uma estratégia mais estreita venceu o prêmio:

• A Estratégia de "Apenas Muito Tardia": Eles tocaram apenas nos últimos 5 andares (35–39) e cortaram 50% dos especialistas ali.
• O Resultado: Essa pequena strike cirúrgica manteve 419 de 500 saídas funcionando perfeitamente! Melhor ainda, ela removeu apenas 640 especialistas no total (de um total de 10.240 especialistas em todo o modelo).

Isso significa que os pesquisadores encontraram uma maneira de remover uma parte significativa da "musculatura" do modelo do topo, e o modelo mal percebeu. É como perceber que os últimos 5 andares de um arranha-céu são majoritariamente varandas decorativas; você pode remover metade do corrimão e o edifício continua tão alto quanto.

Uma Missão Secundária: O Mistério do "Pensar" vs. "Responder"

A equipe também tentou ver se o modelo usa especialistas diferentes quando está "pensando" (raciocinando através de um problema) versus quando está "respondendo" (escrevendo o código final). Eles olharam para uma versão um pouco mais antiga do modelo (Qwen3.5) para ver se conseguiam notar uma diferença.
Eles descobriram que, durante a fase de "pensamento", o modelo usa uma multidão ampla e desordenada de especialistas. Mas, na hora de "responder", ele fica mais focado e usa menos especialistas. Isso sugere que, se quisermos podar o modelo no futuro, talvez precisemos ter cuidado para não cortar os especialistas do "pensamento", mesmo que eles pareçam fracos no papel. No entanto, os autores são cuidadosos ao dizer que isso é apenas uma pista para o futuro, não uma regra comprovada ainda.

E Quanto à Velocidade?

Eles também tentaram um truque diferente: em vez de cortar especialistas, disseram ao modelo para escolher apenas 6 especialistas em vez dos habituais 8 para cada palavra. Em um pequeno teste de 100 prompts, isso fez o modelo rodar muito mais rápido (menos "tempo de relógio") sem perder qualidade. Mas, quando tentaram combinar esse aumento de velocidade com o corte agressivo de especialistas, o modelo ficou confuso. Parece que você não pode simplesmente empilhar esses atalhos uns sobre os outros sem testá-los cuidadosamente.

A Conclusão

A principal lição deste artigo é um "Não Faça Isso" para a poda uniforme e um "Faça Isso" para a poda inteligente.

• Não corte 30% dos especialistas de cada camada de forma igual; isso destrói a capacidade de pensar do modelo.
• Faça o corte focar nos níveis mais altos (andares 35–39). O modelo é surpreendentemente tolerante à perda de metade de seus especialistas ali.

Os autores são cuidadosos ao notar que ainda não deletaram os pesos da memória do computador (eles apenas disseram ao roteador para ignorá-los). Portanto, embora o modelo aja como se fosse menor e mais eficiente, ele ainda ocupa o mesmo espaço no disco rígido. O próximo passo, que eles sugerem para trabalhos futuros, é realizar de fato uma "cirurgia de peso física" para deletar permanentemente esses especialistas não utilizados e economizar espaço de armazenamento real.

Em resumo, os pesquisadores descobriram que o "cérebro" deste modelo de IA tem um ponto fraco muito específico: os andares superiores são muito mais redundantes do que os inferiores. Ao podar o topo, podemos construir modelos de IA menores, mais rápidos e mais baratos sem quebrá-los.