DarwinLM: Evolutionary Structured Pruning of Large Language Models
O DarwinLM é um método de poda estruturada consciente do treinamento que emprega um processo de busca evolutiva com treinamento de múltiplos passos leve para identificar subestruturas de modelos não uniformes ideais, alcançando o estado da arte em desempenho em vários grandes modelos de linguagem enquanto reduz significativamente os requisitos de dados de treinamento pós-compressão.
Autores originais:Shengkun Tang, Oliver Sieberling, Eldar Kurtic, Zhiqiang Shen, Dan Alistarh
Imagine que você tem um cérebro de robô gigante e superinteligente que consegue escrever histórias, resolver problemas matemáticos e conversar como um humano. Isso é o que os cientistas chamam de Grande Modelo de Linguagem (LLM). Esses cérebros são incríveis, mas também são incrivelmente pesados e famintos por eletricidade, como um dragão que precisa de todo o ouro de um castelo apenas para acordar. Por serem tão grandes, eles são difíceis de carregar ou de rodar em computadores comuns. Para resolver isso, pesquisadores têm tentado "encolher" esses cérebros. Uma maneira popular de fazer isso é a "poda" (pruning). Pense na poda como podar uma árvore bonsai: você corta os galhos que não precisa para tornar a árvore menor e mais rápida, esperando que ela ainda pareça e se comporte da mesma forma. Mas aqui está a parte complicada: nem todos os galhos são iguais. Alguns são vitais para a forma da árvore, enquanto outros são apenas folhas extras. Se você cortar os errados, a árvore morre. Se você cortar os certos, obtém uma árvore pequena e rápida que ainda dá frutos. A grande questão é: como você sabe exatamente quais galhos cortar sem acidentalmente matar o gênio que existe dentro dela?
Apresentamos o DarwinLM, um novo método que atua como um naturalista digital tentando evoluir o cérebro pequeno perfeito. Em vez de apenas adivinhar quais partes cortar, os pesquisadores deixam o modelo "evoluir" através de um processo inspirado em como a natureza seleciona os animais mais aptos. Eles começam com um modelo grande e criam muitas versões "descendentes" ligeiramente diferentes, cada uma com um padrão único de cortes. Então, eles submetem esses descendentes a um teste de treinamento rápido e leve — como uma corrida de velocidade — para ver quais ainda conseguem correr rápido e pensar com clareza. Os vencedores sobrevivem para gerar a próxima geração, enquanto os perdedores são descartados. Esse ciclo se repete, refinando lentamente o modelo até encontrar o equilíbrio perfeito entre tamanho e inteligência. O artigo mostra que essa abordagem evolutiva é muito melhor do que apenas cortar as coisas de forma uniforme (como remover a mesma quantidade de cada camada). De fato, o DarwinLM pode encolher modelos como o Llama-2 e o Llama-3.1 para metade do seu tamanho mantendo sua inteligência quase intacta, e faz isso usando muito menos dados de treinamento do que métodos anteriores. Por exemplo, enquanto outro método famoso precisou de 50 bilhões de palavras para treinar seu modelo pequeno, o DarwinLM alcançou resultados ainda melhores com apenas 10 bilhões. Ele funciona inclusive em modelos complexos de "Mistura de Especialistas" (Mixture of Experts), provando que você pode aparar a gordura sem perder o músculo, tornando a IA poderosa acessível em dispositivos do dia a dia.
Resumo Técnico: DarwinLM
Problema Os Grandes Modelos de Linguagem (LLMs) alcançaram um sucesso significativo, mas enfrentam custos computacionais massivos que dificultam a implantação, particularmente em aplicações de tempo real. Embora a poda estruturada (structured pruning) ofereça uma solução ao comprimir modelos para fornecer melhorias de velocidade de ponta a ponta em hardware convencional, os métodos existentes frequentemente falham em considerar dois fatores críticos:
Sensibilidade Não Uniforme: Diferentes componentes do modelo (camadas, cabeças de atenção, dimensões MLP) exibem sensibilidades variadas à poda. A compressão uniforme pode levar ao colapso do desempenho.
Treinamento Pós-Compressão: Um método de poda não deve apenas identificar uma subestrutura capaz, mas também garantir que a estrutura seja passível de recuperação via ajuste fino (fine-tuning) pós-compressão. Métodos anteriores, como o ZipLM, frequentemente otimizam para erros locais por camada ou desempenho de disparo único (one-shot), o que não correlaciona bem com o desempenho em tarefas de downstream ou com a recuperação via ajuste fino.
Metodologia Os autores propõem o DarwinLM, um método de poda estruturada consciente do treinamento que utiliza um processo de busca evolutiva para encontrar alocações de esparsidade não uniformes ideais. O pipeline consiste em duas etapas principais:
Busca Evolutiva com Seleção Consciente do Treinamento:
Inicialização: A busca começa com um modelo "pai" gerado via poda estruturada de disparo único usando informação de segunda ordem (formulação do Optimal Brain Surgeon).
Mutação: Em cada geração, o algoritmo gera modelos "filhos" copiando o pai e aplicando uma mutação de "troca de nível" (level switch). Isso envolve deslocar níveis de esparsidade entre subblocos (por exemplo, aumentando a esparsidade em uma camada enquanto diminui em outra) para manter a meta global de esparsidade ou a restrição de aceleração.
Seleção Consciente do Treinamento: Uma inovação central é a integração de um ajuste fino leve no processo de seleção. Em vez de selecionar descendentes baseando-se apenas em métricas de disparo único (como a divergência KL em um pequeno conjunto de calibração), o método emprega um processo de seleção de múltiplos passos. Os descendentes são treinados em orçamentos de tokens progressivamente maiores (ex: 10K → 50K → 200K tokens). Modelos com desempenho inferior são eliminados em cada estágio. Isso garante que o modelo "mais apto" selecionado não seja apenas preciso em um estado estático, mas também robusto e recuperável após o treinamento contínuo.
Terminação: Assim que a busca converge, o candidato final passa por um estágio de ajuste fino mais extenso (ex: 10B tokens) antes da avaliação final.
Banco de Dados de Camadas Podadas:
Para facilitar uma busca eficiente, o método pré-computa um banco de dados de subblocos esparsos (módulos MLP e de Atenção) em vários níveis de esparsidade discretizados.
Para módulos de Atenção, a poda é realizada por cabeça (per-head). Para MLPs, as dimensões são podadas em múltiplos de 32.
Para modelos com Group-Query Attention (GQA), as matrizes K e V não são podadas diretamente; em vez disso, as cabeças correspondentes são removidas durante o passo de propagação (forward pass) para manter a compatibilidade computacional.
Extensão para Arquiteturas MoE:
O método é estendido para modelos de Mistura de Especialistas (MoE) (ex: Qwen3-30B-A3B). Neste cenário, a busca otimiza a esparsidade dentro dos MLPs dos especialistas, mantendo uma esparsidade uniforme entre os blocos MoE. Os módulos de Atenção são geralmente deixados sem poda, pois os especialistas contêm a maioria dos parâmetros.
Principais Contribuições
Busca Evolutiva Consciente do Treinamento: O DarwinLM introduz um novo framework evolutivo que considera explicitamente a capacidade do modelo de recuperar o desempenho durante o ajuste fino, em vez de otimizar apenas para a precisão de disparo único.
Poda Estruturada Não Uniforme: O método permite a compressão não uniforme e detalhada de LLMs, aproveitando a sensibilidade variável de diferentes camadas para alcançar maiores taxas de compressão sem perda de precisão.
Adaptação para MoE: Este trabalho representa a primeira exploração de poda estruturada não uniforme especificamente para arquiteturas MoE, demonstrando que a esparsidade estruturada é eficaz mesmo em modelos complexos baseados em especialistas.
Eficiência: O processo de busca é altamente eficiente, completando em aproximadamente 8 horas em 4 GPUs de consumo, com o estágio final de ajuste fino levando cerca de meio dia em um cluster padrão.
Resultados Experimentais Os autores validam o DarwinLM no Llama-2-7B, Llama-3.1-8B, Qwen-2.5-14B-Instruct e Qwen3-30B-A3B (MoE).
Desempenho: O DarwinLM alcança o estado da arte em poda estruturada de disparo único. Por exemplo, ao podar o Llama-3.1-8B para metade do seu tamanho, ele alcança uma precisão média de zero-shot 5,9% superior em comparação ao melhor método anterior (ZipLM).
Eficiência de Dados: O método reduz significativamente o orçamento de treinamento necessário para a recuperação. O DarwinLM supera o ShearedLlama (que utiliza 50B tokens para ajuste fino) exigindo apenas 10B tokens. No mesmo cenário de 10B tokens, o DarwinLM supera o ShearedLlama.
Resultados MoE: No modelo Qwen3-30B-A3B, o DarwinLM produz uma variante 16B-A2B que retém ≥90% da precisão do modelo original após o ajuste fino de 10B tokens.
Eficiência de Hardware: Os modelos podados demonstram acelerações diretas e reduções de memória. Por exemplo, o modelo DarwinLM de 2.7B alcança 1.98× de throughput e utiliza 2.43× menos memória em comparação com a linha de base densa de 7B em GPUs L40s.
Comparação: O método supera as linhas de base de poda uniforme e outros métodos de poda estruturada (incluindo ShortGPT, Shortened-Llama e EvoPress) em vários níveis de esparsidade, particularmente em altas taxas de compressão onde outros métodos degradam rapidamente.
Significância O artigo afirma que o DarwinLM representa um avanço significativo na compressão de LLMs ao unir a lacuna entre a busca estrutural e a recuperação pós-treinamento. Ao demonstrar que a poda estruturada não uniforme pode ser aplicada de forma eficaz tanto a arquiteturas densas quanto MoEs com orçamento mínimo de treinamento, o trabalho desafia a noção de que a compressão de alto desempenho exige orçamentos massivos de retreinamento. Os autores posicionam o DarwinLM como uma solução prática e agnóstica de hardware que permite a implantação de LLMs eficientes sem sacrificar a precisão.