🤖 machine learning

Compressing LLMs with MoP: Mixture of Pruners

O artigo apresenta o MoP (Mixture of Pruners), um framework iterativo que unifica a poda de profundidade e largura para superar os métodos existentes de dimensão única em termos de precisão e redução de latência nos modelos LLaMA e LLaVA.

Autores originais: Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jorda

Publicado 2026-07-28

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando carregar uma biblioteca enorme e pesada em uma mochila. Esta biblioteca contém a soma do conhecimento humano, escrita em uma linguagem tão complexa que apenas os computadores mais inteligentes conseguem ler. Essas "bibliotecas" são chamadas de Grandes Modelos de Linguagem (LLMs). Elas são incríveis para escrever histórias, resolver problemas matemáticos e até conversar como um amigo. Mas há um porém: elas são tão grandes e pesadas que exigem quantidades enormes de eletricidade e computadores supervelozes apenas para abrir o livro e ler uma única frase. Se você quiser usá-las em um notebook comum ou em um celular, elas costumam ser muito lentas e pesadas para carregar.

Para resolver isso, cientistas têm tentado tornar essas bibliotecas menores sem jogar fora os livros importantes. Uma das maneiras de fazer isso é chamada de "poda" (pruning). Pense na poda como a jardinagem. Você tem um arbusto gigante e crescido demais (o grande modelo de computador) e quer podá-lo para torná-lo um formato menor e mais arrumado. Você pode cortar galhos inteiros (tornando o arbusto mais curto) ou pode podar as folhas dos galhos (tornando o arbusto mais fino). Por muito tempo, os jardineiros tinham que escolher: ou cortavam galhos inteiros ou podavam as folhas, mas não ambos ao mesmo tempo. A questão era, qual maneira torna o arbusto menor mantendo-o saudável e capaz de dar frutos?

Este artigo apresenta uma nova ferramenta de jardinagem chamada MoP, que significa Mixture of Pruners (Mistura de Podadores). Em vez de escolher apenas um método, o MoP é um jardineiro inteligente e iterativo que tenta ambos os métodos em cada etapa. Imagine que você está podando seu arbusto. Em cada corte, o MoP faz duas perguntas: "Se eu cortar este galho inteiro, como o arbusto fica?" e "Se eu podar as folhas deste galho em vez disso, como ele fica?". Ele então escolhe a versão que mantém o arbusto com a aparência mais próxima da planta original e saudável. Ele repete esse processo, alternando entre cortar galhos e podar folhas, até que o arbusto seja pequeno o suficiente para caber na sua mochila.

Os pesquisadores testaram este método em alguns dos cérebros de computador mais inteligentes do mundo, como os modelos LLaMA-2 e LLaMA-3. Eles descobriram que o MoP é muito melhor em encolher esses modelos do que usando apenas um método sozinho. Quando eles reduziram os modelos em 40% (tornando-os 40% menores), o MoP manteve os modelos tão inteligentes quanto a concorrência, mas também os tornou significativamente mais rápidos. Na verdade, os modelos ficaram 39% mais rápidos ao responder perguntas. Mais surpreendente ainda, eles testaram isso em um modelo que consegue ver imagens e ler texto (chamado LLaVA-1.5). Eles descobriram que, embora tenham "ensinado" o modelo podado apenas com texto (sem imagens), o modelo ainda conseguia entender imagens quase tão bem quanto antes. Isso sugere que misturar as duas estratégias de poda cria um cérebro de computador menor, mais rápido e mais inteligente, que não se perde, mesmo quando fica muito pequeno.

Resumo Técnico: Comprimindo LLMs com MoP: Mixture of Pruners

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) enfrentam demandas computacionais significativas, exigindo métodos para reduzir a contagem de parâmetros e acelerar a inferência sem sacrificar o desempenho. Embora a poda de modelos (pruning) seja uma estratégia eficaz, as abordagens atuais focam tipicamente em uma única dimensão: ou poda de profundidade (remoção de camadas inteiras do transformer) ou poda de largura (remoção de componentes internos, como cabeças de atenção ou neurônios MLP). A poda de profundidade oferece uma aceleração de inferência superior ao reduzir a computação sequencial, enquanto a poda de largura permite uma seleção mais granular de estruturas redundantes, muitas vezes preservando melhor o desempenho em tarefas subsequentes. O artigo identifica uma dicotomia na literatura existente onde essas forças complementares são raramente unificadas, levando a trade-offs subótimos entre taxa de compressão, precisão e latência.

Metodologia: Mixture of Pruners (MoP)
Os autores propõem o MoP, um framework iterativo que unifica a poda de profundidade e de largura em uma estratégia coesa. O mecanismo central opera da seguinte forma:

Seleção de Caminho Iterativa: Em cada iteração, o MoP gera dois modelos candidatos para avançar o caminho de poda:
- Candidato de Profundidade: Remove uma camada completa do transformer (especificamente a antepenúltima camada, preservando as duas últimas camadas conforme achados da literatura sobre redundância).
- Candidato de Largura: Remove um número equivalente de parâmetros podando cabeças de atenção e neurônios MLP através das camadas.
Correspondência de Parâmetros: Para garantir uma comparação justa, a etapa de poda de largura é calibrada para remover exatamente o mesmo número de parâmetros que a camada única removida na etapa de profundidade. Isso requer controle fino, o qual os autores alcançam usando o critério AMP (Activation Magnitude Pruning).
Avaliação e Seleção: Ambos os candidatos passam por uma etapa curta de ajuste fino de recuperação (recovery fine-tuning) em um subconjunto de dados de treinamento. Um Critério de Caminho ( $P$ ) então pontua os candidatos em relação ao modelo original não podado usando métricas como Similaridade de Cosseno, divergência de Kullback-Leibler (KL), Perplexidade (PPL) ou até mesmo uma seleção aleatória. O candidato com a pontuação mais próxima do modelo original (menor desvio) é selecionado para se tornar a base para a próxima iteração.
Recuperação Final: Uma vez atingida a taxa de compressão alvo, o modelo final podado passa pelo ajuste fino de recuperação completo no conjunto completo de dados de treinamento.

O framework é modular, permitindo a integração de diferentes critérios de poda para largura e profundidade, bem como diferentes estratégias de seleção de caminho.

Principais Contribuições
O artigo destaca cinco contribuições primárias:

Framework Unificado: O MoP combina efetivamente a poda de profundidade e de largura, capturando os benefícios de latência da remoção de camadas e a seletividade granular da remoção de componentes.
Modularidade: O design acomoda várias combinações de critérios de poda, permitindo a integração futura de métodos de estado da arte.
Esquema de Poda Diversificado: Ao distribuir as remoções em ambas as dimensões, o MoP alcança taxas de compressão mais altas sem esgotar uma única dimensão.
Extensão Multimodal: Diferente da maior parte da literatura de poda focada apenas em texto, os autores testam o MoP em arquiteturas apenas de linguagem (LLaMA) e multimodais (LLaVA).
Recuperação Apenas de Texto para Tarefas Visuais: Os autores observam que o ajuste fino de recuperação usando um conjunto de dados apenas de texto (Alpaca) pode surpreendentemente restaurar o desempenho em benchmarks visuais em modelos de visão-linguagem podados.

Resultados
Os autores avaliam o MoP no LLaMA-2 7B, LLaMA-3 8B e LLaVA-1.5 7B:

Precisão: No LLaMA-2 e LLaMA-3, o MoP supera consistentemente métodos de poda estruturada concorrentes (ex: SliceGPT, AmoebaLLM, PruneNet) em taxas de compressão de 20%, 30% e 40%. Notavelmente, o desempenho do "pior seed" (worst-seed) do MoP (usando seleção de caminho aleatória) frequentemente excede o desempenho médio dos melhores baselines concorrentes, indicando robustez contra a variância de seleção de caminho.
Latência: O MoP traduz a poda estrutural em acelerações reais. Com 40% de compressão, o método reduz a latência end-to-end em 39% (um aumento de velocidade de 1.63×) em uma NVIDIA RTX 4090. Com 30% de compressão, atinge um aumento de velocidade de 1.38×, superando outros métodos que exigem compressão mais agressiva (ex: 50%) para alcançar ganhos semelhantes.
Desempenho Multimodal: No LLaVA-1.5, o MoP mantém capacidades significativas de raciocínio. Com 40% de compressão, o modelo retém aproximadamente 78% de sua capacidade preditiva média. Crucialmente, o estudo demonstra que o ajuste fino de recuperação com dados apenas de texto (Alpaca) recupera efetivamente o desempenho em tarefas visuais (ScienceQA, VizWiz), um achado que os autores notam como uma observação novel.

Significância e Alegações
O artigo afirma que o MoP estabelece uma nova fronteira na poda estruturada ao superar a rigidez estrutural de abordagens de eixo único. A estratégia híbrida proporciona uma resiliência excepcional, garantindo que, mesmo sob uma seleção de caminho desfavorável, o método entregue precisão de alto nível. Os autores enfatizam que esta abordagem não apenas avança o estado da arte para LLMs eficientes, mas também valida a viabilidade da poda híbrida de largura-profundidade no domínio multimodal. Além disso, a descoberta de que o ajuste fino de recuperação apenas com texto é suficiente para tarefas visuais em modelos de visão-linguagem podados sugere um caminho mais eficiente para o deploy de sistemas multimodais comprimidos, reduzendo a necessidade de conjuntos de dados de recuperação multimodais caros.

Mais como este