Resumo Técnico: Um Almoço Grátis na Compressão de LLMs: Revisando o Retreinamento após a Poda

Declaração do Problema

A poda pós-treinamento é um método primário para reduzir os custos de inferência de Modelos de Linguagem Grandes (LLMs) removendo pesos redundantes. No entanto, a poda por magnitude padrão frequentemente leva a degradação significativa da qualidade, a menos que os pesos restantes sejam adaptados. Historicamente, o pipeline "podar-retreinar" envolvia o retreinamento completo do modelo podado, mas isso é computacionalmente proibitivo para LLMs devido aos requisitos massivos de memória e computação da retropropagação do modelo completo em grandes conjuntos de dados. Consequentemente, pesquisas recentes abandonaram em grande parte a adaptação pós-poda, focando instead no desenho de critérios de poda cada vez mais sofisticados (por exemplo, Wanda, SparseGPT) para selecionar padrões de esparsidade ótimos que minimizem a perda de qualidade sem quaisquer atualizações subsequentes de pesos. A premissa predominante é que a adaptação local é insuficiente ou muito cara, tornando a seleção sofisticada de máscaras o único alavanca viável para compressão de alta qualidade.

Metodologia

Este artigo revisita o trade-off entre critérios de poda e adaptação pós-poda introduzindo e avaliando a reconstrução local. Diferentemente do retreinamento completo, que adapta todo o modelo, ou da reconstrução por matriz, que otimiza matrizes de pesos individuais em isolamento, a reconstrução local adapta submodelos pequenos e contíguos (por exemplo, blocos individuais de transformador ou grupos de blocos) sequencialmente.

O objetivo central é minimizar a diferença entre as ativações intermediárias do submodelo podado e as ativações correspondentes do modelo denso original em um pequeno conjunto de calibração. Formalmente, para um submodelo $f$ com parâmetros densos $\theta$ e máscara de poda $M$, o objetivo é:
$$\min_{\hat{\theta}} \| f(X; \theta) - f(X; M\theta \odot \hat{\theta}) \|_2^2$$
onde $\hat{\theta}$ representa os parâmetros adaptados.

Os autores investigam sistematicamente a granularidade dessa reconstrução, variando de:

1. Por matriz: Otimizando cada matriz de pesos independentemente.
2. Tamanho de bloco 1/2: Otimizando componentes de atenção e MLP de um bloco de transformador separadamente.
3. Tamanho de bloco 1: Otimizando um bloco de transformador completo.
4. Granularidades mais grossas: Otimizando múltiplos blocos consecutivos (por exemplo, 2 blocos, 1/4 do modelo).

Experimentos foram conduzidos em famílias de modelos (OPT, LLaMA-2, LLaMA-3, Qwen-2.5) e escalas (até 72B parâmetros), usando vários métodos de poda (Magnitude, Wanda, SparseGPT) e padrões de esparsidade (não estruturados e N:M semi-estruturados).

Contribuições e Descobertas Principais

1. A Reconstrução Local é um Mecanismo de Adaptação Viável e Eficiente

O estudo demonstra que a reconstrução local recupera efetivamente o desempenho de modelos podados, igualando ou superando os resultados de métodos de Ajuste Fino Eficiente em Parâmetros (PEFT) como o MaskLoRA. Crucialmente, isso é alcançado com recursos significativamente menores:

• Eficiência de Dados: Requer mais de uma ordem de magnitude menos dados de calibração (por exemplo, 2.048 amostras versus 131.072 para MaskLoRA) para alcançar perplexidade e precisão comparáveis.
• Eficiência Computacional: Oferece acelerações de 13x a 130x em comparação com o ajuste fino PEFT.
• Viabilidade de Memória: Ao restringir a otimização a um pequeno submodelo, o pico de memória da GPU escala com o tamanho do submodelo em vez de toda a rede. Isso permite que modelos como o Qwen-2.5-32B sejam reconstruídos em uma única GPU H100 de 80GB sem checkpoint de gradiente ou descarregamento, um regime onde o retreinamento completo ou PEFT são inviáveis.

2. O Regime de "Almoço Grátis" na Granularidade

Uma descoberta central é a existência de um amplo regime de "almoço grátis" em relação à granularidade de reconstrução. Contrariamente à intuição de que granularidade mais grossa (otimizando pedaços maiores) produz melhor qualidade ao custo de maior memória, os autores encontram que:

• Insensibilidade à Qualidade: Uma vez que a janela de reconstrução inclui pelo menos um submódulo não linear (por exemplo, um bloco completo de atenção ou MLP), a qualidade final do modelo é amplamente insensível ao tamanho da região reconstruída.
• Trade-off Memória vs. Computação: Enquanto a perplexidade final permanece plana entre as granularidades (de tamanho de bloco 1/2 a 1/4 do modelo), o uso de pico de memória aumenta abruptamente com granularidades mais grossas.
• Implicação: Praticantes podem escolher a granularidade de reconstrução principalmente com base nas restrições de memória de hardware sem sacrificar a qualidade final do modelo, trocando memória por tempo de computação livremente.
• Exceção: A reconstrução por matriz consistentemente performa pior em comparação com métodos baseados em blocos. Os autores atribuem isso à acumulação de deriva de ativação; otimizar matrizes em isolamento falha em compensar erros através de projeções acopladas e não linearidades, enquanto submodelos maiores podem absorver essas perturbações conjuntamente.

3. Importância Decrescente dos Critérios de Poda

O artigo desafia a necessidade de critérios de poda complexos na presença de reconstrução efetiva.

• Fechando a Lacuna: Sem reconstrução, critérios sofisticados (Wanda, SparseGPT) superam significativamente a poda simples por magnitude. No entanto, uma vez aplicada a reconstrução local, a lacuna de desempenho entre esses métodos sofisticados e bases simples diminui dramaticamente à medida que a escala do modelo aumenta.
• Efeito de Escala: Em escalas maiores (por exemplo, 72B parâmetros), a poda simples por magnitude combinada com reconstrução torna-se competitiva com, e em alguns casos iguala, o desempenho de critérios sofisticados.
• Reinterpretação: Isso sugere que a superioridade aparente de regras complexas de seleção de máscaras em trabalhos anteriores pode derivar parcialmente de sua capacidade de compensar a falta de adaptação pós-poda. Com um forte passo de reconstrução em vigor, a escolha do critério de poda torna-se uma consideração secundária.

Significado e Alegações

Os autores afirmam que seus resultados desafiam fundamentalmente a narrativa predominante de que a adaptação pós-poda é impraticável para LLMs. Eles argumentam que:

1. A reconstrução local não é um fallback de segunda classe, mas uma estratégia padrão forte. Ela rivaliza com PEFT e ajuste fino completo em qualidade, permanecendo viável em escalas de modelo onde esses métodos são muito caros.
2. A complexidade dos métodos de poda recentes pode ser parcialmente redundante. Grande parte da complexidade no desenho de máscaras de poda sofisticadas serve para compensar a falta de adaptação; com reconstrução local efetiva, métodos mais simples tornam-se viáveis.
3. O paradigma do "Almoço Grátis". O campo pode mudar o foco de regras elaboradas de seleção de máscaras para reconstrução local eficiente e bem configurada, permitindo compressão de alta qualidade sob restrições estritas de hardware.

O artigo conclui que o pipeline podar-retreinar, quando restrito a uma variante local, oferece uma alternativa prática e altamente eficiente a pular a adaptação inteiramente, democratizando efetivamente a capacidade de comprimir grandes modelos sem custos computacionais proibitivos.