From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são computacionalmente caros, necessitando de estratégias de implantação eficientes. A poda estruturada (removendo cabeças de atenção inteiras ou canais MLP) é preferida à poda não estruturada devido à compatibilidade com hardware. No entanto, o paradigma dominante atual é a Poda Local (por exemplo, SparseGPT, Wanda), que otimiza erros de reconstrução por camada.

Limitações Chave da Poda Local:

• Agnóstica à Tarefa: Minimiza a diferença entre as saídas das camadas podadas e densas, preservando a perplexidade geral, mas falha em otimizar para tarefas específicas de domínio.
• Calibração Limitada: Mesmo ao usar dados de calibração específicos da tarefa, os métodos locais não conseguem aproveitar efetivamente os sinais da tarefa porque sua função objetivo (MSE por camada) é desacoplada da perda final do modelo.
• Instabilidade em Alta Esparsidade: Os métodos locais frequentemente lutam para manter a precisão em altas taxas de poda (40–50%).
• Ineficiência para Múltiplas Esparsidades: Para obter modelos em diferentes níveis de esparsidade, os métodos locais exigem execuções de poda separadas e independentes para cada taxa alvo.

2. Metodologia: GISP (Poda Estruturada Iterativa Global)

Os autores propõem o GISP, um framework de poda estruturada pós-treinamento que migra da reconstrução local para uma otimização global alinhada à perda.

Componentes Principais:

1. Métrica de Importância Global:

   • Em vez de reconstrução por camada, o GISP define a importância com base na expansão de Taylor de primeira ordem da perda global do modelo ($L$) em relação à perturbação dos pesos.
   • Pontuação de importância para um peso $W_{ij}$: $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$.
   • Alinhamento à Tarefa: A função de perda $L$ pode ser trocada. Para modelagem de linguagem, utiliza Perplexidade (Entropia Cruzada). Para tarefas de estilo decisório (por exemplo, QA), utiliza uma Perda Baseada em Margem para preservar a fronteira de decisão entre respostas corretas e incorretas.

2. Cronograma de Poda Iterativa:

   • Problema: A poda global "one-shot" ingênua (remover todos os pesos de uma vez) é instável e causa colapso de precisão em alta esparsidade.
   • Solução: O GISP poda iterativamente. Aplica uma pequena taxa de poda ($\rho_k$) em cada etapa $k$ ao longo de $n$ iterações, aumentando gradualmente a esparsidade total até o alvo $\rho$.
   • Normalização: Para lidar com o desequilíbrio onde blocos de Atenção frequentemente possuem pontuações de importância mais altas do que blocos MLP, o GISP normaliza as pontuações separadamente dentro das estruturas de Atenção e MLP antes da classificação global.

3. Fluxo de Trabalho "Poda Uma Vez, Implanta Muitos":

   • Como o GISP é iterativo, ele gera naturalmente uma estrutura de subrede aninhada. O modelo podado para 20% de esparsidade é um subconjunto do modelo podado para 30%, que é um subconjunto do modelo de 50%.
   • Isso permite que uma única execução de poda produza uma fronteira de Pareto de modelos em vários níveis de esparsidade, eliminando a necessidade de múltiplas execuções de poda independentes.

3. Contribuições Principais

• Revisitação da Poda Global: Demonstra que a poda global, quando tornada iterativa e pós-treinamento, supera a poda local tanto em perplexidade quanto em precisão de domínio, especialmente em alta esparsidade (40–50%).
• Poda Específica à Tarefa: Introduz um mecanismo para definir importância diretamente via funções de perda específicas da tarefa (por exemplo, perda de margem para QA), preenchendo a lacuna entre compressão genérica e otimização consciente da tarefa.
• Eficiência via Subredes Aninhadas: Estabelece um fluxo de trabalho "uma vez para todos" onde um processo iterativo de poda produz múltiplos modelos utilizáveis em diferentes níveis de esparsidade, amortizando o custo computacional da iteração.
• Robustez: Mostra que o GISP permanece eficaz mesmo com orçamentos de calibração significativamente reduzidos (até 1% da contagem padrão de tokens).

4. Resultados Experimentais

Os autores avaliaram o GISP em Llama2-7B/13B, Llama3-8B, Mistral-0.3-7B, DeepSeek-R1-Distill-Llama-3-8B e Qwen3-8B.

• Perplexidade (WikiText-2): O GISP consistentemente alcança menor perplexidade do que as bases locais (Wanda, LLM-Pruner, FLAP, OWL). Em 50% de esparsidade, os métodos locais frequentemente sofrem de "colapso de perplexidade" (PPL > 100), enquanto o GISP mantém PPL competitivo (por exemplo, ~64 para Llama2-7B vs. ~81 para Wanda).
• Precisão de Domínio (CMQA):
  • O GISP supera todas as bases em todos os modelos e níveis de esparsidade.
  • Ganho Específico à Tarefa: Usar dados CMQA para calibração e uma perda baseada em margem aumenta significativamente a precisão em comparação com o uso de dados C4 genéricos. Por exemplo, em Llama2-13B a 40% de esparsidade, o GISP (Margem) alcança 63,34% de precisão vs. 59,11% para o Wanda.
• Tarefas de Raciocínio (GSM8K):
  • Em DeepSeek-R1 e Qwen3, a calibração alinhada à tarefa (usando dados GSM8K) melhora drasticamente o desempenho. O Wanda-sp colapsa para 0% de precisão no DeepSeek-R1 a 20% de esparsidade com calibração genérica, enquanto o GISP com calibração de tarefa alcança 67,93%.
• Eficiência:
  • Embora o GISP tenha um tempo de execução total mais alto devido às iterações, o tempo amortizado por modelo utilizável é menor do que os métodos locais, pois produz 112+ subredes utilizáveis em uma única execução, enquanto os métodos locais produzem apenas uma por execução.
  • Modelos podados mostram acelerações significativas na inferência (até 1,7x na velocidade de prefill) e redução de memória (até 45% em 50% de esparsidade).

5. Significado e Impacto

• Mudança de Paradigma: O artigo desafia a dominância da poda baseada em reconstrução local, provando que a poda global alinhada à perda é superior para LLMs quando implementada iterativamente.
• Implantação Prática: A capacidade "poda uma vez, implanta muitos" é altamente valiosa para implantação em borda, permitindo que um único arquivo de modelo seja dinamicamente adaptado a diferentes restrições de hardware sem repoda.
• Adaptação à Tarefa: Fornece um framework robusto para adaptar LLMs a domínios específicos (por exemplo, médico, matemática) sem ajuste fino completo, simplesmente alterando os dados de calibração e o objetivo de perda durante a fase de poda.
• Eficiência de Recursos: Ao demonstrar robustez com dados de calibração mínimos, o GISP reduz a barreira para aplicar poda estruturada a grandes modelos em ambientes com recursos limitados.

Em conclusão, o GISP oferece uma alternativa simples, porém poderosa, aos métodos de poda atuais, entregando maior precisão, melhor estabilidade em alta esparsidade e maior flexibilidade para implantação específica de tarefas.