CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

Resumo Técnico: CRePE e PHO para Poda Pós-Treinamento

Declaração do Problema
A implantação de Grandes Modelos de Linguagem (LLMs) acarreta custos significativos de memória e computação. A poda pós-treinamento (PTP - Post-Training Pruning) oferece uma solução livre de treinamento, removendo pesos sem necessidade de retreinamento. Embora métodos recentes como o RIA (Relative Importance) tenham alcançado o estado da arte em precisão ao normalizar pesos via somas de linhas e colunas, eles sofrem de duas limitações fundamentais:

1. Limitação 1D: O RIA baseia-se exclusivamente em informações direcionais bidimensionais em forma de cruz (linha/coluna), ignorando a estrutura 2D inerente das matrizes de pesos, onde vizinhos diagonais também contribuem para a importância.
2. Ponderação Uniforme: O RIA trata as contribuições de linha e coluna de forma igual. Experimentos preliminares indicam que essas direções contribuem de forma assimétrica para a qualidade da poda (por exemplo, a RI baseada em linhas produz uma perplexidade menor do que a RI baseada em colunas no LLaMA-2-7B), tornando o tratamento uniforme subótimo.

Além disso, a otimização dos hiperparâmetros para métodos de pontuação aprimorados normalmente requer um extenso tempo de busca. Uma abordagem ingênua de hill-climbing baseada em PPL para encontrar coeficientes ótimos leva aproximadamente 11 horas, o que compromete a vantagem de eficiência da PTP.

Metodologia
O artigo propõe o CRePE (Convolution-aware Relative Importance in Post-training Pruning with Efficient Search) e o PHO (Proxy-based Hyperparameter Optimization).

1. CRePE: Pontuação de Importância Aprimorada
O CRePE estende o mecanismo de pontuação do RIA de duas maneiras:

• Contexto de Vizinhança 2D: Introduz um termo de vizinhança $N^{(k)}_{ij}$ que captura o contexto local 2D ao redor de cada peso $W_{ij}$, excluindo os vizinhos em forma de cruz já cobertos pelo RIA. Este termo é computado de forma eficiente via convolução 2D da matriz de pesos absoluta com um kernel mascarado.
• Coeficientes Adaptativos: Atribui coeficientes distintos e aprendíveis ($\alpha, \beta, \gamma$) aos termos de linha, coluna e vizinhança, respectivamente. Isso permite que o modelo considere explicitamente as contribuições assimétricas desses componentes.
• Fórmula: A pontuação de importância final é calculada como:
  $$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$$
  Quando $\alpha=\beta=1$ e $\gamma=0$, o CRePE reduz-se ao RIA.

2. PHO: Busca Eficiente de Hiperparâmetros
Para evitar o custo proibitivo da busca baseada em PPL para os hiperparâmetros ($k, \alpha, \beta, \gamma$), os autores propõem o PHO:

• Descoberta de Proxy: Através de análise de correlação de Spearman em diversos modelos, os autores descobriram que o coeficiente de Gini das pontuações de importância dos pesos podados no módulo $q\_proj$ da primeira camada ($Gini_{pruned}$) exibe uma forte correlação positiva com o PPL ($\rho = 0,953$).
• Estrutura de Busca: O PHO utiliza o $Gini_{pruned}$ como um objetivo substituto (surrogate objective). Ele emprega um processo de dois estágios:
  1. Triagem de Proxy: Um amostrador CMA-ES (Covariance Matrix Adaptation Evolution Strategy) gera 60 candidatos, avaliando-os apenas no $Gini_{pruned}$ (aprox. 6 segundos por candidato).
  2. Verificação de PPL: A poda completa do modelo e a avaliação de PPL são realizadas apenas nos 10 melhores candidatos (aprox. 90 segundos cada).
• Eficiência: Isso reduz o tempo total de busca de ~11 horas para ~20 minutos (uma aceleração de 30×).

Principais Contribuições

• CRePE: Um novo método de pontuação que integra o contexto de vizinhança 2D e coeficientes adaptativos para modelar a importância diferencial dos termos de linha, coluna e vizinhança.
• PHO: Um framework de otimização eficiente que utiliza o coeficiente de Gini dos pesos podados como um proxy para o PPL, reduzindo drasticamente o tempo de busca de hiperparâmetros.
• Generalização: Demonstrou melhorias consistentes sobre as bases de comparação (SparseGPT, Wanda, RIA) em diversos modelos (LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek) e configurações de esparsidade (não estruturada, 2:4, 4:8).
• Ortogonalidade: Verificou-se que o CRePE pode ser combinado com técnicas existentes, incluindo Permutação de Canais (Channel Permutation), alocação de esparsidade não uniforme (OWL, AlphaPruning, DLP) e métodos de repoda (DSnoT).

Resultados Experimentais

• Perplexidade: O CRePE alcança consistentemente uma perplexidade menor que o RIA. Por exemplo, no LLaMA-2-7B com 50% de poda não estruturada, o CRePE atinge um PPL de 6,74 comparado aos 6,81 do RIA. Sob poda estruturada 2:4, a lacuna aumenta (10,74 vs. 11,29), sugerindo que a pontuação refinada é particularmente benéfica sob restrições estruturais mais rigorosas.
• Desempenho Zero-Shot: No LLaMA-2-7B, o CRePE atinge a maior precisão média zero-shot (62,18%) em seis tarefas, superando o RIA (61,14%).
• Transferibilidade de Hiperparâmetros: Os hiperparâmetros ótimos encontrados pelo PHO no LLaMA-2-7B transferem-se efetivamente para o LLaMA-2-13B sem necessidade de novo ajuste, mantendo os ganhos de desempenho entre diferentes escalas de modelos.
• Combinações: Quando combinado com Permutação de Canais (LSA CP) ou alocação não uniforme (DLP), o CRePE produz reduções adicionais na perplexidade, confirmando sua ortogonalidade a essas técnicas.

Significância e Limitações
O artigo afirma que o CRePE fornece um método prático, livre de treinamento, para melhorar significativamente a precisão da poda de LLMs, mantendo a eficiência das abordagens de apenas pontuação. A introdução do PHO garante que o ajuste necessário de hiperparâmetros não anule os benefícios de economia de tempo da PTP.

Os autores observam diversas limitações:

• Em níveis de esparsidade extrema (>70%), a diferença de desempenho entre CRePE e RIA diminui, sugerindo que a pontuação de importância sozinha pode ser insuficiente e que a reconstrução de pesos pode ser necessária.
• A forte correlação entre $Gini_{pruned}$ e PPL é empírica; uma análise teórica rigorosa permanece uma questão em aberto.
• O método é atualmente limitado a camadas lineares densas e não foi estendido para componentes estruturados como o roteamento de Mixture-of-Experts (MoE).
• O impacto da operação de convolução adicional em diversos ambientes de hardware não foi avaliado sistematicamente.