Resumo Técnico: PALS (Percentile-Aware Layerwise Sparsity)

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) com bilhões de parâmetros impõem uma carga significativa de memória e computação durante a inferência. A poda pós-treinamento (post-training pruning) oferece uma solução ao remover uma fração dos pesos sem a necessidade de retreinamento. No entanto, métodos de poda de etapa única (one-shot) padrão, como Wanda e SparseGPT, impõem uma esparsidade uniforme, aplicando a mesma proporção de poda (ex: 50%) a cada camada de um transformer.

Essa abordagem ignora as variações conhecidas na importância das camadas. As camadas de um transformer exibem heterogeneidade funcional: camadas iniciais frequentemente constroem representações genéricas, camadas intermediárias podem ser redundantes e camadas tardias se especializam para o vocabulário de saída. A poda uniforme falha em explorar essas diferenças, podendo remover pesos críticos de camadas sensíveis enquanto poda excessivamente camadas redundantes, levando a uma perplexidade e precisão subótimas.

Metodologia: PALS

Os autores propõem o PALS (Percentile-Aware Layerwise Sparsity), um método que ajusta dinamicamente a proporção de poda para cada camada com base em estatísticas de ativação coletadas de um pequeno conjunto de calibração. O PALS integra-se ao pipeline do Wanda com um overhead negligenciável e não requer ajuste fino (fine-tuning).

Algoritmo Central

1. Importância da Camada via Percentis de Ativação:
   Para cada camada $l$, as ativações $A^{(l)}$ são coletadas sobre um conjunto de calibração. Em vez de usar a média das ativações (que suaviza sinais críticos), o PALS calcula o 99º percentil das magnitudes absolutas de ativação:
   $$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$$
   Esta métrica visa "outliers de ativação" — características com magnitudes 10–100× maiores que o restante — que trabalhos anteriores (Dettmers et al.) identificaram como essenciais para a qualidade do modelo.

2. Normalização e Alocação:
   As pontuações brutas de percentil são padronizadas ($\hat{I}^{(l)}$) para serem comparáveis entre as camadas. A meta de esparsidade por camada $s^{(l)}$ é então calculada deslocando a meta global $s_{\text{target}}$ com base na importância normalizada:
   $$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$$

   • $\alpha$ (Força de Adaptação): Controla o quanto a esparsidade desvia do alvo.
   • Limites Conservadores: O método impõe uma banda de $\pm 5\%$ ao redor do alvo (ex: para um alvo de 50%, as camadas são podadas entre 45% e 55%). Isso evita "gargalos de informação" onde camadas fortemente podadas degradam a capacidade de toda a rede.

3. Execução da Poda:
   Uma vez determinado $s^{(l)}$ para cada camada, os pesos são pontuados e removidos usando o critério do Wanda ($|w| \cdot \text{mean}(|a|)$). Os $s^{(l)} \times 100\%$ inferiores de pesos são removidos. Não ocorrem atualizações de peso ou ajuste fino.

Descoberta Principal: Falha da Alocação Baseada em Gradiente

Os autores testaram uma abordagem aparentemente mais fundamentada: usar magnitudes de gradiente (ou expansões de Taylor de primeira ordem) para alocar a esparsidade. Esta abordagem falhou decisivamente, produzindo pontuações de perplexidade (47.32) significativamente piores do que a alocação aleatória (24.37) e a poda uniforme (12.92). Os autores hipotetizam que os gradientes refletem a dinâmica de otimização (convergência local) em vez do impacto discreto da remoção de grandes frações de pesos.

Resultados Experimentais

Resultados Primários (LLaMA-2-7B)

No LLaMA-2-7B com 50% de esparsidade não estruturada:

• Wanda Uniforme: 12.92 de perplexidade WikiText-2.
• PALS: 10.96 de perplexidade WikiText-2.
• Significância: Isso representa uma melhoria de 15,2% na perplexidade. O resultado é estatisticamente significativo ($p < 0.001$) em nove execuções independentes.
• Tarefas de Downstream: O PALS melhora a precisão zero-shot em BoolQ, PIQA, HellaSwag e MMLU em comparação ao Wanda, retendo 93,3% da precisão média do modelo denso.

Dependência de Arquitetura

Os benefícios do PALS não são universais; eles dependem da heterogeneidade interna de camadas do modelo:

• LLaMA-3-8B: Ganho marginal (10.48 vs. 10.45).
• Mistral-7B: Sem ganho (6.31 para ambos, uniforme e PALS).
• Interpretação: Modelos mais recentes (LLaMA-3, Mistral) provavelmente distribuem a computação de forma mais uniforme entre as camadas devido a conjuntos de dados de treinamento maiores ou mudanças arquiteturais (ex: Grouped-Query Attention), deixando menos espaço para a alocação não uniforme explorar.

Eficiência

• Memória: Reduz o tamanho do modelo em 50% (13.2 GB $\to$ 6.6 GB).
• Throughput: Alcança um aceleração de 1.41× em GPUs NVIDIA A100 usando kernels de matriz esparsa.
• Overhead: O pipeline PALS adiciona um tempo negligenciável ao processo de poda, pois reutiliza os dados de ativação já coletados pelo Wanda.

Significância e Alegações

O artigo faz três alegações primárias sobre sua contribuição:

1. Ganho de Desempenho via Não-Uniformidade: O PALS demonstra que ajustar as proporções de esparsidade por camada com base em outliers de ativação produz reduções significativas de perplexidade em modelos com heterogeneidade de importância de camada (especificamente LLaMA-2), superando a linha de base padrão de poda uniforme.
2. Falha de Gradiente na Poda de Etapa Única: O artigo documenta um modo de falha impressionante onde métricas de importância baseadas em gradiente, bem-sucedidas em redes menores, produzem alocações piores do que o acaso para LLMs pré-treinados. Isso sugere uma desconexão fundamental entre a magnitude do gradiente e o impacto da remoção discreta de pesos no cenário de etapa única.
3. Robustez e Simplicidade: O método não requer ajuste fino, adiciona custo computacional mínimo e depende de uma heurística estatística simples (99º percentil) que se alinha ao fenômeno conhecido de outliers de ativação em transformers.

Os autores permanecem modestos quanto à universalidade dos ganhos, observando que a eficácia do método é contingente à arquitetura específica e à dinâmica de treinamento do modelo alvo. Se as camadas de um modelo forem uniformemente importantes, o PALS não oferece vantagem sobre a poda uniforme.