Motivating Next-Gen Accelerators with Flexible (N:M) Activation Sparsity via Benchmarking Lightweight Post-Training Sparsification Approaches

Este trabalho apresenta uma análise abrangente de técnicas de poda de ativações esparsas (N:M) pós-treinamento para modelos de linguagem grandes, demonstrando que a poda de ativações preserva melhor a capacidade generativa do que a de pesos e identificando o padrão 8:16 como um equilíbrio ideal entre flexibilidade de desempenho e complexidade de implementação em hardware.

O essencial

Imagine que você tem um restaurante gigante e muito famoso (o Modelo de Linguagem, como o Llama ou o Qwen) que atende milhões de clientes por dia. O problema é que a cozinha está tão cheia e o movimento tão grande que demora muito para servir os pratos, e o custo de energia está subindo.

Para resolver isso, os chefs (cientistas de dados) tentaram duas estratégias principais nos últimos anos:

1. A Estratégia "Peso" (Weight Pruning): Eles decidiram demitir permanentemente alguns ajudantes de cozinha e jogar fora algumas panelas que usavam pouco. O problema? Isso é como demitir um funcionário e nunca mais poder contratá-lo de volta. Se o prato for complexo, a cozinha fica sem a ferramenta certa e o sabor do prato (a inteligência do modelo) fica ruim.
2. A Estratégia "Ativação" (Activation Sparsity): Em vez de demitir pessoas, eles decidiram que, para cada pedido específico, apenas os ajudantes necessários naquele momento vão trabalhar. Se um pedido é simples, só 2 pessoas trabalham. Se é complexo, trabalham 8. É dinâmico, inteligente e não joga nada fora permanentemente.

O Problema Atual: A Cozinha Rígida

O grande problema é que a cozinha atual (o hardware dos computadores) foi construída para funcionar de um jeito muito rígido. Ela só aceita que, a cada 4 ajudantes, exatamente 2 trabalhem (uma regra chamada 2:4). É como se o gerente dissesse: "Não importa se o pedido é para um sanduíche ou um banquete, sempre trabalhem 2 de cada 4". Isso limita muito a eficiência.

A Grande Descoberta deste Trabalho

Os autores deste artigo foram para a cozinha e testaram uma ideia ousada: "E se a gente permitir que a cozinha funcione com regras mais flexíveis?"

Eles testaram regras onde, a cada 16 ajudantes, 8 trabalham (regra 8:16), ou até 16 de 32 (16:32).

Aqui estão os pontos principais, traduzidos para uma linguagem simples:

1. "Ativação" é melhor que "Peso"

Eles descobriram que a estratégia de "contratar apenas quem precisa no momento" (Ativação) funciona muito melhor do que "demitir permanentemente" (Peso).

• Analogia: É como ter um guarda-chuva. Se você joga o guarda-chuva fora (peso), você fica molhado quando chove. Se você só abre o guarda-chuva quando chove (ativação), você se protege sem carregar peso o tempo todo. O modelo mantém sua inteligência quase intacta, mesmo com menos gente trabalhando.

2. O Segredo da Flexibilidade (N:M)

A regra antiga (2:4) é muito limitada. Imagine que você tem 4 pessoas e só pode escolher 2. Existem apenas 6 combinações possíveis. É muito pouco!
Já a regra nova (8:16) permite escolher 8 pessoas entre 16. Existem 12.870 combinações possíveis!

• Analogia: É a diferença entre ter apenas 6 cores de tinta para pintar uma casa e ter 12.870 tons. Com mais opções, você consegue pintar a casa (resolver o problema) de um jeito muito mais preciso e bonito, sem gastar mais tinta.

3. O "Truque" para não estragar o prato (Correção de Erros)

Quando você tira metade das pessoas da cozinha, o prato pode ficar sem sal ou sem tempero. O modelo pode começar a alucinar ou errar.
Os autores testaram vários "temperos mágicos" (métodos de correção) que são fáceis de aplicar e não exigem reeducar todo o restaurante do zero.

• O Vencedor: Eles descobriram que métodos simples, como ajustar o "centro" do pedido (Shift) ou corrigir a "variação" (Variance), funcionam maravilhosamente bem. É como um chef experiente que, ao ver que faltou um ingrediente, ajusta o sal na hora para salvar o prato.

4. O Resultado Final

• A regra 16:32 funciona quase tão bem quanto não ter nenhuma regra (o modelo original), mantendo a inteligência quase 100%.
• A regra 8:16 é o "ponto ideal". Ela oferece um ganho enorme de velocidade e economia de energia, mas ainda é prática para ser implementada em computadores reais em breve.
• A regra antiga 2:4 é muito pior, perdendo muita qualidade.

Por que isso importa para o futuro?

Hoje, os chips de computador (como os da NVIDIA) são feitos pensando apenas na regra rígida de 2:4. Este artigo é um convite urgente para os engenheiros de hardware:

"Parem de construir cozinhas rígidas! Se vocês construírem chips que entendam regras flexíveis (como 8:16), vocês poderão rodar modelos de Inteligência Artificial muito mais rápidos, mais baratos e com menos consumo de energia, sem perder a inteligência deles."

Resumo em uma frase:
Este trabalho mostra que, em vez de forçar a Inteligência Artificial a seguir regras rígidas e perder qualidade, devemos construir computadores mais flexíveis que permitam que o modelo "descanse" partes de si mesmo quando não precisa delas, economizando energia e tempo sem perder a inteligência.

Resumo técnico

Resumo Técnico: Motivação para Aceleradores de Próxima Geração com Esparsidade de Ativação N:M

1. O Problema

A demanda por inferência eficiente em Modelos de Linguagem de Grande Escala (LLMs) tem impulsionado o interesse em técnicas de esparsificação. No entanto, o suporte de hardware atual é rigidamente focado na esparsidade estruturada 2:4 em pesos (dois elementos não nulos a cada quatro).

• Limitações Atuais: A esparsidade em pesos permite compressão estática, mas pode degradar irreversivelmente a qualidade do modelo. Além disso, o padrão 2:4 oferece pouca flexibilidade (apenas 6 configurações válidas por bloco).
• Oportunidade Ignorada: A esparsidade de ativação (sparsity nas saídas das camadas intermediárias) é frequentemente negligenciada no design de hardware, embora ofereça vantagens cruciais: é adaptativa à entrada (input-adaptive), preserva melhor a capacidade do modelo e reduz significativamente o I/O de memória e o consumo de energia.
• Desafio: A esparsidade de ativação é dinâmica e requer hardware especializado para ser eficiente, algo que ainda não é suportado nativamente em hardware comercial para padrões além do 2:4.

2. Metodologia

Os autores realizaram um estudo abrangente de poda pós-treinamento (post-training pruning) de ativações em quatro LLMs distintos: Llama2-7B-chat, Llama3.1-8B-Instruct, Qwen2.5-7B-Instruct e Gemma3-4B-Instruct.

Abordagem Experimental:

• Padrões de Esparsidade: Avaliaram padrões semi-estruturados N:M (onde N elementos são mantidos em um bloco de tamanho M): 2:4, 4:8, 8:16 e 16:32.
• Criterios de Seleção (Pruning Metrics):
  • Magnitude (ACT): Valor absoluto da ativação.
  • Baseado em Pesos (WT): Valor absoluto do peso correspondente.
  • CLACT (Context-Aware): Métrica inspirada em perda de cosseno que considera a energia da linha/coluna.
  • Amber-Pruner: Utiliza magnitudes de pesos após remoção de outliers e normalização.
• Estratégias de Mitigação de Erro (Plug-and-Play):
  • Focaram em métodos leves que exigem poucos ou nenhum dados de calibração (ex: WikiText-2).
  • Deslocamento por Token (PTS): Dinâmico (D-PTS), Estático (S-PTS) e Aprendível (L-PTS).
  • Correção de Variância (VAR): Normaliza a variância após a poda.
  • R-Sparse: Combina esparsidade de ativação com aproximação de baixo posto (low-rank) dos pesos.

3. Principais Contribuições

1. Superioridade da Esparsidade de Ativação: Demonstraram que, em níveis de esparsidade equivalentes, a poda de ativações supera consistentemente a poda de pesos em termos de retenção de acurácia em todos os modelos testados.
2. Benchmark de Métodos Leves: Avaliaram e compararam técnicas de mitigação de erro que não exigem fine-tuning pesado, estabelecendo linhas de base fortes para hardware futuro.
3. Análise de Padrões N:M: Provaram que padrões maiores (como 8:16 e 16:32) oferecem um equilíbrio superior entre flexibilidade e desempenho, superando o padrão 2:4 convencional.

4. Resultados Chave

• Ativação vs. Pesos: A poda de ativações (ACT) resultou em uma degradação de desempenho muito menor do que a poda de pesos (WT) na mesma taxa de esparsidade. Por exemplo, em 50% de esparsidade, a poda de pesos causou quedas drásticas de acurácia, enquanto a de ativações manteve o modelo funcional.
• Padrões N:M:
  • 16:32: Atingiu desempenho próximo à esparsidade não estruturada de 50% (queda de ~5.4%), sendo aproximadamente 2.7x melhor que o padrão 2:4.
  • 8:16: Ofereceu o melhor equilíbrio entre acurácia e praticidade. A queda de desempenho foi de apenas ~7.38% (vs. 14.35% do 2:4), mantendo mais de três vezes mais acurácia que o 2:4.
• Métodos de Mitigação:
  • Técnicas simples como S-PTS (deslocamento estático) e VAR (correção de variância) superaram métodos complexos e aprendíveis (como L-PTS) na maioria dos casos.
  • O método VAR mostrou-se particularmente eficaz em tarefas de instrução (IFEval) e em esparsidade não estruturada.
• Sensibilidade de Camadas: A análise revelou que as projeções de saída da atenção (attention out projections) e as projeções "up" do FFN são as mais sensíveis à poda. Preservar essas camadas ou tratá-las com cuidado é crucial.

5. Significado e Implicações

O trabalho fornece evidências concretas para que os projetistas de hardware de próxima geração considerem o suporte nativo a padrões N:M flexíveis para ativações, especificamente o padrão 8:16.

• Viabilidade de Hardware: Embora a esparsidade dinâmica exija operações adicionais (como cálculo de máscaras e correção de variância), a análise de break-even sugere que, com um acelerador de hardware capaz de fornecer um speedup >1.6x nas operações esparsas, os ganhos de largura de banda e eficiência energética superam os custos computacionais.
• Futuro dos Aceleradores: O suporte nativo a padrões maiores (como 8:16) oferece uma flexibilidade de configuração muito maior (12.870 layouts possíveis vs. 6 do 2:4) com um custo de metadados marginalmente maior, permitindo uma compressão mais eficiente sem sacrificar a qualidade do modelo.

Conclusão: A esparsidade de ativação pós-treinamento é uma rota promissora para a inferência eficiente de LLMs. A adoção de padrões flexíveis como 8:16, combinada com técnicas leves de correção de erro, pode desbloquear ganhos significativos de eficiência sem comprometer a capacidade dos modelos, motivando a evolução das arquiteturas de aceleradores.