SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

Resumo Técnico: SpenseGPT: Poda de Shot Único Prática para GEMMs Esparsas e Densas em Inferência de LLM

1. Declaração do Problema

A esparsidade semiestruturada 2:4 (onde dois de cada quatro pesos consecutivos são podados para zero) é amplamente suportada por aceleradores modernos (ex: NVIDIA B200, GPUs AMD, Meta MTIAs) e oferece um aumento teórico de velocidade de 2× ao permitir que o hardware ignore computações de pesos zero. No entanto, a adoção prática para a inferência de Grandes Modelos de Linguagem (LLMs) enfrenta dois obstáculos principais:

1. Degradação Estrita de Acurácia: A restrição rígida de esparsidade 2:4 frequentemente leva a uma perda significativa de acurácia na poda pós-treinamento, particularmente em tarefas de raciocínio e seguimento de instruções, a menos que um retreinamento extensivo seja realizado.
2. Impraticabilidade de Relaxações Existentes: Trabalhos recentes que tentam relaxar a restrição 2:4 (ex: PATCH, SlideSparse) sofrem de limitações críticas. O PATCH requer suporte de compilador especializado (Triton) ainda não amplamente disponível, enquanto o SlideSparse necessita da expansão da ativação de entrada, introduzindo overhead de tempo de execução que anula os ganhos de velocidade de ponta a ponta, especialmente para comprimentos de sequência ($M$) grandes.

2. Metodologia

O artigo propõe o Spense, um formato híbrido esparso-denso prático, e o SpenseGPT, um método de poda pós-treinamento de shot único construído sobre ele.

A. O Formato Spense
Em vez de impor esparsidade 2:4 em toda a matriz de pesos, o Spense divide cada matriz de pesos em duas regiões contíguas:

• Uma região densa (mantendo $p\%$ dos pesos).
• Uma região esparsa 2:4 (podada com a esparsidade 2:4 padrão).

Este design aproveita bibliotecas GEMM existentes e altamente otimizadas (ex: cuSPARSELt para esparsa e cuBLASLt para densa em GPUs NVIDIA) sem exigir compiladores customizados ou expansão da ativação de entrada. Os autores implementam duas variantes:

• Divisão de Saída (Output-split): Divide o tensor de saída, utilizando GEMM esparsa para uma parte e GEMM densa para a outra.
• Divisão de Entrada (Input-split): Divide o tensor de entrada, processando a primeira parte com GEMM esparsa e a segunda com GEMM densa (com acumulação).
  Para variantes de GLU em MLPs, os autores utilizam divisão de saída para $W_{up}$ e $W_{gate}$, e divisão de entrada para $W_{down}$.

B. Estratégias de Seleção de Índice Denso
Um insight crítico é que quais índices intermediários são mantidos densos impacta significativamente a qualidade do modelo. O artigo identifica que os índices intermediários em MLPs do tipo GLU podem ser permutados sem alterar a saída matemática, permitindo a seleção de índices específicos para serem densos antes de rearranjá-los em um bloco contíguo para execução. Duas estratégias são propostas:

1. SpenseGPT (Estratégia Simples): Seleciona os últimos $p\%$ dos índices intermediários para permanecerem densos. Isso se alinha com a ordem de processamento de colunas do SparseGPT, onde as colunas processadas são congeladas e os erros de reconstrução são compensados atualizando as colunas restantes à direita. Manter as colunas densas à direita fornece um "buffer de compensação".
2. SpenseGPT+ (Estratégia Consciente de Perda): Seleciona índices densos com base em uma estimativa de perda de reconstrução. Inspirado no Wanda, ele calcula um escore de importância para cada índice intermediário agregando contribuições através das projeções gate, up e down. O escore combina a magnitude do peso e a magnitude da ativação de entrada ($S_{ij} = |W_{ij}|\sqrt{H_{j,j}}$). Os índices com os maiores escores são selecionados para permanecer densos e, em seguida, permutados para a região contígua antes de aplicar o SparseGPT às regiões esparsas restantes.

3. Principais Contribuições

• Formato Spense: Um formato híbrido esparso-denso que relaxa a estrita esparsidade 2:4 enquanto mantém a compatibilidade com bibliotecas GEMM esparsas e densas de alto desempenho existentes, evitando suporte de compilador customizado ou overhead de expansão de ativação.
• Importância da Seleção de Densidade: Demonstração de que a seleção dos índices densos é um fator crítico para manter a qualidade do modelo, visto que a seleção ingênua leva a quedas severas de desempenho.
• Estratégias de Poda: Introdução do SpenseGPT (seleção de cauda contígua) e Spcesso de SpenseGPT+ (seleção baseada em perda de reconstrução) para poda de shot único.
• Aceleração no Mundo Real: Primeira demonstração de poda de shot único alcançando acelerações de decodificação de LLM de ponta a ponta no mundo real em GPUs recentes (B200) usando tensor cores esparsos semiestruturados, preservando a qualidade do modelo.

4. Resultados Experimentais

Os métodos foram avaliados em Qwen3-32B e Seed-OSS-36B usando precisão FP8 em GPUs B200 com o framework VLLM. Os benchmarks incluíram AIME (matemática), GPQA (conhecimento), IFEval (seguimento de instrução) e LiveCodeBench (codificação).

• Preservação de Acurácia:
  • A poda 2:4 estrita (esparsidade de 50%) causou quedas significativas de acurácia (ex: a pontuação média do Seed-OSS-36B caiu de 73,86 para 65,18 com SparseGPT).
  • SpenseGPT+ com 25% de esparsidade alcançou uma pontuação média de 73,12 no Seed-OSS-36B, quase igualando a linha de base densa (73,86).
  • No Qwen3-32B, o SpenseGPT+ com 25% de esparsidade atingiu 70,76, próximo da linha de base densa de 71,68.
  • Comparações mostraram que o SpenseGPT+ superou significativamente o SpenseGPT e outras linhas de base (HyperPrune, Wanda) ao selecionar corretamente os índices densos.
• Aceleração de Ponta a Ponta:
  • O Spense alcançou até 1,2× de aceleração de decodificação de ponta a ponta sobre a linha de base densa em GPUs B200.
  • Em contraste, o SlideSparse falhou em fornecer aceleração significativa devido aos overheads de não-GEMM da expansão da ativação de entrada.
• Eficiência:
  • A poda de modelos de 32B–36B levou aproximadamente 1,33–2,15 horas em uma única GPU B200, comparável ao SparseGPT e muito mais rápido que o HyperPrune. O ProxSparse ficou sem memória nesses modelos.

5. Significância e Alegações

O artigo afirma apresentar a primeira demonstração de poda de shot único de acelerações de decodificação de LLM de ponta a ponta no mundo real derivadas de tensor cores esparsos semiestruturados em hardware recente (especificamente GPUs B200) enquanto mantém a qualidade do modelo.

Os autores enfatizam que sua abordagem preenche a lacuna entre a aceleração teórica de hardware e a implantação prática. Ao evitar a necessidade de compiladores especializados ou expansão de entrada, o Spense permite a utilização imediata de bibliotecas otimizadas existentes. O trabalho destaca que simplesmente relaxar a restrição de esparsidade é insuficiente; a estratégia para selecionar quais pesos permanecem densos é primordial para preservar as capacidades de raciocínio e seguimento de instruções do modelo.

Limitações Reconhecidas:

• A aceleração depende da eficiência das bibliotecas GEMM subjacentes e varia com o tamanho do lote (batch size), comprimento da sequência e hardware.
• O SpenseGPT+ depende de dados de calibração; se a distribuição de implantação diferir significamente do conjunto de calibração, os índices densos selecionados podem não ser ideais.