Resumo Técnico: Além da Compressão Unidimensional

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos de implantação devido aos altos custos de inferência. Embora técnicas de compressão de modelos como a poda estática de parâmetros e a computação dinâmica ao nível de token tenham sido desenvolvidas para reduzir os requisitos de memória e computação, elas compartilham uma limitação comum: a existência de um limite de esparsidade essencial. Além de um limiar crítico de esparsidade, uma esparsação mais agressiva desencadeia uma rápida degradação de desempenho.

A pesquisa atual tipicamente estuda esses mecanismos de compressão isoladamente. A poda estática de parâmetros remove a redundância estrutural antes da inferência, enquanto o salto de tokens dinâmicos adapta a computação por entrada durante a inferência. A questão central que este trabalho aborda é se a combinação desses dois mecanismos distintos pode retardar o início da degradação de desempenho ao distribuir o fardo da compressão através de múltiplas dimensões, em vez de esgotar a redundância de uma única dimensão.

Metodologia

Os autores propõem um framework de esparsidade composta minimalista projetado para controlar independentemente a esparsidade de parâmetros e a esparsidade de computação ao nível de token. O pipeline consiste em duas etapas sequenciais:

1. Compressão do Espaço de Parâmetros Estáticos:

   • O framework aplica poda estruturada ao backbone do LLM pré-treinado.
   • Utiliza LoRAP (Aproximação de Baixo Rank para Poda) para módulos de atenção e poda de canal para módulos MLP.
   • Isso reduz o custo estrutural do modelo, convertendo o operador de camada completa $F(\cdot)$ em um operador de backbone esparso $F_p(\cdot)$.

2. Compressão de Computação Dinâmica ao Nível de Token:

   • Construído sobre o backbone podado, um mecanismo de roteamento leve e adaptável à inferência é introduzido.
   • Seguindo o SkipGPT, um roteador pós-treinado gera indicadores binários para cada token.
   • Os tokens são divididos em um subconjunto Ativo (que passa pelo processamento completo de forward) e um subconjunto Inativo (pulado e passado diretamente para a próxima camada).

Definição de Esparsidade Composta:
Os autores definem a esparsidade composta global ($S_{comp}$) com base na redução da computação de inferência efetiva:
$$S_{comp} = 1 - (1 - s_p)(1 - s_t)$$
Onde $s_p$ é a razão de esparsidade de parâmetros e $s_t$ é a razão de esparsidade de computação de tokens. Esta formulação permite a alocação flexível de um orçamento total de esparsidade fixo entre as duas dimensões (por exemplo, alocação equilibrada onde $s_p \approx s_t$).

Principais Resultados

Experimentos foram conduzidos utilizando o Llama3.1-8B com dados de treinamento Redpajama, avaliados em benchmarks de compreensão de linguagem (BoolQ, PIQA, HellaSwag, etc.) e modelagem de linguagem (PPL do WikiText-2).

1. Degradação Retardada:

   • A esparsidade composta supera consistentemente a compressão de mecanismo único sob a mesma esparsidade total.
   • Em tarefas de compreensão, o limiar de colapso da "esparsidade essencial" (onde o desempenho cai bruscamente) é retardado de aproximadamente 20% (mecanismo único) para 30% (composta).
   • Na modelagem de linguagem, a esparsidade composta mantém um desempenho significativamente superior. Com 30% de esparsidade total, a esparsidade composta mantém ~70% do desempenho relativo, comparado a ~60% para salto de tokens e ~56% para poda de parâmetros isolada.

2. Sensibilidade à Tarefa:

   • Tarefas de modelagem de linguagem são mais sensíveis à esparsidade do que tarefas de compreensão de múltipla escolha. Tarefas de modelagem exibem uma esparsidade essencial precoce (0–10%) seguida por uma degradação aproximadamente linear, enquanto tarefas de compreensão mostram um "abismo" mais distinto no desempenho.

3. Interferência Cross-Dimensional:

   • O estudo revela que a poda de parâmetros e o salto de tokens não são inteiramente independentes. Um backbone levemente podado (ex: 10% de esparsidade de parâmetros) torna-se mais sensível ao salto de tokens.
   • Esta interferência sugere um limite inerente e unificado para a esparsidade composta; embora a degradação seja retardada, ela não é eliminada.

4. Alocação Ótima:

   • Sob um orçamento fixo de esparsidade total (ex: 50%), uma alocação quase equilibrada de esparsidade entre parâmetros e tokens produz o melhor desempenho.
   • O desempenho segue uma curva convexa: ele melhora com uma esparsidade de parâmetros suave, mas degrada drasticamente quando uma dimensão é sobrecomprimida.

Principais Contribuições

1. Mudança de Perspectiva: O trabalho investiga a esparsidade essencial de uma perspectiva de compressão composta, desafiando a visão de que os limites de esparsidade são propriedades de mecanismos únicos.
2. Framework Controlável: Introduz um framework desacoplado usando LoRAP, poda de canal e salto de camada dinâmico por token, permitindo a manipulação independente da esparsidade de parâmetros e de tokens para analisar compensações.
3. Validação Empírica: O estudo demonstra que a esparsidade composta melhora a relação compressão-desempenho e retarda a queda de desempenho. No entanto, também identifica um limite de esparsidade cross-dimensional mais amplo que finalmente limita a compressão adicional, apoiando o princípio de "Duas Dimensões, Uma Parede".

Significância e Alegações

O artigo afirma que a compressão composta fornece uma maneira prática de melhorar a compressão de LLMs ao distribuir a pressão através de dimensões ortogonais (parâmetros e tokens). Esta abordagem permite que os modelos alcancem uma esparsidade total maior antes de atingir o abismo de desempenho em comparação com abordagens de mecanismo único.

No entanto, os autores mantêm uma postura modesta em relação aos limites últimos da compressão. Eles afirmam que, embora o compartilhamento do fardo da compressão atrase a degradação do desempenho, ele não pode contornar o limite de esparsidade inerente. Uma parede de esparsidade cross-dimensional universal permanece como a restrição final. As descobertas oferecem referências fundamentadas para o escalonamento de orçamento cross-dimensional, sugerindo que a alocação equilibrada é a estratégia mais eficaz para maximizar a capacidade do modelo sob rigorosas restrições de recursos.

Nota: O código para este trabalho está disponível em https://github.com/EIT-NLP/LLM-Pruning.