💬 NLP

High-Layer Attention Pruning with Rescaling

Este artigo apresenta o High-Layer Attention Pruning with Rescaling (HARP), um novo método livre de treinamento que remove estrategicamente cabeças de atenção de camadas superiores de grandes modelos de linguagem e aplica reescalonamento adaptativo para preservar a magnitude da representação, alcançando assim um desempenho superior em diversas tarefas de geração e discriminativas em comparação com as técnicas de poda estruturada existentes.

Autores originais: Songtao Liu, Peng Liu

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Songtao Liu, Peng Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô superinteligente, um "Large Language Model" (LLM), que pode escrever histórias, resolver problemas matemáticos e conversar como um humano. Esses cérebros são incrivelmente poderosos, mas também são massivos — como tentar carregar uma biblioteca em sua mochila. Por serem tão grandes, eles são lentos para pensar e ocupam muito espaço, o que os torna difíceis de usar em celulares ou laptops comuns. Para resolver isso, cientistas usam uma técnica chamada "poda" (pruning). Pense na poda como podar uma árvore bonsai: você corta cuidadosamente os galhos que não estão fazendo muito trabalho para que a árvore permaneça saudável, mas se torne menor e mais rápida.

Normalmente, quando as pessoas podam esses cérebros de robô, elas olham para as "cabeças de atenção" (attention heads) — as pequenas partes do cérebro que ajudam o modelo a decidir quais palavras são importantes umas para as outras. Imagine essas cabeças como uma equipe de detetives em uma sala, cada um observando uma pista diferente. O modo antigo de podar era apenas escolher alguns detetives de cada uma das salas e expulsá-los, esperando que a equipe ainda funcionasse. Mas este artigo sugere que essa não é a maneira mais inteligente de se fazer. Acontece que, nos andares mais altos do edifício (as camadas superiores do modelo), os detetives estão frequentemente apenas repetindo o que os de baixo já disseram. Eles não estão adicionando muito valor novo. Os autores deste artigo, Songtao Liu e Peng Liu, da Penn State, queriam ver se poderíamos obter um resultado melhor se apenas podássemos os detetives dos andares superiores e deixássemos os trabalhadores dos andares inferiores em paz. Eles também descobriram um truque inteligente para garantir que o cérebro não fique confuso quando removermos esses detetives do andar superior.

A Grande Ideia: Cortar do Topo, Não do Meio

Os pesquisadores propuseram um novo método chamado HARP (High-layer Attention Rescaled Pruning). A principal descoberta deles é que as "camadas superiores" de um Large Language Model são, na verdade, menos importantes que as inferiores. Para entender o porquê, imagine uma corrida de revezamento. Os corredores no início (as camadas inferiores) estão fazendo o trabalho pesado, descobrindo a forma básica das palavras e frases. À medida que o bastão sobe pela pista para as camadas superiores, os corredores estão apenas passando o bastão. Quando o bastão chega ao topo da pista, os corredores estão tão sincronizados que todos estão fazendo exatamente a mesma coisa. Se você remover um corredor do topo da pista, a corrida não muda muito porque eles estavam apenas copiando a pessoa abaixo deles de qualquer maneira.

Os autores descobriram que, se você podar (cortar fora) as cabeças de atenção nessas camadas superiores, o modelo na verdade funciona melhor do que se você as cortasse aleatoriamente de todos os lugares. Eles testaram isso em vários modelos famosos como LLaMA3.1-8B, Mistral-7B, Qwen2-7B e Gemma2-9B. Em seus experimentos, eles removeram cabeças de atenção específicas das últimas 8 camadas dos modelos.

O Truque do "Botão de Volume"

Havia um porém, no entanto. Quando você remove esses detetives das camadas superiores, o sinal que o cérebro envia fica um pouco mais baixo ou mais alto do que antes. É como se você removesse um alto-falante de um sistema de som; a música ainda pode tocar, mas o volume estará errado e o som pode ficar distorcido. Para corrigir isso, os autores introduzram um "parâmetro de reescalonamento". Pense nisso como um botão de volume ou um interruptor de intensidade (dimmer). Depois de cortar as camadas superiores, eles giraram esse botão para ajustar o tamanho dos sinais, garantindo que as partes restantes do cérebro ainda pudessem se ouvir claramente. Eles não apenas adivinharam a configuração certa; eles usaram um método de busca inteligente para encontrar o nível de volume perfeito para cada camada, testando diferentes números até que o modelo soasse da melhor forma possível.

O Que Eles Descobriram

Os resultados foram bastante impressionantes. Quando testaram o método HARP em 27 tarefas diferentes — que variavam desde responder perguntas de conhecimentos gerais até resolver problemas matemáticos complexos e resumir documentos longos — ele consistentemente superou os outros métodos populares de poda.

Tarefas de Geração: É aqui onde o modelo tem que escrever coisas novas, como resolver um problema matemático passo a passo. Aqui, o HARP brilhou mais. Por exemplo, no modelo LLaMA3.1-8B, o HARP obteve uma pontuação média de 31,10% em tarefas de geração, enquanto o próximo melhor método obteve apenas 20,58%. Esse é um salto enorme!
Contexto Longo: O artigo também observou como os modelos lidavam com histórias ou documentos muito longos (até 65.536 tokens). Como o mecanismo de atenção é a parte que fica mais lenta com textos longos, cortar as camadas superiores tornou o modelo significativamente mais rápido. Eles descobriram que, para uma sequência de 65.536 tokens, seu modelo podado era 16,7% mais rápido do que o modelo original, não podado, mantendo a qualidade alta.
Tarefas Discriminativas: Estas são tarefas onde o modelo apenas escolhe a resposta certa de uma lista (como um teste de múltipla escolha). Aqui, a melhoria foi menor, mas ainda assim positiva. O HARP teve um desempenho igual ou melhor que os outros métodos, mostrando que cortar as camadas superiores não prejudicou a capacidade do modelo de entender fatos.

Por Que Isso Importa

Os autores sugerem que este método é um divisor de águas para tornar a IA mais rápida e barata de operar sem a necessidade de retreinar todo o modelo do zero. Ao perceber que os andares superiores de um edifício de IA são os mais "redundantes" (fazendo o mínimo de trabalho único), eles podem podar a gordura sem ferir o músculo. O truque de "reescalonamento" garante que o modelo não fique tonto quando você remove essas partes.

Em resumo, o artigo argumenta que não devemos tratar todas as partes de um cérebro de IA da mesma forma. Assim como um arranha-céu, os andares superiores podem ser menos críticos para a estrutura do que a fundação. Ao podar cuidadosamente o topo e ajustar o volume, podemos tornar esses gigantescos cérebros de IA menores, mais rápidos e prontos para o uso cotidiano. O código para este método está disponível para qualquer pessoa testar, e os autores esperam que ajude a tornar a IA de contexto longo (como ler livros inteiros em segundos) muito mais prática para o mundo real.

Resumo Técnico: Poda de Atenção de Camadas Altas com Redimensionamento (HARP)

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) alcançam um desempenho de estado da arte, mas sofrem com alta latência de inferência e custos de memória, particularmente em cenários de contexto longo. Embora a poda estruturada ofereça uma solução livre de treinamento para reduzir parâmetros, os métodos existentes frequentemente empregam métricas heurísticas que removem indiscriminadamente cabeças de atenção em todas as camadas da rede. Essas abordagens falham em considerar a redundância posicional das cabeças de atenção dentro da arquitetura. Especificamente, os métodos atuais não distinguem se as cabeças de atenção em camadas inferiores (que processam representações de tokens diversas) são mais críticas do que aquelas em camadas superiores (onde as representações podem ter se tornado altamente alinhadas). Além disso, remover cabeças de atenção altera a magnitude das representações dos tokens porque a etapa de agregação (média ponderada) é ignorada, o que pode desestabilizar a escala da saída do modelo.

Metodologia

Os autores propõem o HARP (High-layer Attention Rescaled Pruning), um algoritmo de poda estruturada livre de treinamento projetado para abordar esses problemas por meio de dois mecanismos centrais:

1. Poda de Atenção de Camadas Altas

O HARP opera sobre a premissa teórica e empírica de que as cabeças de atenção nas camadas superiores dos LLMs são menos importantes do que as das camadas inferiores.

Base Teórica: À medida que os tokens propagam pela rede, suas representações ocultas tendem a se tornar cada vez mais semelhantes (sobre-suavização ou over-smoothing). Quando a similaridade de cosseno média entre pares de tokens se aproxima de 1, as consultas (queries) e chaves (keys) tornam-se quase paralelas. Consequentemente, os pesos de atenção softmax tornam-se uniformes, fazendo com que a cabeça de atenção degrade em um simples operador de média que não consegue distinguir entre os tokens.
Base Empírica: Métricas como o escore de Importância de Bloco (BI) indicam que os parâmetros em camadas inferiores geralmente têm um impacto maior no desempenho do modelo do que os parâmetros em camadas superiores.
Implementação: O HARP poda seletivamente os parâmetros de Consulta ( $Q$ ) e Chave ( $K$ ) das cabeças de atenção nas camadas mais altas do modelo. Ao remover $Q$ e $K$ , o mecanismo de autoatenção é efetivamente ignorado para essas camadas. A camada então aplica apenas as projeções de Valor ( $V$ ) e Saída ( $O$ ), reduzindo a complexidade computacional de $O(N^2d)$ para $O(Nd)$ para as camadas podadas.

2. Redimensionamento Adaptativo

Podar a etapa de agregação da atenção altera a escala (magnitude) das representações do estado oculto, uma vez que a operação de média ponderada é removida.

Problema: Sem a etapa de agregação, a norma de Frobenius dos estados ocultos muda, potencialmente levando à degradação do desempenho.
Solução: O HARP introduz um parâmetro de redimensionamento não diferenciável, $\alpha$ , na conexão residual das camadas podadas. A saída é formulada como $H = H + \alpha H W_V W_O$ .
Otimização: Como $\alpha$ é um hiperparâmetro não diferenciável em vez de um parâmetro treinável, os autores empregam uma estratégia de busca gulosa (greedy) de cima para baixo. Começando da camada podada mais alta, eles buscam o valor ideal de $\alpha$ (de um conjunto discreto $\{0, 0.1, \dots, 1.0\}$ ) minimizando a Perplexidade (PPL) em um corpus de validação. Este processo é repetido camada por camada descendo pela rede.

Principais Contribuições

Estratégia de Poda Inovadora: A introdução do HARP, que visa especificamente as cabeças de atenção nas camadas superiores dos LLMs, baseando-se na observação de que essas cabeças são menos informativas devido à sobre-suavização da representação.
Mecanismo de Redimensionamento: A proposta de um parâmetro de redimensionamento adaptativo para calibrar as magnitudes das representações de tokens pós-poda, neutralizando o desvio de escala causado pelo bypass da etapa de agregação da atenção.
Avaliação Abrangente: Experimentos extensos em quatro arquiteturas diversas de LLM (LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B) e 27 tarefas de downstream, cobrindo tanto benchmarks generativos quanto discriminativos.
Ganhos de Eficiência: Demonstração de acelerações significativas na inferência, particularmente em tarefas de contexto longo, ao reduzir a complexidade quadrática do mecanismo de atenção nas camadas podadas.

Resultados Experimentais

Os autores avaliaram o HARP contra baselines de estado da arte, incluindo Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP e Wanda.

Tarefas de Geração: O HARP superou consistentemente todos os baselines. No LLaMA3.1-8B, o HARP alcançou uma pontuação média de 31,10% em tarefas de geração (TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH), superando significativamente o FLAP (15,05%) e o Wanda-sp (12,61%). A melhoria foi particularmente notável em tarefas que exigem respostas longas (ex: GSM8K), onde a propagação de erro é um grande desafio para modelos podados.
Tarefas Discriminativas: O HARP alcançou o maior desempenho médio no LLaMA3.1-8B, Mistral-7B-v0.3 e Qwen2-7B, e teve desempenho equivalente ao melhor baseline no Gemma2-9B.
Modelagem de Contexto Longo: No benchmark LongBench, o HARP demonstrou robustez superior em tarefas de QA multi-documento e sumarização, preservando melhor as dependências de longo alcance do que outros métodos.
Estudos de Ablação:
- Seleção de Camada: Podar as 8 camadas superiores (Top-8) rendeu resultados significativamente melhores do que podar as 8 camadas inferiores (Bottom-8) ou usar métricas baseadas em Hessian/Similaridade para selecionar camadas.
- Redimensionamento: A inclusão do parâmetro $\alpha$ pesquisado resultou em ganhos substanciais de desempenho, particularmente em tarefas de geração, confirmando a necessidade de calibração de magnitude.
Eficiência: Para uma sequência de 65.536 tokens, o HARP alcançou um ganho de velocidade de 16,7% no tempo de inferência com apenas 3,3% de redução de parâmetros, destacando a eficiência de visar cabeças de atenção em cenários de contexto longo.

Significância e Alegações

O artigo afirma que o HARP fornece um método prático e livre de treinamento para comprimir LLMs sem exigir mudanças arquitetônicas ou retreinamento do zero. Ao visar estrategicamente a redundância nas camadas superiores e corrigir os desvios de escala resultantes, o HARP facilita o implante de LLMs em ambientes com recursos limitados e permite o serviço mais rápido para aplicações interativas. Os autores enfatizam que sua abordagem torna o raciocínio de contexto longo mais acessível em sistemas reais.

O estudo reconhece limitações, observando que foca primariamente na poda de cabeças de atenção em camadas altas, deixando outros componentes menos explorados. Sugere-se que trabalhos futuros estendam o HARP para modelos maiores e multimodais, além de combiná-lo com técnicas de quantização ou compressão de cache KV.