💬 NLP

Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

Este artigo propõe um método de poda adaptativa por lote e livre de treinamento para Grandes Modelos de Raciocínio que utiliza seleção periódica top-k e um mecanismo de memória de ativação para superar a degradação de precisão dos métodos existentes em inferência por lote, alcançando acelerações significativas enquanto mantém um alto desempenho de raciocínio.

Autores originais: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Publicado 2026-08-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça muito difícil, como um problema matemático complexo ou um enigma de lógica intrigante. Você tem um assistente brilhante, mas com muita fome (um Modelo de Raciocínio Grande) que consegue pensar através dos passos para encontrar a resposta. O problema é que ele é tão minucioso que escreve um diário massivo, passo a passo, de seus pensamentos antes de lhe dar a resposta final. Embora esse "fluxo de pensamento" (chain of thought) torne o assistente incrivelmente inteligente, também o torna lento e caro de operar, como tentar alimentar um supercomputador com uma única pilha AA.

Para tornar esse assistente mais rápido, cientistas frequentemente tentam "podar" (pruning) o modelo — basicamente, eles dizem ao assistente para ignorar certas partes de seu cérebro (neurônios) que ele não parece precisar no momento. Pense nisso como um chef que, enquanto cozinha um banquete enorme, decide parar de picar vegetais para pratos que ainda não foram pedidos. O problema é que, quando você tenta cozinhar para uma multidão ao mesmo tempo (inferência em lote ou batched inference), os métodos antigos de decidir o que picar falham. Eles usam uma regra fixa que funciona para uma pessoa, mas que fica confusa quando aplicada a um grupo. Isso faz com que o assistente esqueça como pensar e comece a repetir nonsense. Este artigo apresenta uma maneira nova e mais inteligente de decidir o que picar, garantindo que o assistente permaneça afiado mesmo ao servir uma multidão.

O Probleo: O Erro do "Tamanho Único para Todos"

Imagine que você é um maestro regendo uma orquestra. Se você tem apenas um violinista, pode dizer facilmente a ele: "Toque alto agora, depois toque suavemente mais tarde". Mas se você tem uma seção inteira de violinistas tocando juntos (um lote ou batch), e dá a todos a exata mesma instrução baseada no que um violinista costuma fazer, a música pode se transformar em uma bagunça.

É exatamente isso que acontece com os modelos de IA atuais quando tentam processar múltiplas solicitações ao mesmo tempo. Os métodos existentes para acelerar esses modelos usam uma regra de "limiar" (threshold). É como dizer: "Se a atividade de um neurônio estiver acima de 5, mantenha-o; se estiver abaixo de 5, desligue-o". Isso funciona bem quando a IA está pensando sozinha. Mas quando você fornece a ela um lote de perguntas diferentes, os "níveis de atividade" dos neurônios se misturam, alterando a média. A regra antiga (o limiar de 5) não corresponde mais à nova realidade. O resultado? A IA acaba desligando os neurônios errados, seu "cérebro" fica confuso e ela começa a falhar em tarefas de raciocínio. O artigo mostra que, quando você tenta executar esses modelos em um lote de 4 solicitações, os melhores métodos existentes perdem quase toda a sua inteligência, reduzindo a precisão por margens enormes (às vezes mais de 50 pontos).

A Solução: Uma Estratégia "Top-K" Periódica com Memória

Os autores propõem um novo método chamado Poda Adaptativa por Lote (Batch-wise Adaptive Pruning). Em vez de usar uma linha rígida de "passa/falha" (limiar), eles usam uma abordagem mais inteligente e flexível com dois truques principais.

Primeiro, eles param de usar a linha fixa e passam a usar uma seleção "Top-K". Imagine que você tem um grupo de 100 corredores (neurônios) e só há lugar para 50 no ônibus. Em vez de dizer: "Só corra se for mais rápido que 10 segundos", você simplesmente diz: "Os 50 corredores mais rápidos entram no ônibus". Isso não importa se os corredores estão geralmente mais rápidos ou mais lentos hoje; você sempre escolhe os melhores 50. Isso resolve o problema da "distribuição variável" que quebrou os métodos antigos.

Segundo, eles perceberam que os neurônios importantes não apenas disparam uma vez e desaparecem; eles têm um ritmo. O artigo observou que, durante tarefas de raciocínio longas, os neurônios mais importantes tendem a "disparar novamente" (acordar e trabalhar) em um padrão regular, aproximadamente a cada 22,8 tokens (pedaços de texto). Para capturar esse ritmo, o novo método atualiza sua máscara de poda apenas periodicamente (a cada 20 passos) em vez de a cada palavra. Isso economiza tempo porque o computador não precisa parar e recalcular quais neurônios manter a cada pequeno momento.

Mas aqui está a parte mais engenhosa: eles adicionaram uma Memória de Ativação. Pense nisso como um "melhores momentos" ou um post-it. Se um neurônio foi super importante no primeiro lote de pensamentos, a memória mantém um registro disso. Mesmo que o neurônio fique quieto por alguns passos, a memória garante que ele não seja expulso do ônibus apenas por ter tirado um pequeno cochilo. Dessa forma, a IA retém os neurônios que são consistentemente importantes ao longo do tempo, evitando que esqueça a lógica que iniciou.

Os Resultados: Rápido, Inteligente e Pronto para a Multidão

O artigo testou este novo método em modelos de raciocínio poderosos (especificamente DeepSeek-R1-Distill-Qwen-7B e DeepSeek-R1-Distill-Llama-8B) usando benchmarks difíceis de matemática e ciência. Os resultados foram impressionantes.

Ao rodar com um tamanho de lote de 4 (processando quatro perguntas ao mesmo tempo) e visando reduzir o tamanho do modelo em 50%:

O antigo melhor método (TEAL) colapsou, alcançando apenas cerca de 14,3% de precisão média.
O novo método manteve uma forte precisão média de 54,0%.
Este é um enorme aumento de 39,7 pontos percentuais.

Além disso, o novo método tornou os modelos mais rápidos. Ao cortar o trabalho desnecessário, ele alcançou um aceleração de 1,40x em comparação com a execução do modelo completo, sem poda. O artigo observa que essa aceleração é especialmente útil quando o computador está ocupado (limitado pelo processamento ou compute-bound), o que acontece quando você está processando muitas solicitações simultaneamente.

O Que Isso Significa

Os autores ressaltam cuidadosamente que este método é "livre de treinamento" (training-free), o que significa que não exige o reensino do modelo; ele apenas ajusta como o modelo opera em tempo real. Eles também apontam que, embora outros métodos possam funcionar para tarefas simples, eles falham espetacularmente em raciocínios complexos quando operados em lote. Esta nova abordagem, ao usar uma atualização periódica e uma memória do que é importante, mantém o raciocínio da IA afiado, enquanto a torna eficiente o suficiente para lidar com cargas de trabalho do mundo real, onde muitos usuários fazem perguntas ao mesmo tempo. É uma correção prática que permite que esses modelos gigantes e inteligentes funcionem mais rápido sem perder sua capacidade de pensar profundamente.

Resumo Técnico: Poda Adaptativa por Lote para Grandes Modelos de Raciocínio

Declaração do Problema
Grandes Modelos de Raciocínio (LRMs) alcançam alto desempenho em tarefas complexas através da geração estendida de cadeia de pensamento (chain-of-thought), mas incorrem em custos computacionais substanciais. Em ambientes de produção, o alto rendimento (throughput) exige inferência em lote (processamento de múltiplas amostras simultaneamente). No entanto, os métodos de poda adaptativa existentes sem treinamento, como TEAL e CATS, falham significativamente neste regime.

O mecanismo de falha central é duplo:

Desvio de Distribuição: Métodos existentes utilizam uma máscara de poda única para todo o lote. Eles agregam ativações por amostra (ex: via média) e aplicam um limiar calibrado offline em distribuições de amostra única. Essa agregação desloca a distribuição de ativação, fazendo com que o limiar não corresponda mais aos dados, o que leva a um desvio na razão de esparsidade realizada e a um colapso na precisão do raciocínio.
Compromisso entre Estático e Dinâmico: Métodos de poda estáticos (padrões fixos) não conseguem acompanhar a evolução dos padrões de ativação durante longas cadeias de raciocínio. Por outro lado, selecionar uma nova máscara a cada passo de token é computacionalmente proibitivo, anulando qualquer ganho de velocidade.

Metodologia
Os autores propõem a Poda Adaptativa por Lote (Batch-wise Adaptive Pruning), um método sem treinamento projetado especificamente para inferência em lote em LRMs. A abordagem baseia-se em dois componentes primários:

Seleção Periódica de Top-k:
- Em vez de usar um limiar calibrado (que é sensível a desvios de distribuição), o método emprega a seleção top-k em pontuações de importância agregadas. A seleção top-k depende apenas da ordenação relativa das pontuações, tornando-se robusta aos desvios de distribuição causados pela agregação de lotes.
- Para evitar o custo computacional de atualizar a máscara a cada passo de token, a máscara de poda é atualizada periodicamente (a cada $T_{trans}$ passos) em vez de a cada passo de decodificação.
- Agregação de Lote: Para um lote de $B$ amostras, as pontuações de importância por amostra são agregadas em um único vetor usando um máximo elemento a elemento (em vez de uma média). Esta abordagem conservadora garante que um neurônio crítico para pelo menos uma amostra mantenha uma pontuação alta, evitando que seja podado devido à baixa ativação em outras amostras dentro do mesmo lote.
Memória de Ativação:
- Observações dos padrões de ativação de LLMs revelam que neurônios importantes exibem re-disparo periódico durante longas gerações de raciocínio (ex: re-disparando a cada ~22 tokens com uma razão de re-disparo de ~76%).
- Para capturar isso, o método mantém uma memória de ativação que acumula pontuações de importância ao longo das fases de atualização. A memória é atualizada via um máximo elemento a elemento ( $m_n \leftarrow \max(m_{n-1}, s_n)$ ).
- Isso garante que os neurônios identificados como importantes em fases anteriores permaneçam candidatos à retenção, mesmo que sua ativação caia temporariamente, permitindo que a máscara se adapte a padrões evolutivos sem perder componentes críticos.

Fluxo do Algoritmo
O método opera em três fases durante a geração autorregressiva:

Fase de Entrada: Processa o prompt inicial para computar as pontuações de importância iniciais.
Fase de Exploração Densa: Realiza um conjunto determinado de passos densos ( $T_{init}$ ) para estabelecer a direção do raciocínio e coletar estatísticas de ativação específicas do contexto. A memória é atualizada, e a primeira máscara de poda é gerada.
Fase de Poda Adaptativa Periódica: Alterna entre computação esparsa ( $T_p$ passos) e exploração densa ( $T_E$ passos). Ao final de cada estágio de exploração densa, a memória de ativação é atualizada, e uma nova máscara top-k é gerada com base na memória acumulada.

Principais Contribuições

Identificação Empírica do Colapso em Lote: O artigo é o primeiro a demonstrar empiricamente que métodos de poda existentes sem treinamento (tanto estáticos quanto adaptativos) degradam severamente o desempenho em tarefas de raciocínio sob inferência em lote. Especificamente, métodos adaptativos como o TEAL perdem de 58,4 a 67,7 pontos percentuais de precisão média em um lote de tamanho 4 comparado a modelos densos.
Estrutura de Poda em Lote Robusta: Os autores introduzem um método que mantém a precisão em configurações de lote ao substituir a seleção baseada em limiar pela seleção periódica top-k e incorporar uma memória de ativação para rastrear a importância recorrente de neurônios.
Operação Livre de Calibração: Diferente de métodos que exigem calibração offline em corpora externos (ex: Wanda, TEAL), este método baseia-se apenas em ativações de tempo de execução, sendo livre de calibração.

Resultados Experimentais
Experimentos foram conduzidos no DeepSeek-R1-Distill-Qwen-7B e DeepSeek-R1-Distill-Llama-8B em cinco benchmarks de raciocínio (GSM8K, MATH500, MINERVA, AMC23, GPQA-DIAMOND).

Precisão: Com 50% de esparsidade alvo e lote de tamanho 4, o método proposto supera o estado da arte anterior (TEAL) em 39,7 pontos percentuais de precisão média no modelo Qwen-7B (54,0% vs. 14,3%) e em 24,1 pontos no modelo Llama-8B.
Estabilidade: Ao contrário do TEAL, que mostra alto desempenho com lote de tamanho 1, mas colapsa conforme o tamanho do lote aumenta, o método proposto mantém um desempenho consistente em todos os tamanhos de lote (1, 4, 8, 16).
Aceleração (Speedup): O método alcança uma aceleração de 1,40× sobre a inferência densa com 50% de esparsidade real no modelo Qwen-7B. A aceleração é mais pronunciada em configurações de lote porque o método reduz estruturalmente as dimensões das matrizes de pesos, diminuindo diretamente a computação, enquanto métodos que dependem de pular ativações zero tornam-se menos eficazes conforme as cargas de trabalho mudam de limitadas por memória para limitadas por computação.
Alta Esparsidade: O método sustenta um forte desempenho mesmo em níveis de esparsidade elevados (ex: 71,0% de precisão com 50% de esparsidade alvo), enquanto os baselines degradam bruscamente além de 40% de esparsidade.

Significância e Alegações
O artigo afirma que seu método aborda um gargalo crítico no implantação de Grandes Modelos de Raciocínio: a incompatibilidade das técnicas de poda adaptativa existentes com a inferência em lote. Ao resolver o problema do desvio de distribuição inerente à agregação de lotes e aproveitar a natureza periódica do re-disparo de neurônios, o método permite uma inferência eficiente e de alto rendimento sem o colapso de desempenho visto em abordagens anteriores. Os autores enfatizam que seus ganhos são impulsionados pela seleção periódica top-k e pela memória de ativação, e não pela escolha específica do operador de agregação (máximo vs. média), que mostrou apenas diferenças marginais de desempenho.

Resumo Técnico: Poda Adaptativa por Lote para Grandes Modelos de Raciocínio

Mais como este