💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

O F-WANDA é um método de poda pós-treinamento de etapa única e eficiente em termos de energia que melhora o WANDA ao realocar orçamentos de retenção de neurônios com base na informação de Fisher empírica, alcançando um desempenho superior em modelos de linguagem com custos computacionais significativamente menores do que o SPARSEGPT.

Autores originais: Himanshu Mishra (University of British Columbia)

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Himanshu Mishra (University of British Columbia)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô gigante e incrivelmente inteligente que consegue escrever histórias, resolver problemas matemáticos e conversar como um ser humano. Este robô é um "Modelo de Linguagem de Grande Escala" (LLM). Mas há um porém: este robô é enorme. Ele é tão grande que rodá-lo exige computadores massivos e muita eletricidade, algo como tentar alimentar uma cidade inteira com uma única bateria. Cientistas estão sempre procurando maneiras de encolher esses robôs para que possam rodar em dispositivos menores sem perder sua inteligência.

Uma maneira popular de encolhê-los é chamada de "poda" (pruning). Pense no cérebro do robô como uma biblioteca massiva de conexões entre neurônios. A poda é como percorrer essa biblioteca e jogar fora os livros que parecem menos importantes. O objetivo é manter a biblioteca pequena o suficiente para caber em uma mochila, mas ainda inteligente o suficiente para responder perguntas. No entanto, existe um equilíbrio delicado: se você jogar fora muitos "livros importantes" por acidente, o robô começa a cometer erros ou a soar robótico. Se você tentar ser cuidadoso demais sobre quais livros manter, o processo de seleção levará uma eternidade e consumirá toda a sua energia. Este artigo aborda exatamente esse problema: como organizar os livros de forma rápida, barata e sem perder a genialidade do robô.

O Probleo: O Erro do "Tamanho Único para Todos"

Os pesquisadores começaram analisando um método popular chamado WANDA. Imagine que o WANDA é um bibliotecário que decide quais livros jogar fora. O WANDA olha para duas coisas: o quão "alto" é um livro (seu peso) e a frequência com que as pessoas o leem (a ativação de entrada). Se um livro é silencioso e raramente lido, o WмDA o descarta.

O problema é que o WANDA aplica uma abordagem uniforme. Ele trata cada prateleira da biblioteca exatamente da mesma forma. Ele decide: "Ok, vou jogar fora 50% dos livros de cada prateleira". Mas aqui está o problema: algumas prateleiras estão cheias dos fatos mais críticos do robô (como "Paris é a capital da França"), enquanto outras prateleiras estão cheias de coisas chatas e repetitivas. Ao jogar fora 50% dos livros da prateleira "Paris" apenas por ser uma prateleira, o WANDA acaba deletando o conhecimento do robô.

Outro método, o SPARSEGPT, tenta ser super cuidadoso. Ele olha para cada livro individualmente, calcula exatamente o quanto o cérebro do robô doeria se ele fosse removido e, então, edita cuidadosamente os livros restantes para corrigir o dano. Isso funciona muito bem para manter o robço inteligente, mas é como contratar uma equipe de doutores para organizar a biblioteca. Leva um tempo e uma energia enormes — tanto que muitas vezes não vale a pena o esforço.

A Solução: F-WANDA (O Bibliotecário Inteligente)

O autor deste artigo introduziu o F-WANDA, uma atualização inteligente da abordagem padrão. Eles perceberam que, em vez de apenas olhar para o quão alto um livro é, eles deveriam também perguntar: "O quanto o cérebro do robô se importa com esta prateleira específica?".

Para descobrir isso, o F-WANDA faz uma verificação extra rápida. Ele passa o cérebro do robô por um pequeno teste (uma "passagem para trás" ou backward pass) para ver quais prateleiras estão realmente impulsionando as respostas do robô. Se uma prateleira é crítica para obter a resposta correta, o cérebro do robô mostrará um sinal forte (chamado informação de Fisher). Se uma prateleira é apenas ruído, o sinal é fraco.

Aqui está o truque de mágica: o F-WANDA usa esse sinal para mudar as regras.

Na prateleira "Paris" (sinal alto): O robô se importa muito. O F-WANDA diz: "Não jogue fora 50% destes livros! Jogue fora apenas 20%. Precisamos manter a maioria deles."
Na prateleira "Chata" (sinal baixo): O robô não se importa. O F-WANDA diz: "Vá em frente, jogue fora 80% destes livros. Não precisamos deles."

Desta forma, o robô mantém seus fatos mais importantes seguros enquanto ainda fica muito menor. E o melhor de tudo? O F-WANDA não precisa treinar o robô novamente ou atualizar nenhum peso. Ele apenas faz uma verificação rápida e então inicia a poda.

O Que Eles Descobriram

A equipe testou isso no LLAMA-2, uma famosa família de modelos de linguagem de grande escala (especificamente as versões de 7 bilhões e 13 bilhões de parâmetros). Eles queriam ver se o F-WANDA poderia vencer a competição.

Inteligência: Quando reduziram os modelos para 50% de esparsidade não estruturada (ou seja, metade das conexões foram removidas), o F-WANDA manteve o robô muito mais inteligente do que o WANDA original. Em um teste chamado MMLU (que mede o conhecimento geral), o F-WANDA melhorou a pontuação em 1,6 pontos percentuais no modelo de 7B e 1,4 pontos percentuais no de 13B em comparação ao WANDA. Ele até superou o método super cuidadoso SPARSEGPT.
Fluência: O robô ainda soava natural. Em um teste chamado WikiText-2, o F-WANDA obteve uma pontuação de perplexidade de 6,85 para o modelo de 7B, o que é quase idêntico ao WANDA original. Isso significa que o robô não começou a soar robótico ou confuso.
Energia e Velocidade: É aqui que o F-WANDA realmente brilha. O método super cuidadoso SPARSEGPT levou muito tempo e usou muita energia para podar o modelo. O F-WANDA foi muito mais rápido e barato. Na verdade, o F-WANDA usou apenas um terço da energia e do tempo que o SPARSEGPT usou. Levou cerca de 12 minutos para podar o modelo de 7B em uma poderosa GPU H100, usando 4,3 kJ de energia, enquanto o SPARSEGPT levou 35 minutos e 12,6 kJ.

As Trocas e Limites

O autor é cuidadoso ao apontar que o F-WANDA não é uma varinha mágica para todas as situações.

Regras de Hardware: Se o chip do computador exigir um padrão estrito de manutenção e remoção de conexões (como manter exatamente 2 de cada 4 conexões em um bloco), o F-WANDA não pode fazer seu orçamento inteligente. Nesses casos específicos, ele age como o WANDA original.
Memória: Como o F-WANDA faz essa verificação extra, ele precisa de um pouco mais de memória de computador (cerca de o dobro do que o WANDA precisa) enquanto está trabalhando. Para modelos muito grandes (como os de 70 bilhões de parâmetros), isso pode exigir truques especiais para caber na memória.
Generalização: Eles testaram apenas na família LLAMA-2. Eles ainda não têm certeza se funciona exatamente da mesma forma em outros tipos de cérebros de robôs (como LLaMA-3 ou Mistral), embora suspeitem que funcionará.

Por Que Isso Importa

A grande conclusão é que o F-WANDA está na "fronteira de Pareto". Essa é uma forma elegante de dizer que é o melhor negócio possível que você pode conseguir: você obtém a maior qualidade (robô mais inteligente) pelo menor custo (menos energia e tempo).

Ao simplesmente adicionar uma verificação rápida para ver quais partes do cérebro estão realmente trabalhando duro, os pesquisadores conseguiram economizar uma quantidade massiva de energia enquanto tornavam o robô mais inteligente. É um lembrete de que, às vezes, você não precisa reconstruir toda a biblioteca para torná-la melhor; você só precisa ser mais inteligente sobre quais livros vai jogar fora. Isso torna muito mais fácil e barato rodar esses poderosos modelos de IA no mundo real, ajudando a tornar a IA mais sustentável para todos.

Resumo Técnico: F-WANDA

Definição do Problema
A implantação de Grandes Modelos de Linguagem (LLMs) é cada vez mais limitada pelos custos de computação e energia no lado da inferência. Embora a poda pós-treinamento de um único passo (one-shot) ofereça uma estratégia de compressão frugal em termos de energia que evita o retreinamento ou dados rotulados, os métodos existentes enfrentam um compromisso entre qualidade e custo computacional.

WANDA (Sun et al., 2024) é altamente eficiente, exigindo apenas uma passagem direta (forward pass), mas aloca o orçamento de esparsidade uniformemente entre os neurônios de saída. Essa uniformidade não leva em conta o fato de que certos neurônios carregam um conhecimento factual desproporcional, levando a um desempenho subótimo em tarefas intensivas em conhecimento.
SPARSEGPT (Frantar e Alistarh, 2023) alcança uma qualidade superior ao realizar uma varredura de colunas no estilo Optimal Brain Surgeon com inversão de Hessiana e atualizações de pesos. No entanto, essa abordagem é uma ordem de magnitude mais cara em termos de computação e energia e é delicada de implementar.

O gargalo central identificado é a incapacidade do WANDA de distinguir entre neurônios "portadores de conhecimento" (que consistentemente impulsionam a perda) e neurônios "confiantes" (com gradientes próximos de zero) ao distribuir o orçamento de poda.

Metodologia: F-WANDA
O F-WANDA introduz uma modificação direta (drop-in) ao WANDA que realoca o orçamento de esparsidade por linha com base na informação de Fisher empírica das pré-ativações, sem atualizar nenhum peso.

Coleta de Sinal de Fisher: O método realiza uma única passagem adicional de retropropagação (backward pass) sobre o mesmo corpus de calibração usado pelo WANDA. Para cada neurônio de saída $i$ em uma camada, ele calcula o escalar de Fisher empírico $\bar{\omega}_i$ , definido como a média do quadrado do gradiente da perda em relação à pré-ativação:
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
Realocação de Orçamento: Em vez de usar o sinal de Fisher para reponderar a pontuação de saliência diretamente (o que seria degenerado sob a seleção top-k por linha do WANDA), o F-WANDA usa $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ para determinar o número de pesos a serem mantidos ( $k_i$ $k_{i}$ ) para cada linha $i$ $i$ .
- Neurônios com valores de Fisher altos (sensíveis à perda) recebem um orçamento maior.
- Neurônios com valores de Fisher baixos (saturados) são podados de forma mais agressiva.
- A alocação é restringida pelo alvo de esparsidade global e aplicada via um algoritmo de preenchimento de água (water-filling) com arredondamento de resto de maior valor para garantir contagens inteiras exatas.
Execução da Poda: Para cada linha, o algoritmo retém os $k_i$ pesos superiores baseados na pontuação de saliência original do WANDA ( $|W_{ij}| \cdot \|X_j\|^2$ ) e zera o restante.
Eficiência Computacional: O método requer uma passagem direta e uma passagem de retropropagação sobre o conjunto de calibração (128 sequências de 2048 tokens). Ele evita a inversão de Hessiana camada a camada e atualizações de peso, resultando em um custo assintótico de $O(N \cdot |\theta|)$ , significativamente menor que o $O(\sum d_{in}^3)$ do SPARSEGPT.

Principais Contribuições

Inovação Algorítmica: Uma modificação do WANDA que utiliza a informação de Fisher empírica para realocar o orçamento de esparsidade por linha, melhorando a preservação de neurônios intensivos em conhecimento sem atualizações de peso ou dados extras.
Implementação Eficiente: Um alocador de orçamento exato usando water-filling que preserva o alvo de esparsidade por camada enquanto acomoda o sinal de Fisher.
Contabilidade de Sustentabilidade: Uma avaliação rigorosa dos custos de poda (tempo de execução, pico de memória GPU e energia em kJ), demonstrando que o F-WANDA está na fronteira de Pareto entre qualidade versus energia de poda.
Ganhos de Desempenho: Evidência empírica mostrando melhorias em benchmarks pesados em conhecimento enquanto mantém a fluência.

Resultados Experimentais
Avaliado em LLAMA-2-7B e LLAMA-2-13B com 50% de esparsidade não estruturada:

Qualidade: O F-WANDA alcança a menor perplexidade de WikiText-2 entre os métodos de poda (6,85 no 7B, 5,93 no 13B). Crucialmente, ele melhora a acurácia de 5-shot MMLU em +1,6 pontos percentuais (pp) no modelo 7B e +1,4 pp no modelo 13B em comparação ao WANDA. Também supera o SPARSEGPT em +1,1 pp no MMLU (7B).
Eficiência: O F-WANDA incorre em apenas um terço do tempo de execução e do custo de energia de poda do SPARSEGPT. Embora exija aproximadamente 2,4× o tempo de poda do WANDA (devido à passagem de retropropagação), permanece significativamente mais barato que o SPARSEGPT.
Inferência: A energia de inferência por token permanece idêntica entre os métodos com esparsidade correspondente, pois a densidade de pesos resultante é a mesma; a economia é realizada inteiramente no tempo de compressão.
Ablações: O método é robusto ao tamanho do conjunto de calibração (estável acima de $N=128$ ). Substituir o Fisher empírico pelo gradiente médio ao quadrado colapsa o desempenho aos níveis do WANDA, confirmando a necessidade do sinal de Fisher baseado em variância.

Significância e Alegações
O artigo afirma que o F-WANDA resolve o compromisso entre qualidade de poda e custo. Ao aproveitar uma única passagem de retropropagação para identificar neurônios sensíveis à perda, ele converte o orçamento uniforme do WANDA em uma alocação informada por Fisher. Isso permite:

Retenção de Conhecimento Superior: Ganhos significativos no MMLU sem ajuste fino (fine-tuning).
Compressão Sustentável: Um processo de poda que é substancialmente mais eficiente em termos de energia do que métodos baseados em Hessiana como o SPARSEGPT, posicionando o método na fronteira de Pareto para implantação sustentável de LLMs.
Clareza Metodológica: O artigo destaca uma distinção específica em como a informação de Fisher deve ser aplicada: como um sinal de orçamento em vez de um modificador de saliência ao nível do peso, o que torna a combinação com o WANDA tratável em uma única passagem.

O autor observa limitações, especificamente que o método reduz-se ao WANDA padrão sob esparsidade estrita de hardware fixo N:M (ex: 2:4) porque restrições de densidade por bloco impedem a realocação do orçamento por linha. Além disso, a avaliação é atualmente limitada à família LLAMA-2, e a generalização para outras arquiteturas ou funções de ativação permanece uma questão aberta.

O Probleo: O Erro do "Tamanho Único para Todos"

A Solução: F-WANDA (O Bibliotecário Inteligente)

O Que Eles Descobriram

As Trocas e Limites

Por Que Isso Importa

Mais como este