💬 NLP

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

Este artigo propõe o Super e o Supra, métodos de ajuste fino de parâmetros esparsos e eficientes que aproveitam sinais de poda sensíveis à ativação para selecionar parâmetros treináveis fixos, demonstrando que combinar esses suportes esparsos com adaptadores de baixo posto como o LoRA alcança uma precisão superior no ajuste fino de grandes modelos de linguagem em comparação com configurações existentes.

Autores originais: Ivan Ilin, Philip Zmushko, Peter Richtárik

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ivan Ilin, Philip Zmushko, Peter Richtárik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e superinteligente (um Grande Modelo de Linguagem) que sabe quase tudo. Mas ele é tão enorme e pesado que você não pode simplesmente carregá-lo por aí para lhe ensinar um novo truque, como resolver problemas de matemática. Normalmente, para ensinar algo novo a ele, você teria que ajustar cada uma de suas bilhões de pequenas engrenagens. Isso leva uma eternidade, custa uma fortuna em eletricidade e exige um computador do tamanho de uma casa pequena.

Apresentamos o Super-Tuning, uma nova maneira de ensinar esses cérebros gigantes que é como dar a eles um "holofote" em vez de uma "marreta".

O Problema: Por que não apenas consertar tudo?

Pense no cérebro do robô como uma biblioteca massiva com bilhões de livros. Se você quiser ensinar a ele um novo truque de matemática, o método antigo (Fine-Tuning Total) é como reescrever cada um dos livros da biblioteca. É exaustivo e caro.

Para economizar tempo, os cientistas inventaram o PEFT (Fine-Tuning de Parâmetros Eficientes). Isso é como dizer: "Vamos apenas escrever alguns post-its em algumas páginas em vez de reescrever a biblioteca inteira". O método de post-it mais famoso é chamado de LoRA, que adiciona uma camada pequena e flexível de notas aos livros. Funciona bem, mas os autores deste artigo se perguntaram: Podemos fazer ainda melhor sendo mais seletivos sobre quais páginas recebem os post-its?

A Grande Ideia: A Estratégia do "Holofote"

Os autores, Ivan, Philip e Peter, fizeram uma pergunta inteligente: "E se usarmos as mesmas pistas que nos dizem quais partes do cérebro são inúteis (poda/pruning) para descobrir quais partes são mais úteis para ajustar?"

Eles propuseram dois novos métodos: Super e Supra.

1. Super: A Estratégia do "Canto Silencioso"

Imagine que você caminha pela biblioteca e observa quanta poeira há em cada livro e com que frequência as pessoas o tocam.

O Jeito Antigo (Poda/Pruning): Geralmente, as pessoas jogam fora os livros empoeirados e raramente tocados porque acham que esses livros não importam.
O Jeito Super: Os autores perceberam que talvez esses livros empoeirados e raramente tocados sejam justamente o lugar perfeito para escrever novas notas de matemática! Por quê? Porque mudar um livro que ninguém lê não quebrará a história principal da biblioteca, mas pode ser o lugar perfeito para adicionar um novo truque matemático.

Eles usaram um "medidor de poeira" especial (chamado escore Wanda) que observa duas coisas:

O quão "pesado" é o livro (seu peso).
O quanto ele é sacudido pelo vento (a ativação de uma execução de teste rápida).

Em vez de escolher os livros mais ativos, o Super escolhe os mais silenciosos (o "BottomK" ou as pontuações mais baixas) para serem os únicos permitidos a aprender. É como dizer: "Vamos permitir que apenas as páginas mais silenciosas e empoeiradas da biblioteca recebam os novos post-its".

O Resultado: Em seus testes de matemática, essa estratégia do "canto silencioso" funcionou surpreendentemente bem. Em um modelo de 1 bilhão de parâmetros, obteve uma precisão média de 55,46%, o que foi melhor do que escolher páginas aleatórias, embora ligeiramente inferior ao método LoRA padrão (que atingiu 61,07%).

2. Supra: O Power-Up "Híbrido"

Os autores então perguntaram: "E se combinarmos a estratégia do 'canto silencioso' com os 'post-its' padrão (LoRA)?"

Conheça o Supra. Imagine que você tem um orçamento de 5,6 milhões de "tokens de aprendizado" (para o modelo menor) ou 21,0 milhões (para o maior).

O Supra divide esse orçamento. Ele usa alguns tokens para ajustar as "páginas silenciosas e empoeiradas" (a parte Super) e o restante para adicionar os "post-its" flexíveis (a parte LoRA).
Eles testaram diferentes divisões. Para o modelo menor, a melhor mistura foi 80% do orçamento nas "páginas silenciosas" e 20% nos post-its. Essa combinação (Supra) atingiu uma precisão média de 62,23%, superando o método LoRA padrão em 1,16 ponto percentual.

Para o modelo maior de 8 bilhões de parâmetros, os resultados foram um pouco diferentes. O melhor desempenho veio de uma versão que usava apenas as "páginas silenciosas" baseada no tamanho simples do peso (ignorando o medidor de poeira), atingindo 79,12% de precisão. Isso sugere que, para modelos maiores, apenas escolher as páginas "mais leves" pode ser suficiente, e adicionar o complexo "medidor de poeira" nem sempre ajuda.

O Que Eles Descartaram (As "Zonas de Não-Passagem")

O artigo é muito cuidadoso com o que não afirma:

Não é mágica: Eles declaram explicitamente que seu método não é um "avanço" que resolve tudo. É apenas uma nova maneira de escolher quais engrenagens girar.
Sem escolhas "Top": Eles tentaram escolher as páginas mais ativas (TopK), mas isso geralmente teve um desempenho pior do que escolher as páginas mais silenciosas (BottomK). Portanto, a ideia de que "os livros mais barulhentos são os melhores para mudar" foi descartada em seus experimentos.
Sem mudanças "Dinâmicas": Seu método escolhe as páginas uma vez antes do início do treinamento e nunca as muda. Eles admitem que um método que pudesse mudar de ideia e escolher páginas diferentes enquanto aprende poderia ser melhor, mas eles não testaram isso.
Não é uma garantia: Os resultados são baseados em uma única "semente" (um início aleatório específico). Os autores sugerem que os resultados são promissores, mas admitem que não provaram que funciona 100% das vezes em todos os cenários possíveis.

O Quão Certos Eles Estão?

Os autores são medidos e cautelosos. Eles dizem que seus resultados "sugerem" que ideias simples, inspiradas na poda, podem funcionar bem. Eles não afirmam ter "resolvido" o problema do fine-tuning.

Eles provaram (mediram) que, em testes matemáticos específicos (como o Math17K), seu método híbrido (Supra) alcançou a maior precisão média entre as configurações testadas para o modelo 1B.
Eles mediram que, para o modelo 8B, uma abordagem simples de "apenas magnitude" (olhando apenas o tamanho do peso) foi tão boa quanto sua abordagem mais complexa de "medidor de poeira".
Eles simularam a eficiência e descobriram que, embora seu método economize espaço nos "post-its" (tamanho do checkpoint), ele não necessariamente torna o treinamento mais rápido em computadores atuais, porque o computador ainda precisa realizar algum trabalho pesado em segundo plano.

A Conclusão

Pense no Super-Tuning como um bibliotecário astuto que percebe que, para ensinar um novo truque de matemática a um cérebro gigante, você não precisa gritar com a biblioteca inteira. Você só precisa sussurrar para os cantos mais silenciosos e empoeirados. Às vezes, misturar esse sussurro com alguns post-its padrão (Supra) oferece os melhores resultados.

É um truque simples e barato que sugere que podemos estar olhando para as partes erradas do cérebro o tempo todo. Mas, como os autores alertam, isto é apenas o começo, e precisamos testar mais para ter certeza de que funciona em todos os lugares.

Resumo Técnico: Super-Tuning: De Pruning Baseado em Ativação para Fine-Tuning Esparso

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são computacionalmente caros para realizar o ajuste fino (fine-tuning) devido aos requisitos de memória, computação e armazenamento associados às atualizações de parâmetros completos. Embora métodos de Ajuste Fino de Parâmetros Eficientes (PEFT), como o LoRA (Low-Rank Adaptation), tenham mitigado esses custos ao atualizar apenas uma pequena fração dos parâmetros, há uma necessidade de métodos que possam otimizar ainda mais as estratégias de adaptação. Especificamente, o artigo investiga se sinais de saliência originalmente desenvolvidos para pruning (identificação de pesos para remoção) podem ser reaproveitados para identificar onde um modelo deve se adaptar durante o ajuste fino. O objetivo é determinar se métricas de ordenação simples, livres de treinamento (training-free), podem fornecer suportes esparsos fixos eficazes para PEFT, potencialmente em combinação com adaptadores de baixo posto (low-rank).

Metodologia

O artigo introduz dois métodos primários: Super e Supra.

1. Super: Ajuste Fino Esparso via Ordenação Baseada em Ativação

Super é um método de PEFT esparso que seleciona um subconjunto pequeno e fixo de pesos para atualizar sem exigir computações de gradiente ou estágios de treinamento adicionais para a seleção de pesos.

Métrica de Pontuação: Utiliza uma pontuação de magnitude ponderada pela ativação no estilo Wanda. Para um peso $W_{ij}$ , a pontuação é calculada como $A_{ij} = |W_{ij}| \cdot \|X_{j:}\|_2$ , onde $X_{j:}$ é o vetor de ativação de entrada para a coluna correspondente, derivado de uma única passagem de calibração através de um pequeno conjunto de dados (ex: C4).
Estratégia de Seleção: O método achata essas pontuações dentro de cada camada e seleciona um suporte esparso fixo com base em um orçamento de parâmetros alvo. O artigo explora dois regimes:
- TopK: Selecionando os pesos com as maiores pontuações.
- BottomK: Selecionando os pesos com as menores pontuações.
Treinamento: Uma vez gerada a máscara, apenas os pesos selecionados são atualizados (inicializados com delta zero), enquanto o restante do modelo permanece congelado.
Baseline: Os autores também implementam um baseline estilo PaFi de magnitude apenas (usando $|W_{ij}|$ sem o peso da ativação) para isolar o efeito do peso da ativação do prior de magnitude pré-treinado.

2. Supra: Adaptação Híbrida de Baixo Posto e Esparsa

Supra é uma estratégia híbrida que combina as atualizações esparsas do Super com o LoRA.

Arquitetura: A matriz de peso adaptada é definida como $\tilde{W} = W + (M \odot U) + \gamma LR$ , onde $M \odot U$ representa a atualização esparsa em um suporte fixo $M$ , e $LR$ representa a atualização de baixo posto do LoRA.
Alocação de Orçamento: O método opera sob um orçamento estrito e correspondente de parâmetros escalares treináveis. Uma fração $\lambda$ do orçamento é alocada para o componente de baixo posto, e o restante para o componente esparso.
Conversão de Rank: Uma regra simples e transparente converte a fração do orçamento $\lambda$ em um rank LoRA $r_i$ para cada camada: $r_i = \lfloor \lambda T_i / (c_i + b_i) \rfloor$ , onde $T_i$ é o orçamento da camada. Isso evita a alocação de rank adaptativa ou aprendida.

Principais Contribuições

Super: Um método de ajuste fino esparso que atualiza apenas um pequeno conjunto de pesos selecionados via uma pontuação de magnitude ponderada por ativação (estilo Wanda) livre de treinamento. Demonstra que tais pontuações podem definir suportes esparsos fixos úteis sem estatísticas de gradiente.
Supra: Uma estratégia de PEFT híbrida que integra atualizações esparsas selecionadas via Wanda com LoRA sob um orçamento explícito de parâmetros escalares correspondentes.
Avaliação de Orçamento Correspondente: Os autores introduzem uma regra de conversão de orçamento transparente para comparar de forma justa métodos esparsos, de baixo posto e híbridos, garantindo que utilizem o mesmo número de parâmetros escalares treináveis.
Validação Empírica: O artigo avalia esses métodos contra LoRA, SIFT, RoSA e suportes esparsos aleatórios em tarefas de raciocínio aritmético usando Llama-3.2-1B e Meta-Llama-3-8B.

Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados Math17K, avaliando o desempenho em seis benchmarks aritméticos (AddSub, MultiArith, SingleEq, GSM8K, AQuA, SVAMP) sob um orçamento de rank equivalente de $r_0 = 8$ .

Llama-3.2-1B (Modelo de 1B):
- A configuração de melhor desempenho foi o Supra (BottomK, $\lambda=0.8$ ), alcançando uma acurácia média de 62,23%.
- Este superou o baseline externo mais forte, LoRA (61,07%), por 1,16 pontos percentuais.
- O Super (BottomK) puramente esparso alcançou 55,46%, performando abaixo do LoRA, mas melhor que as variantes TopK.
Meta-Llama-3-8B (Modelo de 8B):
- O melhor resultado foi alcançado pelo Supra-Mag (BottomK, $\lambda=0.3$ ), que utiliza seleção baseada apenas em magnitude, atingindo 79,12% de acurácia média.
- Este ficou quase empatado com o baseline esparso de magnitude apenas (79,02%) e superou a variante mais forte do Supra baseada em Wanda (78,66%) e baselines externos como SIFT (RandK) e LoRA.
- Notavelmente, no modelo 8B, a abordagem de magnitude apenas (estilo PaFi) provou ser altamente eficaz, sugerindo que suportes de pesos pré-treinados de baixa pontuação são robustos mesmo sem o peso da ativação neste cenário específico.
Eficiência: Medições de implementação indicam que, embora os métodos esparsos reduzam os tamanhos de checkpoint e o armazenamento do estado do otimizador, eles não necessariamente geram acelerações de tempo de execução (wall-clock speedups) nas implementações atuais devido à natureza densa das multiplicações de matrizes e computações de gradiente para as entradas selecionadas. No entanto, oferecem economias significativas de armazenamento.

Significância e Alegações

O artigo afirma que ordenações simples, inspiradas em pruning, podem fornecer suportes esparsos fixos úteis para PEFT, particularmente quando combinadas com adaptadores de baixo posto.

Reaproveitamento de Sinais de Pruning: O trabalho demonstra que métricas de saliência projetadas para remover pesos (como Wanda) podem identificar efetivamente quais pesos são seguros e eficazes para treinar para adaptação, especialmente ao selecionar os pesos de menor pontuação (BottomK).
Complementaridade: Os resultados sugerem que as adaptações esparsas e de baixo posto são complementares. Combinar um suporte esparso fixo (selecionado via uma passagem de calibração barata) com LoRA pode gerar um desempenho que iguala ou excede os baselines padrão de PEFT sob o mesmo orçamento de parâmetros.
Seleção Livre de Treinamento: Uma vantagem fundamental destacada é que estes métodos não requerem computações de gradiente ou múltiplas fases de treinamento para determinar a máscara de adaptação, baseando-se apenas em uma única passagem de calibração ou magnitudes de pesos pré-treinados.

Os autores mantêm um tom modesto, observando que os resultados baseiam-se em experimentos de semente única e tarefas específicas de raciocínio aritmético. Eles reconhecem que a preferência pelo "BottomK" é um achado empírico neste cenário, e não uma regra universal, e que os ganhos de eficiência da implementação atual são primariamente em termos de armazenamento, não de velocidade de execução.