🤖 machine learning

Super Weights in LLMs and the Failure of Selective Training

Este artigo demonstra que o conceito de "Super Pesos" não se generaliza para todos os LLMs e que tentar treinar esses parâmetros críticos identificados individualmente de forma isolada causa uma falha catastrófica de desempenho, provando que o ajuste fino eficaz depende de decomposições estruturadas em nível de camada em vez de visar pesos específicos de alta importância.

Autores originais: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e superinteligente (um Grande Modelo de Linguagem) que já aprendeu a ler, escrever e raciocinar. Recentemente, alguns cientistas descobriram alguns "botões mágicos" dentro desse cérebro. Eles os chamaram de Super Pesos (Super Weights).

A parte louca é: se você apenas deletar um desses botões mágicos, o cérebro do robô fica completamente descontrolado. O desempenho cai tanto que é como se ele tivesse esquecido como falar inteiramente. Foi tão chocante que todos assumiram que esses botões eram as partes mais importantes do cérebro.

Então, uma questão surgiu: Se esses botões são tão importantes, o que acontece se treinarmos apenas eles?

A ideia era: "Vamos congelar o resto do cérebro e deixar apenas os Super Pesos aprenderem coisas novas. Como eles são as 'estrelas', eles devem ser capazes de consertar os erros do robô por conta própria, certo?"

A resposta é um NÃO retumbante.

De fato, o artigo mostra que tentar treinar apenas esses Super Pesos é um desastre. É como tentar consertar o motor de um carro apenas girando o volante. Não importa o quanto você tente, o carro não vai se mover.

O Experimento dos "Botões Mágicos"

Os pesquisadores pegaram duas versões de um modelo chamado OLMo (uma com 1 bilhão de parâmetros e outra com 7 bilhões). Eles tentaram ensinar o modelo uma nova tarefa (responder perguntas de múltipla escolha) atualizando apenas os Super Pesos.

Eles testaram diferentes quantidades de botões:

Treinaram apenas 100 Super Pesos.
Tentaram 1.000.
Tentaram até 8.192 (que é 81 vezes mais do que a primeira tentativa).

O resultado? A precisão do modelo caiu para níveis de chute aleatório.

Para o modelo de 1 bilhão, ele acertou cerca de 25%, que é o que você consegue se apenas chutar cegamente em uma questão de 4 alternativas.
Para o modelo de 7 bilhões, também caiu para cerca de 25–26%.

Mesmo quando tentaram ser gentis e treinar os Super Pesos mais seus vizinhos imediatos (um pequeno "bairro" de cerca de 36.000 parâmetros), ainda falhou. O modelo simplesmente não conseguiu aprender.

A Reviravolta: "Não são os Botões, é a Estratégia"

Você pode pensar: "Ok, talvez o problema seja que eles estavam treinando um conjunto minúsculo e esparso de botões. Talvez se treinassem qualquer conjunto minúsculo, falharia."

O artigo diz: Não, não é isso também.

Para provar isso, os pesquisadores fizeram um teste de controle inteligente. Eles escolheram o mesmo número de botões (4.096), mas em vez de escolher os "Super", escolheram botões aleatórios da mesma parte do cérebro.

Resultado: O modelo na verdade ficou melhor! Ele marcou 64,18% (superando a linha de base de 60,65%).

Isso prova que a falha não foi porque eles estavam treinando poucos parâmetros. A falha foi especificamente porque eles estavam visando os Super Pesos. Essas coordenadas específicas estão quebradas para treinamento isolado.

Por que eles falham? A Analogia do Amplificador

Pense nos Super Pesos como grandes botões de volume em um sistema de som. Eles estão girados tão alto que amplificam o sinal de forma massiva.

Se você deletá-los: O sistema de som fica silencioso (o modelo quebra).
Se você tentar ajustá-los sozinhos: É um pesadelo. Porque eles já estão tão altos, até um pequeno ajuste envia o volume para a estratosfera, causando loops de feedback e distorção. O sistema torna-se instável e colapsa.

O artigo sugere que, quando você tenta treinar esses botões isoladamente, a matemática sai do controle. A "curvatura" (o quão íngreme é a colina de aprendizado) nesses pontos é tão grande que o otimizador (aquilo que faz o aprendizado) fica confuso e o modelo colapsa.

O Verdadeiro Herói: LoRA

Então, como realmente ensinamos essas coisas novas aos modelos sem quebrá-los? O artigo aponta para um método chamado LoRA (Low-Rank Adaptation).

Imagine o LoRA não como um mecânico tentando consertar parafusos individuais, mas como um maestro regendo uma orquestra.

Em vez de tocar nos botões dos Super Pesos diretamente, o LoRA adiciona uma camada de música pequena e estruturada antes que o som chegue aos botões.
Ele atualiza cada uma das posições nas camadas de atenção (a "orquestra") usando uma estrutura de baixo posto (low-rank), mas treina apenas cerca de 0,16% dos parâmetros totais.
O Resultado: O modelo aprende perfeitamente!
- No modelo de 1 bilhão, atingiu 66,88% de precisão.
- No modelo de 7 bilhões, atingiu 77,3% de precisão.

Mais legal ainda? Os pesquisadores tentaram "congelar" as partes do LoRA que correspondiam às localizações dos Super Pesos (para ver se aqueles pontos específicos eram o problema). Não importou. O modelo ainda funcionou muito bem. Isso prova que a estrutura da atualização (o maestro regendo toda a orquestra) é o que importa, não a localização específica dos botões.

E quanto à "Magia" do Artigo Original?

O artigo também verificou a descoberta original dos Super Pesos. O estudo anterior os encontrou olhando para apenas um exemplo. O novo artigo verificou 1.000 exemplos diferentes.

Eles descobriram que 9 botões específicos eram críticos em 100% dos casos.
Isso confirma que os Super Pesos são partes estruturais reais do cérebro, não apenas flutuações de um exemplo específico.

A Conclusão

O artigo entrega uma mensagem clara: Só porque uma parte do cérebro é importante, não significa que você possa treiná-la sozinha.

Deletar Super Pesos quebra o modelo.
Treinar Super Pesos sozinho quebra o modelo.
Treinar um conjunto aleatório de pequenas partes funciona razoavelmente.
Treinar todo o sistema com uma abordagem estruturada de baixo posto (LoRA) funciona melhor.

Acontece que a "magia" desses modelos não está em alguns botões especiais que você pode ajustar. Está no trabalho conjunto de toda a rede. Você não pode apenas remendar o motor girando um parafuso; você precisa sintonizar toda a máquina em harmonia.

Resumo Técnico: Super Pesos em LLMs e o Fracasso do Treinamento Seletivo

Declaração do Problema

Pesquisas recentes (Yu et al., 2025) identificaram "Super Pesos" — parâmetros escalares individuais em Grandes Modelos de Linguagem (LLMs) cuja remoção causa uma degradação de desempenho em ordens de magnitude. Esta descoberta sugeriu uma hipótese: se parâmetros específicos são tão críticos, então estratégias de ajuste fino que visam e atualizam deliberadamente apenas esses parâmetros "importantes" deveriam ser altamente eficazes, potencialmente superando métodos que atualizam subconjuntos de parâmetros aleatórios ou distribuídos.

Este artigo desafia essa hipótese. Ele investiga se a importância do parâmetro (conforme definida pela falha catastrófica após a remoção) implica a treinabilidade do parâmetro em isolamento. Os autores testam se treinar apenas os Super Pesos, ou seus vizinhos imediatos locais, pode adaptar com sucesso um modelo, ou se tal treinamento esparso e específico de coordenadas leva ao fracasso catastrófico.

Metodologia

Os autores conduziram um conjunto abrangente de experimentos nos modelos OLMo-1B e OLMo-7B, com replicação de poda (pruning) em 10 famílias de modelos diferentes (incluindo variantes de Llama, Phi, Mistral e Gemma).

1. Validação da Consistência dos Super Pesos

Trabalhos anteriores identificaram Super Pesos via uma única passagem direta (forward pass). Os autores validaram que esses pesos são propriedades estruturais do modelo e não artefatos específicos de entrada, executando 1.000 amostras aleatórias do WikiText-2. Eles descobriram que 9 posições de pesos específicas produziram consistentemente os maiores picos de ativação em 100% das entradas, confirmando sua estabilidade estrutural.

2. Replicação de Poda (Pruning)

Os autores replicaram os experimentos de poda de Yu et al. (2025) em múltiplas arquiteturas. Eles zeraram as coordenadas dos Super Pesos identificados e mediram o impacto na perplexidade e na acurácia (ARC-Easy, Winogrande). Eles também testaram se o simples ranking baseado em magnitude poderia identificar Super Pesos em modelos não cobertos pelo artigo original.

3. Experimentos de Treinamento Seletivo

O núcleo do estudo envolveu o treinamento de subconjuntos isolados de parâmetros enquanto o restante era congelado:

Treinamento Direto de Super Pesos: Treinando apenas os top- $k$ Super Pesos ( $k \in \{100, 1000, 4096, 8192\}$ ).
Treinamento de Vizinhança: Treinando os Super Pesos mais todos os parâmetros dentro de um raio de 1 (formando patches $3 \times 3$ ), aumentando a contagem treinável para até ~36.864 parâmetros.
Controle Aleatório: Treinando um número igual de posições escolhidas aleatoriamente nas mesmas camadas (down proj), excluindo as coordenadas dos Super Pesos, para isolar o efeito da esparsidade versus a seleção de coordenadas.
Variantes de LoRA:
- LoRA Vanilla: Adaptação de baixo posto (low-rank) padrão nas camadas de atenção.
- LoRA-dproj-SW-freeze: Restringindo as atualizações de LoRA em posições de atenção cujos índices correspondem às coordenadas dos Super Pesos nas camadas de projeção descendente (MLP).
- LoRA- $\Delta W$ -SW-freeze: Congelando as top-1.000 posições de maior magnitude dentro da própria matriz de atualização LoRA ( $\Delta W$ ).

4. Análise Teórica

Os autores forneceram argumentos teóricos em relação a:

Dimensionalidade Intrínseca: Atualizações esparsas alinhadas a coordenadas capturam apenas uma fração ínfima ( $k/N$ ) do subespaço de ajuste fino em comparação com decomposições de baixo posto.
Dinâmica do Otimizador: Otimizadores adaptativos suprimem implicitamente as atualizações nas posições dos Super Pesos devido à curvatura ($Hessiana $)$ M^2$ vezes maior nesses locais de outliers, onde $M$ é a razão de amplificação de ativação.

Principais Resultados

1. Falha do Treinamento Isolado de Super Pesos

O treinamento de Super Pesos em isolamento resultou em um colapso completo de desempenho, reduzindo a acurácia para níveis de palpite aleatório (~25% para ARC-Easy de 4 escolhas, ~50% para Winogrande de 2 escolhas) tanto no OLMo-1B quanto no OLMo-7B.

Aumentar o número de parâmetros treinados de 100 para 8.192 não proporcionou melhoria.
Expandir para vizinhanças locais (até 36.864 parâmetros) também falhou em recuperar o desempenho.
A perda de treinamento (training loss) diminuiu durante a otimização, mas a perplexidade de validação explodiu, indicando sobreajuste (overfitting) aos dados de treinamento sem generalização.

2. Especificidade da Falha

A falha é específica às coordenadas dos Super Pesos, não à esparsidade ou ao tipo de módulo:

Controle Aleatório: Treinar um número igual de posições escolhidas aleatoriamente nas mesmas camadas de projeção descendente melhorou a acurácia em relação ao baseline (64,18% vs. 60,65% para OLMo-1B).
Controle de Baixo Posto: Aplicar uma atualização de baixo posto de rank-8 à camada de projeção descendente também teve sucesso (68,77%).
Conclusão: O colapso é causado pelo direcionamento às coordenadas específicas dos Super Pesos, o que quebra a estrutura relacional da qual o modelo pré-treinado depende.

3. Robustez do LoRA

LoRA Vanilla teve sucesso com 0,16% dos parâmetros, alcançando 66,88% (OLMo-1B) e 77,3% (OLMo-7B).
Restrições Posicionais: Congelar as posições de atualização da atenção que correspondem às coordenadas dos Super Pesos (LoRA-dproj-SW-freeze) teve nenhum efeito mensurável no desempenho. Uma ablação de 10 sementes confirmou resultados estatisticamente indistinguíveis ( $p > 0,05$ ) entre o LoRA vanilla e a variante restrita.
Criticidade Interna do LoRA: Congelar as posições de maior magnitude dentro da matriz de atualização LoRA ( $\Delta W$ ) também não teve efeito, contrastando com a falha catastrófica do congelamento dos Super Pesos do modelo base.

4. Generalização da Poda

Embora a poda dos Super Pesos tenha causado degradação catastrófica no OLMo, Phi-3, Mistral e Llama-3-8B (usando as coordenadas originais), o simples identificação baseada em magnitude falhou em identificar pesos críticos em outros modelos (ex: Llama-3.1, Qwen2.5, Gemma-2). Isso sugere que os Super Pesos são outliers de ativação específicos da família do modelo, e não definidos universalmente apenas por magnitude.

Significância e Alegações

O artigo estabelece que a importância do parâmetro não implica sua treinabilidade em isolamento. Os autores argumentam que:

Estrutural vs. Treinável: Os Super Pesos atuam como amplificadores de alto ganho fixos. Modificar esses pesos em isolamento quebra a estrutura coordenada da rede. O ajuste fino eficaz requer a atualização das representações que fluem para esses pesos (via camadas de atenção no LoRA) em vez de atualizar os próprios pesos.
Coordenação sobre Esparsidade: O sucesso no PEFT depende de decomposições estruturadas sobre camadas inteiras (como a estrutura de baixo posto do LoRA) em vez de visar parâmetros individualmente importantes. O LoRA tem sucesso porque sua fatoração de baixo posto coordena as atualizações através de toda a camada, preservando a estrutura relacional, enquanto o treinamento esparso isola os parâmetros e interrompe essas dependências.
Dinâmica do Otimizador: A análise teórica sugere que os otimizadores adaptativos protegem implicitamente os Super Pesos ao suprimir atualizações devido à alta curvatura. Treinar explicitamente essas posições anula essa proteção, levando à instabilidade e ao colapso.

Os autores concluem que os futuros métodos de PEFT devem derivar eficiência de decomposições estruturadas de camada inteira, em vez de tentar identificar e atualizar parâmetros individuais "críticos".