💬 NLP

When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models

O artigo propõe o método Inheritune, que aproveita as camadas iniciais de modelos grandes e reestrutura as camadas redundantes (colapso de atenção) para criar modelos menores e mais eficientes que superam seus predecessores maiores.

Autores originais: Sunny Sanyal, Ravid Shwartz-Ziv, Alexandros G. Dimakis, Sujay Sanghavi

Publicado 2026-02-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sunny Sanyal, Ravid Shwartz-Ziv, Alexandros G. Dimakis, Sujay Sanghavi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu uma biblioteca gigante de livros (um Modelo de Linguagem Grande, ou LLM) para ensinar uma criança a ler e escrever. Quanto mais livros você adiciona, mais inteligente a criança parece ficar. Mas, ao analisar essa biblioteca em detalhes, os pesquisadores deste artigo descobriram um segredo estranho: muitos dos livros nas prateleiras mais altas estão em branco ou contêm apenas a mesma frase repetida.

Aqui está a explicação do artigo "When Attention Collapses" (Quando a Atenção Colapsa), traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: A "Atenção Colapsada" e os "Andares Preguiçosos"

Os modelos de linguagem atuais são como torres de andares. Cada andar (ou camada) processa a informação que vem de baixo e passa para cima.

O que deveria acontecer: Cada andar deveria aprender algo novo e complexo. O primeiro andar entende palavras simples, o do meio entende frases, e o topo entende o contexto da história inteira.
O que realmente acontece: Os pesquisadores descobriram que, em andares mais altos (mais profundos) da torre, a "atenção" do modelo colapsa.

A Analogia do Maestro Cego:
Imagine que cada andar da torre é um maestro de orquestra.

Nos andares de baixo, o maestro ouve cada instrumento individualmente e decide quem toca mais alto para criar uma melodia rica.
Nos andares de cima (os "andares preguiçosos" ou lazy layers), o maestro fica tonto. Ele para de ouvir os instrumentos individualmente e decide que todos devem tocar exatamente a mesma nota, ao mesmo tempo, no mesmo volume.
O resultado? A música vira um ruído monótono. O modelo está lá, ocupando espaço, mas não está aprendendo nada novo. Ele apenas "média" tudo o que viu antes, perdendo a capacidade de distinguir detalhes importantes.

2. A Descoberta: "Andares Preguiçosos" (Lazy Layers)

O artigo chama esses andares defeituosos de "Lazy Layers" (Andares Preguiçosos).

Eles são como funcionários que chegam ao trabalho, sentam na cadeira, mas não fazem nada útil. Eles apenas copiam o que o colega de baixo disse.
Os pesquisadores provaram isso mostrando que, se você tentar usar apenas esses andares de cima para treinar um modelo novo, ele funciona tão mal quanto se você tivesse começado do zero com pesos aleatórios. Eles são inúteis para transferir conhecimento.

3. A Solução: "Inheritune" (Herdar e Ajustar)

Como consertar uma torre cheia de andares inúteis sem ter que demitir todo mundo e começar do zero? A equipe criou uma receita de treinamento chamada Inheritune.

A Analogia da Construção da Casa:
Imagine que você quer construir uma casa pequena e eficiente, mas tem uma mansão gigante (o modelo grande original) cheia de cômodos inúteis no andar de cima.

Pegue os Fundamentos Fortes: Em vez de começar do zero, você pega os primeiros andares da mansão gigante. Esses andares são "potentes" (eles ainda funcionam bem e entendem a linguagem). Você usa essa base sólida para sua nova casa pequena.
Cresça aos Pares: Você começa a construir sua casa pequena. Conforme ela cresce, você adiciona novos andares.
Não use os Andares Preguiçosos: Você não copia os andares de cima da mansão gigante (os preguiçosos). Em vez disso, você constrói novos andares do zero, mas usa a base forte que já tem.
Treine e Expanda: Você treina essa casa pequena. Se ela ficar muito pequena, você adiciona mais um andar, treina de novo, e assim por diante, até que ela seja tão inteligente quanto a mansão gigante, mas com metade do tamanho.

4. O Resultado: Modelos Menores, Mais Fortes e Mais Rápidos

O que acontece quando você usa o Inheritune?

Eficiência: Você cria um modelo com muito menos camadas (andares), o que significa que ele é mais rápido e consome menos energia.
Qualidade: Surpreendentemente, esse modelo pequeno desempenha tão bem ou até melhor que o modelo gigante original.
Por que? Porque o modelo gigante original estava carregando "bagagem inútil" (os andares preguiçosos). Ao remover esses andares e treinar um modelo novo focado apenas nas partes que funcionam, você obtém uma máquina mais ágil e inteligente.

Resumo em uma Frase

Os pesquisadores descobriram que os modelos de IA gigantes têm "zonas mortas" no topo onde a inteligência para de crescer. A solução deles é pegar a parte inteligente do fundo, usar como base e construir um modelo novo e compacto, descartando o resto, resultando em uma IA menor, mais rápida e tão inteligente quanto as gigantes.

É como se você dissesse: "Não precisamos de um prédio de 50 andares se os últimos 25 andares são apenas escadas vazias. Vamos construir um prédio de 25 andares bem feito e ele funcionará perfeitamente."

Título: Quando a Atenção Colapsa: Como Camadas Degeneradas em LLMs Habilitam Modelos Menores e Mais Fortes

1. O Problema: Colapso de Atenção e Camadas "Preguiçosas"

Os autores identificam uma ineficiência estrutural significativa em Grandes Modelos de Linguagem (LLMs) pré-treinados do tipo decoder (como a família GPT-2 e LLaMA).

Colapso de Rank (Rank Collapse): Em camadas mais profundas de LLMs pré-treinados, as matrizes de atenção degeneram, colapsando para estruturas de rank próximo a 1. Isso significa que a matriz de atenção perde sua capacidade discriminativa entre os tokens e passa a realizar uma média quase uniforme sobre a sequência.
Camadas Preguiçosas (Lazy Layers): As camadas onde todas as matrizes de atenção degeneram para rank-1 são denominadas "camadas preguiçosas".
- Ineficiência: Essas camadas são redundantes e não contribuem significativamente para a capacidade representacional do modelo.
- Ineficácia Funcional: Experimentos mostram que essas camadas contêm pouco conhecimento transferível. Modelos inicializados apenas com essas camadas performam de maneira semelhante a modelos com inicialização aleatória, indicando que elas falham em aprender representações significativas.
- Causa Teórica: O colapso está ligado ao vanishing gradient (gradiente que desaparece). Quando a atenção colapsa para um único token (frequentemente o token de início da sequência ou BOS), o Jacobiano do softmax satura, suprimindo as atualizações nos pesos das Queries ( $W_Q$ ) e Keys ( $W_K$ ), tornando a camada "pegajosa" e difícil de recuperar durante o treinamento.

2. Metodologia: Inheritune

Para combater essa ineficiência, os autores propõem uma nova receita de treinamento chamada Inheritune. O objetivo é construir modelos base menores que igualam ou superam o desempenho de modelos maiores e menos eficientes.

O processo do Inheritune baseia-se em dois princípios:

As camadas iniciais de LLMs profundos contêm uma concentração maior de camadas "potentes" (alto rank de atenção).
As camadas preguiçosas podem ser identificadas, removidas ou reutilizadas em menor número e re-treinadas para recuperar a capacidade do modelo.

Algoritmo do Inheritune:

Inicialização (Inherit): Um modelo alvo menor ( $M_{tgt}$ ) é inicializado copiando as primeiras $l$ camadas (contíguas e de alto rank) de um modelo de referência maior e pré-treinado ( $M_{ref}$ ), incluindo a camada de embeddings e a cabeça de linguagem (LM head).
Treinamento (Train): O modelo alvo é treinado no conjunto de dados de treinamento por um número fixo de passos.
Crescimento (Grow): Se o desempenho do modelo alvo (medido pela perda de validação) ainda for inferior ao do modelo de referência, novas camadas contíguas são adicionadas ao modelo alvo (inicializadas com as camadas subsequentes do modelo de referência ou aleatoriamente, dependendo da estratégia) e o treinamento continua.
Iteração: O processo de crescimento e treinamento é repetido até que o modelo alvo atinja ou supere a perda de validação do modelo de referência.

Essa abordagem evita o treinamento a partir do zero (random initialization) e a simples poda (pruning), focando em uma expansão progressiva baseada em representações fortes.

3. Contribuições Principais

Análise Empírica do Colapso de Atenção: Demonstração sistemática de que o colapso de rank ocorre em camadas profundas de LLMs padrão (GPT-2 Medium, Large, XLarge e modelos modernos como LLaMA-3), definindo formalmente as "camadas preguiçosas".
Proposta do Inheritune: Uma receita de treinamento simples e eficaz que utiliza a inicialização por herança de camadas iniciais potentes e o crescimento progressivo para criar modelos compactos.
Validação Experimental: Evidências robustas de que modelos treinados com Inheritune superam modelos maiores treinados do zero e modelos do mesmo tamanho treinados por mais tempo, com menos camadas.

4. Resultados Experimentais

Os experimentos foram conduzidos na família GPT-2 (Medium, Large, XLarge) e em modelos treinados com os datasets OpenWebText e FineWeb.

Desempenho Superior com Menos Camadas:
- Um modelo GPT-2 Medium de 16 camadas treinado com Inheritune atingiu uma perda de validação inferior à de um modelo GPT-2 Medium completo de 24 camadas treinado do zero, apesar de ter 33% menos camadas.
- Modelos derivados do Inheritune alcançaram a mesma perda de validação de modelos do mesmo tamanho treinados do zero em metade do tempo (metade dos passos de treinamento).
Comparação com Baselines:
- Vs. Treinamento do Zero: Superou modelos do mesmo tamanho treinados do zero por 2x mais passos.
- Vs. Inicialização Quente (Warm-start): Superou baselines como Stacking, Hybrid Stacking e Half-width (redução de largura).
- Vs. Distilação de Conhecimento: Superou modelos treinados com distilação de conhecimento (logit-based e estilo DistilBERT).
Avaliação Downstream: Em tarefas de avaliação zero-shot (ARC-E, PIQA, SciQ, HellaSwag, LAMBADA), os modelos Inheritune alcançaram pontuações médias superiores às de seus pares maiores e de baselines do mesmo tamanho.
Mitigação do Colapso: A análise de rank pós-treinamento mostrou que os modelos Inheritune não apresentam camadas preguiçosas (rank-1) nas camadas finais, mantendo padrões de atenção focados e eficazes, ao contrário dos modelos vanilla que sofrem colapso nas camadas profundas.

5. Significado e Impacto

Eficiência Estrutural: O trabalho revela que o aumento de profundidade em LLMs atuais não é linearmente eficiente devido ao colapso de atenção. Grande parte da capacidade computacional em camadas profundas é desperdiçada.
Novo Paradigma de Compressão: O Inheritune oferece um caminho para a "compressão por design". Em vez de apenas reduzir modelos existentes, permite construir arquiteturas compactas desde o início que são intrinsicamente mais eficientes e evitam a degeneração estrutural.
Economia de Recursos: A capacidade de treinar modelos menores que igualam modelos maiores em menos tempo e com menos parâmetros tem implicações diretas para a redução de custos computacionais e energéticos no treinamento de LLMs.
Insight Teórico: A conexão estabelecida entre o colapso de rank, a saturação do gradiente do softmax e a formação de camadas preguiçosas fornece uma base teórica sólida para entender as limitações de treinamento de transformers profundos.

Em resumo, o artigo demonstra que a inteligência em LLMs não reside uniformemente em todas as camadas; ao identificar e eliminar a ineficiência das camadas profundas degeneradas, é possível criar modelos menores, mais rápidos e mais fortes.