🤖 machine learning

Layer Collapse in Diffusion Language Models

Este artigo revela que os Modelos de Linguagem de Difusão exibem um fenômeno único de "colapso de camadas" impulsionado pelo supertreinamento, no qual as camadas iniciais desenvolvem super-outliers críticos e representações redundantes, permitindo uma compressão significativamente melhor e estratégias distintas de alocação de esparsidade em comparação com modelos autoregressivos.

Autores originais: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine dois tipos diferentes de chefs tentando escrever uma história.

O Chef Tradicional (Modelos Autoregressivos) escreve uma palavra de cada vez, da esquerda para a direita. Se cometem um erro no início, não podem voltar para corrigi-lo. É assim que a maioria dos modelos de IA atuais funciona (como o Llama).

O Chef de Difusão (Modelos de Linguagem por Difusão) começa com uma página bagunçada e embaralhada, cheia de algarismos sem sentido. Eles fazem várias passagens sobre toda a página de uma vez, limpando lentamente o ruído até que a história faça sentido. Esta é a nova abordagem "Difusão" (como o LLaDA).

Este artigo investiga o que acontece dentro do "cérebro" desses dois chefs enquanto trabalham. Os pesquisadores descobriram que o Chef de Difusão funciona de uma maneira quase exatamente oposta à do Chef Tradicional, e isso muda a forma como devemos tentar reduzi-los ou acelerá-los.

Aqui estão as três principais descobertas, explicadas de forma simples:

1. O "Super-Canal" vs. O "Esforço em Equipe"

No cérebro do Chef Tradicional (Llama), diferentes partes do cérebro se acendem para palavras diferentes. Se você desligar acidentalmente uma lâmpada específica, o chef fica um pouco confuso, mas ainda consegue terminar a história.

No cérebro do Chef de Difusão (LLaDA), os pesquisadores descobriram algo estranho: Uma única lâmpada brilha tão intensamente que é ofuscante.

Este "Super-Canal" está ativo para quase todas as palavras, desde o início da história até o meio.
É tão importante que, se você desconectar apenas este fio, o chef não fica apenas confuso; ele desmorona completamente e começa a repetir a mesma palavra incessantemente ("compre compre compre compre...").
A Analogia: Imagine uma equipe de construção. A equipe tradicional tem muitos trabalhadores fazendo tarefas diferentes. Se um trabalhador sai, o prédio sobe um pouco mais devagar. A equipe de Difusão tem um "Super-Trabalhador" sustentando todo o prédio, enquanto todos os outros apenas ficam parados observando. Se o Super-Trabalhador sai, o prédio desaba instantaneamente.

2. As "Camadas Iniciais Redundantes" (O Inverso do Normal)

Geralmente, em modelos de IA, as camadas iniciais são como a fase de "rascunho" (muito distintas e criativas), e as camadas profundas são onde as coisas se tornam repetitivas porque o modelo já aprendeu tudo o que precisa (isso é chamado de "Maldição da Profundidade").

Os pesquisadores descobriram que os modelos de Difusão invertem esse roteiro:

As Camadas Iniciais são Entediantes: Como aquele "Super-Trabalhador" está fazendo todo o trabalho pesado, as camadas iniciais do modelo de Difusão estão todas fazendo exatamente a mesma coisa. São cópias redundantes umas das outras.
As Camadas Profundas são Únicas: As camadas posteriores têm, na verdade, mais variedade.
A Analogia: Em uma fábrica normal, as primeiras estações são etapas de montagem únicas, e as últimas são apenas polimento (entediante/repetitivo). Na fábrica de Difusão, as primeiras estações estão apenas copiando a mesma instrução do "Super-Trabalhador", enquanto as estações finais são onde o trabalho realmente único acontece.

3. Por Que Isso Importa para "Encolher" o Modelo

Devido a essas diferenças, as regras para tornar esses modelos menores (compressão) são completamente invertidas.

Para Modelos Tradicionais: Geralmente, você quer ter cuidado com as camadas iniciais porque elas são únicas. Você poda (corta) as camadas profundas de forma mais agressiva.
Para Modelos de Difusão: Você pode, na verdade, cortar as camadas iniciais de forma muito mais agressiva! Como elas são apenas cópias redundantes do "Super-Trabalhador", removê-las não causa grande dano. Na verdade, os pesquisadores descobriram que, se você tentasse tratar modelos de Difusão como os Tradicionais (cortando as camadas profundas primeiro), o modelo teria um desempenho pior.
O Resultado: Modelos de Difusão são surpreendentemente resistentes. Mesmo se você os reduzir significativamente (usando quantização de 3 bits), eles se mantêm muito melhor do que os modelos Tradicionais. Um modelo Tradicional pode perder 65% de sua inteligência ao ser reduzido, enquanto o modelo de Difusão perde apenas cerca de 2%.

O "Porquê" por Trás Disso

Os pesquisadores realizaram um experimento especial onde treinaram dois modelos minúsculos do zero: um usando o método Tradicional e outro usando o método de Difusão. Eles descobriram que o estranho "Super-Trabalhador" e as "Camadas Iniciais Redundantes" aconteceram por causa do próprio método de treinamento, e não por causa do design do modelo.

Parece que o método de Difusão "super-treina" as camadas iniciais, forçando-as a depender daquele único canal dominante, enquanto o método Tradicional deixa as camadas iniciais mais diversas.

Resumo

Modelos de Difusão têm um "Super-Canal" que faz todo o trabalho nas etapas iniciais.
Remover este canal destrói o modelo, mas remover as outras camadas iniciais é seguro porque elas são apenas cópias redundantes.
Para encolher esses modelos: Corte as camadas iniciais com força e proteja as camadas profundas. Isso é exatamente o oposto do que você faz com modelos de IA padrão.
A lição: Modelos de Difusão são construídos de forma diferente, então precisamos de regras diferentes para torná-los eficientes.

Resumo Técnico: Colapso de Camadas em Modelos de Linguagem por Difusão

Declaração do Problema

Os Modelos de Linguagem por Difusão (DLMs) surgiram como alternativas competitivas aos Modelos Autoregressivos (AR), oferecendo geração paralela de tokens e evitando a "maldição da reversão". No entanto, as dinâmicas internas de ativação e as estruturas de representação por camada dos DLMs permanecem pouco compreendidas. Existe uma lacuna crítica em determinar se descobertas de modelos AR (relativas a redundância, outliers e estratégias de compressão) transferem-se diretamente para DLMs ou se os DLMs exibem comportamentos distintos que exigem novas abordagens para treinamento, ajuste fino e compressão. Especificamente, não está claro se a "maldição da profundidade" (onde camadas mais profundas tornam-se redundantes devido ao subtreinamento) aplica-se aos DLMs ou se seus objetivos de treinamento induzem patologias estruturais diferentes.

Metodologia

Os autores realizam uma análise sistemática do LLaDA-8B, um DLM em grande escala pré-treinado do zero, comparando-o ao Llama-3.1-8B, um modelo AR com arquitetura quase idêntica. Para isolar os efeitos do objetivo de treinamento de peculiaridades arquitetônicas, o estudo emprega:

Análise de Similaridade de Camadas: Cálculo da similaridade de cosseno por token entre ativações ocultas de diferentes camadas para quantificar a redundância.
Detecção de Outliers de Ativação: Análise de mapas de calor de ativação para identificar canais persistentes e de alta magnitude através de posições de tokens e camadas.
Análise Espectral de Pesos: Utilização do Estimador de Hill ( $\alpha_{Hill}$ ) nos autovalores das matrizes de pesos para avaliar a treinabilidade da camada. Com base na teoria de Auto-Regulação de Caudas Pesadas (HT-SR), valores mais baixos de $\alpha_{Hill}$ indicam caudas mais pesadas e aprendizado de características mais forte (sobre-treinamento), enquanto valores mais altos sugerem subtreinamento.
Estudos de Ablação: Poda de canais específicos (por exemplo, o "super-outlier" dominante) para observar falhas catastróficas versus quedas menores de precisão.
Pré-treinamento Controlado: Treinamento de um par de modelos de 160M parâmetros (AR-160M e DLM-160M) em dados idênticos (FineWebEdu) com hiperparâmetros idênticos, diferindo apenas no objetivo de treinamento (entropia cruzada vs. difusão mascarada).
Experimentos de Compressão: Avaliação da robustez à poda (usando WANDA) e quantização (usando GPTQ) sob várias estratégias de alocação de esparsidade (Uniforme, Inicial-É-Mais-Esparsa [EIS], Mais-Profundo-É-Mais-Esparsa [DIS]).

Principais Descobertas

1. O Super-Outlier e o Colapso de Camadas

O LLaDA-8B exibe um fenômeno único denominado colapso de camadas, impulsionado por um único canal super-outlier (Canal 3848).

Persistência: Ao contrário dos modelos AR, onde outliers são específicos de tokens, este canal mantém ativação persistentemente alta em todas as posições de tokens ao longo da primeira metade das camadas da rede.
Criticidade: A poda deste único canal faz com que o modelo degenerem em loops aleatórios repetitivos de tokens (0% de precisão no GSM8K), enquanto a poda do canal principal no Llama-3.1-8B resulta apenas em uma queda menor de precisão (-4%).
Mecanismo: O super-outlier atua como um portador dominante de informação, suprimindo a expressividade de outros canais e fazendo com que múltiplas camadas iniciais produzam representações ocultas quase idênticas e redundantes.

2. Padrões de Redundância Invertidos

A estrutura de similaridade por camada nos DLMs é o inverso daquela observada em modelos AR:

Modelos AR: Camadas iniciais são distintas; camadas mais profundas tornam-se cada vez mais redundantes (atribuído à "maldição da profundidade" ou subtreinamento).
DLMs (LLaDA-8B): Camadas iniciais são altamente redundantes e similares entre si. Esta redundância não é causada por subtreinamento, mas por sobre-treinamento, evidenciado por valores significativamente mais baixos de $\alpha_{Hill}$ nas camadas iniciais em comparação com o Llama. O super-outlier concentra a representação em uma estrutura de baixa dimensão no início da rede.

3. Robustez à Compressão e Inversão de Estratégia

Apesar da fragilidade do super-outlier, os DLMs demonstram surpreendente robustez à compressão:

Quantização: O LLaDA-8B sob quantização GPTQ de 3 bits cai apenas -1,8% no GSM8K, enquanto o Llama-3.1-8B cai -64,7% sob as mesmas configurações.
Alocação de Esparsidade: A estratégia ótima de alocação de esparsidade é invertida entre as duas famílias de modelos.
- AR (Llama): Poda mais agressiva de camadas mais profundas (DIS) ou uso de esparsidade uniforme é ótimo. Poda de camadas iniciais (EIS) é subótima.
- DLM (LLaDA): Poda mais agressiva de camadas iniciais (EIS) produz uma melhoria de +8,4% sobre a estratégia inversa (DIS) em 50% de esparsidade. Isso ocorre porque as camadas iniciais nos DLMs são altamente redundantes (excluindo o super-outlier), enquanto camadas mais profundas retêm mais informações distintas.

4. Validação via Pré-treinamento Controlado

O experimento de pré-treinamento controlado de 160M confirmou que essas dinâmicas são inerentes ao objetivo de treinamento por difusão e não a diferenças arquitetônicas.

O DLM-160M exibiu maior similaridade de camadas iniciais e menor $\alpha_{Hill}$ (indicando sobre-treinamento) em comparação com o AR-160M.
O DLM-160M mostrou maior robustez à compressão que o AR-160M, com a estratégia ótima de esparsidade sendo novamente EIS para DLMs e DIS para ARs.
Nota: O super-outlier não foi observado nos modelos de 160M, consistente com a literatura que sugere que tais outliers emergem em escalas maiores (>6,7B parâmetros).

Significado e Afirmações

O artigo afirma que o objetivo de treinamento por difusão remodela fundamentalmente as dinâmicas de camadas em relação aos modelos AR, levando a:

Um Novo Fenômeno Estrutural: A existência de um super-outlier persistente que impulsiona o colapso de camadas iniciais, distinto dos outliers específicos de tokens em modelos AR.
Sobre-treinamento vs. Subtreinamento: A redundância de camadas iniciais em DLMs é um resultado de sobre-treinamento (estrutura forte de baixa dimensão) e não do subtreinamento tipicamente visto em camadas profundas de AR.
Implicações Práticas para Compressão: Heurísticas de compressão padrão derivadas de modelos AR não são apenas subótimas, mas ativamente prejudiciais para DLMs. Especificamente, alocar mais esparsidade para camadas iniciais (EIS) é a estratégia ótima para DLMs, contrária à estratégia DIS preferida por modelos AR.
Robustez: DLMs possuem uma robustez inerente à quantização e poda que excede a de modelos AR comparáveis, desde que o super-outlier dominante seja preservado.

Os autores concluem que essas descobertas exigem uma reavaliação de como os DLMs são comprimidos e implantados, sugerindo que os padrões de redundância observados são uma consequência direta do próprio objetivo de difusão.