Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

Resumo Técnico: Ativações Massivas são Arquiteturalmente Robustas

Problema
Modelos transformer treinados exibem consistentemente "ativações massivas": um pequeno conjunto de dimensões do estado oculto com magnitudes milhares de vezes maiores que a mediana. Esses outliers são estruturalmente específicos, aparecendo em dimensões fixas através dos inputs e concentrando-se fortemente no token de início da sequência (ou delimitador). Eles emergem cedo na rede, persistem através das camadas subsequentes e atuam como componentes de suporte estrutural; zerá-los causa o colapso do modelo.

A origem dessas ativações é um assunto de debate ativo. Um grupo as vê como um artefato do papel sobrecarregado do fluxo residual, onde um único fluxo deve servir tanto como um rascunho mutável para computação intermediária quanto como um acumulador estável para a resposta final. Proponentes desta visão argumentam que intervenções arquiteturais explícitas (ex: QK-normalização, vieses de key/value) podem suprimir a magnitude desses outliers com perda mínima de desempenho em modelagem de linguagem. O grupo oposto as vê como necessidades funcionais, potencialmente servindo como sumidouros de atenção (attention sinks) para evitar a mistura excessiva, reguladores adaptativos de gradiente ou termos de viés necessários para computações específicas.

A questão central abordada é se as ativações massivas são um subproduto removível da arquitetura ou um requisito funcional que o modelo reconstruirá independentemente do mecanismo usado para separar seus papéis de leitura/escrita.

Metodologia: Residuais de Livro-Razão (Ledger Residuals)
Para testar diretamente a hipótese do artefato, os autores introduzem os Residuais de Livro-Razão (Ledger Residuals), uma intervenção arquitetural que divide o padrão fluxo residual único em dois canais distintos:

1. Fluxo de Deliberação ($D$): Um "rascunho" mutável onde as subcamadas podem escrever livremente e, crucialmente, apagar conteúdo. Isso permite que computações intermediárias sobrescrevam dados obsoletos sem enterrá-los.
2. Fluxo de Compromisso ($C$): Um "livro-razão" protegido e de apenas adição (append-only). As subcamadas podem adicionar a este fluxo via um portão (gate) aprendido, mas não podem sobrescrevê-lo. Crucialmente, a camada de unembedding (cabeça de saída do modelo) decodifica exclusivamente a partir deste fluxo.

O design garante que, se as ativações massivas forem apenas uma solução improvisada para o conflito entre os papéis de rascunho e de resposta, fornecer um canal de resposta dedicado e protegido deve tornar essas ativações desnecessárias. A arquitetura é parametrizada para reduzir-se exatamente a um transformer pre-norm padrão sob configurações específicas de gates, garantindo que quaisquer diferenças observadas sejam devidas à fatorização em si, e não ao aumento de capacidade.

Os autores treinaram transformers decoder-only em escalas de 160M e 290M de parâmetros no corpus FineWeb-Edu. Eles compararam quatro configurações com perda de validação equivalente:

• Vanilla: Transformer pre-norm padrão.
• Suppress: Vanilla com QK-normalização (conhecida por reduzir a magnitude de outliers).
• Ledger: A proposta arquitetura de fluxo dividido com uma penalidade de esparsidade leve nos compromissos.
• Ledger-HS: A mesma arquitetura com uma penalidade de esparsidade seis vezes mais forte para forçar o canal de compromisso a ser esparso.

Resultos Principais
A intervenção falhou em eliminar as ativações massivas, levando a um claro resultado negativo para a hipótese do artefato:

1. Reconstrução no Canal Protegido: Nos modelos Ledger, o fluxo de Compromisso ($C$) protegido reconstruiu o outlier canônico de dimensão fixa e token de início. Embora a magnitude do outlier em $C$ fosse menor do que no modelo "Vanilla" padrão, a assinatura estrutural permaneceu: a característica estava concentrada na mesma dimensão fixa e fortemente travada no token de início (BOS).
2. A Esparsidade Intensifica a Característica: Contrariando a intuição de que forçar o canal de compromisso a ser esparso impediria a formação de outliers persistentes, a configuração Ledger-HS (alta penalidade de esparsidade) tornou a característica mais forte. A persistência da dimensão dominante aumentou de 0.58 para 0.96, e a concentração no token de início subiu de 3.36 para 4.69. O modelo não abandonou a característica; ele concentrou seus "compromissos" escassos nela.
3. Magnitude vs. Estrutura: O estudo distingue entre a magnitude de um outlier e sua estrutura. Enquanto a QK-normalização (a linha de base "Suppress") conseguiu reduzir a magnitude e a concentração no token de início, a arquitetura Ledger mostrou que mesmo quando o modelo recebe um canal limpo, a estrutura (dimensão fixa + trava no token de início) reemerge.
4. Sem Penalidade de Desempenho: A realocação da magnitude do outlier para o fluxo de compromisso não teve impacto mensurável na perplexidade de validação ou na robustez do modelo à quantização de pesos (8-bit e 4-bit).

Significância e Alegações
O artigo afirma que as ativações massivas são arquiteturalmente robustas. O fato de o modelo reconstruir o outlier específico de dimensão fixa e token de início em um canal dedicado e protegido — apesar de possuir um espaço de rascunho separado para computação — sugere que essas ativações não são meramente um artefato do papel duplo do fluxo residual. Em vez disso, elas parecem ser uma necessidade funcional da qual o modelo depende ativamente, independentemente de onde é forçado a armazenar sua representação final.

Os autores posicionam isso como evidência que apoia o lado "funcional" do debate. Eles argumentam que, embora a magnitude dos outliers possa ser suprimida (como mostrado por trabalhos anteriores usando vieses ou normalização), a estrutura subjacente persiste quando o modelo recebe a liberdade arquitetural para evitar o artefato. O estudo não determina a função específica que essas ativações servem (ex: sumidouro de atenção, regulador de gradiente ou termo de viés), mas demonstra que o modelo reconstruirá essa característica estrutural específica sempre que decodificar de uma representação.

Os autores liberam a arquitetura de Residuais de Livro-Razão e o código de medição para facilitar a reprodução e o escalonamento deste teste. Eles reconhecem limitações, incluindo os tamanhos de modelos relativamente pequenos (290M) e o uso de uma única semente (seed), observando que testes adicionais em escalas maiores e tarefas diversas são necessários para generalizar totalmente essas descobertas.