Attention Sinks and Outliers in Attention Residuals

Resumo Técnico: OASIS – Roteamento Consciente de Outliers e Sinks para Arquiteturas AttnResidual

Declaração do Problema
O artigo aborda questões críticas de estabilidade e robustez que surgem em arquiteturas AttnResidual, um design recente que substitui a normalização padrão Softmax de nível único por um esquema de dupla normalização que governa tanto o roteamento de atenção no nível de token quanto no nível de profundidade. Embora o AttnResidual aprimore a expressividade representacional, os autores identificam um modo de falha estrutural: o design de dupla normalização exacerba sinks de atenção e outliers de ativação.

Em Transformers padrão, os sinks de atenção (por exemplo, o token <|begin_of_text|>) acumulam massa de probabilidade para estabilizar as representações. No entanto, no AttnResidual, a restrição adicional de simplex no roteamento de profundidade força atualizações de "no-op" (identidade) a serem expressas por meio de tokens reais e ramos de profundidade reais, em vez de um canal nulo explícito. Essa restrição exige logits pré-Softmax extremos para aproximar atualizações de identidade, levando a:

1. Sinks de Atenção Intensificados: Aprofundamento da concentração nos tokens iniciais.
2. Outliers de Ativação Amplificados: Os estados ocultos exibem distribuições de cauda pesada (alta curtose) e grandes normas infinito.
3. Fragilidade na Quantização: Esses outliers degradam a estabilidade da inferência e tornam a quantização de baixa precisão (por exemplo, W4A4, W8A8) significativamente menos robusta.
4. Colapso de Profundidade: Os pesos de roteamento colapsam em direção a um único ramo dominante, revertendo efetivamente o comportamento da arquitetura para um comportamento residual padrão.

Metodologia: OASIS
Os autores propõem o OASIS (Roteamento Consciente de Outliers e Sinks via Sinalização Nula Inter-camada), uma intervenção leve que modifica a camada de normalização sem alterar o objetivo de treinamento ou o esqueleto arquitetônico central. O OASIS opera em duas frentes:

1. Roteamento Consciente de Nulo (Softmax1):
   O método substitui os operadores Softmax padrão nos níveis de token e de profundidade por Softmax1. Esta função introduz um estado nulo explícito (denotado como $\emptyset$) no denominador da normalização.

   • Nível de Token: Permite que a massa de atenção seja roteada para um estado "nulo", em vez de forçá-la sobre tokens reais.
   • Nível de Profundidade: Permite que os pesos de roteamento de profundidade absorvam a pressão de "no-op" por meio de uma camada nula, prevenindo a concentração de massa em ramos de profundidade específicos.
   • Mecanismo: Ao desacoplar a massa não informativa da competição entre tokens/ramos reais, o Softmax1 reduz a necessidade de amplificação extrema de logits.

2. Acoplamento Token-para-Profundidade Nulo:
   Reconhecendo que o roteamento no nível de token e no nível de profundidade permanece desacoplado no Softmax1 padrão, o OASIS introduz um mecanismo de acoplamento. Ele agrega evidências de nível de token (a massa de probabilidade roteada para o estado nulo através dos cabeçalhos de atenção) em uma estatística escalar para cada ramo de origem. Essa estatística é então injetada nos logits de roteamento de profundidade.

   • Efeito: Ramos que exibem alto comportamento de "no-op" (alta massa nula) são despesados no roteamento de profundidade, enquanto ramos informativos são sobrepesados. Isso impede que o roteador de profundidade atribua peso significativo a camadas não informativas.

Principais Contribuições

• Identificação de Falha Estrutural: O artigo identifica formalmente que o design de dupla normalização do AttnResidual amplifica estruturalmente outliers e sinks porque carece de um caminho nulo explícito para atualizações próximas à identidade.
• Análise Teórica: Os autores fornecem provas teóricas (Lemmas 5.1, 5.2; Teoremas 5.1, 5.2) demonstrando que:
  • Sem um canal nulo, restrições próximas a "no-op" forçam a massa de atenção sobre tokens de baixa contribuição, criando outliers.
  • A dupla normalização leva ao colapso de profundidade, onde o roteamento se concentra em ramos de atualização mínima.
  • O Softmax1 introduz uma rota nula viável que desacopla o comportamento de "no-op" da alocação de tokens reais, reduzindo teoricamente a pressão estrutural.
• Framework OASIS: Uma modificação prática e mínima (substituir Softmax por Softmax1 e adicionar um termo de acoplamento) que mitiga essas patologias.

Resultados Experimentais
Os autores avaliaram o OASIS nos backbones Llama-3.2-1B e Qwen3-0.6B em três conjuntos de dados do mundo real (BookCorpus, Wiki40B, WikiText-2, GSM8K).

• Supressão de Outliers: Em relação à linha de base Vanilla AttnResidual, o OASIS alcançou uma redução média de 84,14% na norma infinito máxima e de 96,77% na curtose média.
• Robustez à Quantização:
  • Sob quantização W8A8, o OASIS reduziu a perplexidade em 73,55% em comparação com o Vanilla.
  • Sob quantização W4A4, o OASIS melhorou a precisão Pass@1 no GSM8K em 23,47%.
• Mitigação de Sinks de Atenção: A análise qualitativa dos mapas de atenção mostrou que o OASIS redistribuiu efetivamente a atenção longe do sink dominante do primeiro token, gerando padrões de atenção causal mais suaves e locais em comparação com o Vanilla e linhas de base intermediárias (como AoS ou OutEffHop).
• Comparação: O OASIS superou consistentemente as linhas de base, incluindo Clip Attention, Gated Attention, OutEffHop e normalizadores esparsos (Sparsemax, Entmax15), tanto em métricas de outliers quanto no desempenho em tarefas downstream sob quantização agressiva.

Significado e Alegações
O artigo alega que o OASIS fornece uma solução principiante para as limitações de robustez de arquiteturas com dupla normalização. Ao introduzir capacidade nula explícita, o método estabiliza o roteamento residual, permitindo que os modelos lidem com compressão agressiva (quantização de baixa precisão) e inferência de contexto longo sem a degradação tipicamente causada por sinks de atenção e outliers de ativação. Os autores enfatizam que essas melhorias são alcançadas sem alterar o objetivo de treinamento, sugerindo que o roteamento nulo explícito é um mecanismo fundamental para estabilizar arquiteturas residuais complexas.

Limitações
Os autores observam que sua avaliação está atualmente limitada a modelos backbone específicos (1B e 0,6B parâmetros) e que uma validação mais ampla em modelos maiores é necessária. Eles também alertam que uma alocação nula excessiva poderia potencialmente suprimir sinais fracos úteis ou alterar a interpretabilidade dos mapas de atenção, sugerindo trabalhos futuros sobre o controle adaptativo da força nula.