Resumo Técnico: Uma Visão Unificada de Sumidouros de Atenção (Attention Sinks)

Declaração do Problema

Os sumidouros de atenção — tokens que atraem uma massa de atenção desproporcional de muitas consultas, aparecendo como faixas verticais em mapas de atenção — são onipresentes em Transformers baseados em softmax, particularmente em Vision Transformers (ViTs) e Large Language Models (LLMs). Embora esses padrões sejam bem documentados, seus mecanismos computacionais subjacentes permanecem ambíguos. O problema central abordado por este trabalho é que padrões de sumidouro visualmente idênticos podem refletir algoritmos fundamentalmente diferentes. As estratégias de mitigação atuais, como mecanismos de gating e tokens de registro (register tokens), são frequentemente aplicadas de forma heurística sem um framework unificado para distinguir por que um sumidouro existe. Consequentemente, intervenções projetadas para "corrigir" sumidouros podem inadvertidamente remover computações úteis ou falhar em abordar a verdadeira fonte de instabilidade.

Metodologia

Os autores propõem um framework unificador que decompõe os sumidouros de atenção em duas hipóteses computacionais distintas, derivando diagnósticos específicos e mensuráveis para cada uma.

1. Duas Hipóteses para Sumidouros de Atenção

O artigo postula que os sumidouros surgem de um de dois mecanismos:

• NOP Adaptativo (No-Operation): O sumidouro atua como um mecanismo de supressão. Quando um cabeçalho de atenção não tem informações úteis para contribuir para um token específico, ele roteia a atenção para um token "nulo" para realizar efetivamente uma operação de identidade no fluxo residual.
  • Assinatura: O token sumidouro exibe normas de valor negligenciáveis ($\|v_s\| \approx 0$).
  • Mecanismo: Para desencadear isso, o modelo aprende um mecanismo de gating, evidenciado por um valor singular dominante na matriz de interação query-key ($W_Q W_K^\top$) ou normas de ativação massivas na posição do sumidouro.
• Broadcast (Transmissão): O sumidouro atua como um hub de comunicação. Ele agrega informações globais e as redistribui para outros tokens.
  • Assinatura: O token sumidouro possui normas de valor não negligenciáveis e induz saídas de atenção de baixo rank (aproximadamente rank-1).
  • Mecanismo: O token sumidouro escreve um payload compartilhado no fluxo residual, aumentando a similaridade das representações dos tokens ao longo da sequência.

2. Validação Sintética

Para isolar esses mecanismos, os autores treinaram modelos sintéticos mínimos em duas tarefas específicas:

• Amortecimento Condicional (Tarefa NOP): Um transformer de cabeçalho único treinado para suprimir atualizações para tokens alinhados com um vetor específico. Os resultados mostraram convergência para um sumidouro com normas de valor próximas de zero e um pico espectral na matriz de interação.
• Tarefa de Broadcast Global: Um transformer de duas camadas treinado para distribuir a informação de um token específico para todas as outras posições. Os resultados mostraram uma solução modular onde uma camada atua como um hub de broadcast (atualização de rank-1, altas normas de valor) e a camada subsequente atua como uma identidade.

3. Diagnósticos Empíricos em Modelos Pré-treinados

Os autores aplicaram esses diagnósticos a ViTs pré-treinados (DINOv2, OpenCLIP) e modelos com tokens de registro. Eles analisaram:

• Razões de Norma de Valor: Comparando a norma do vetor de valor do token sumidouro com a média.
• Rank Estável: Medindo o rank da matriz de atualização induzida pela atenção.
• Transições por Camada: Rastreando quais tokens servem como sumidouros através de diferentes profundidades da rede.

Principais Resultados

1. Coexistência de Mecanismos

A análise de ViTs pré-treinados revela que ambos os mecanismos coexistem dentro do mesmo modelo, mas são especializados:

• Especialização de Camada: Nas camadas iniciais, o token [CLS] frequentemente serve como um sumidouro. Nas camadas mais profundas, esse papel transiciona para tokens de patch específicos.
• Especialização de Cabeçalho: O comportamento de sumidouro não é uniforme em todos os cabeçalhos; cabeçalhos específicos atuam como sumidouros para quase 80% dos inputs, enquanto cabeçalhos adjacentes não o fazem.
• Regimes Duplos: Quando projetados em eixos diagnósticos, os sumidouros se separam em dois clusters distintos:
  • Sumidouros NOP: Encontrados principalmente em camadas iniciais a intermediárias, caracterizados por normas de valor suprimidas (< 0.2x da linha de base).
  • Sumidouros de Broadcast: Encontrados principalmente em camadas mais profundas, caracterizados por normas de valor padrão e atualizações estritas de rank-1.

2. Reinterpretação de Tokens de Registro

O estudo investiga os tokens de registro (tokens aprendidos adicionados à sequência de entrada), que foram originalmente propostos para absorver a massa de atenção para fins de broadcast.

• Repropósito: Os diagnósticos revelam que os tokens de registro não são usados exclusivamente para broadcasting. A maioria dos sumidouros de registro exibe a assinatura NOP (normas de valor suprimidas), indicando que o modelo os reaproveita como "latas de lixo" para suprimir atualizações, não apenas como "xícaras de café" para informação global.
• Implicação: Nem o gating (visando NOP) nem os registros (visando broadcast) sozinhos são suficientes para abordar todos os comportamentos de sumidouro.

3. Mitigação Sinérgica

Os autores testaram a combinação de Atenção com Gating (que permite que os cabeçalhos suprimam saídas, abordando NOP) e Tokens de Registro (que fornecem um substrato para broadcasting).

• Ganhos em Predição Densa: Em modelos ViT-L treinados com LeJEPA, a combinação de gating e registros produziu o melhor desempenho em tarefas de predição espacial densa (ADE20K e Pascal VOC 2012), superando os baselines e variantes de mitigação única.
• Estabilidade de Classificação: A acurácia de classificação global (ImageNet-1k) permaneceu amplamente inalterada entre as variantes, sugerindo que a mitigação de sumidouros melhora principalmente as representações de patches locais em vez da compreensão global da imagem.
• Confirmação de Mecanismo: A abordagem combinada conseguiu suprimir sumidouros NOP (reduzindo as normas dos tokens) enquanto redirecionou sumidouros de broadcast para os tokens de registro.

Significância e Alegações

O artigo afirma que a assinatura visual de um sumidouro de atenção é computacionalmente ambígua e que uma intervenção eficaz requer primeiro a identificação do algoritmo subjacente.

• Unificação: O trabalho fornece um enquadramento unificado que separa as hipóteses "NOP" e "Broadcast", oferecendo diagnósticos operacionais (normas de valor e rank estável) para distingui-las.
• Complementaridade: Demonstra que o gating e os tokens de registro são complementares porque visam regimes computacionais diferentes. A combinação deles produz maior estabilidade e desempenho em tarefas que exigem representações espaciais de alta fidelidade.
• Insight Mecanístico: As descobertas sugerem que "artefatos" como sumidouros de atenção são frequentemente primitivas computacionais genuínas (seja supressão ou coordenação global) em vez de puramente falhas patológicas.

Os autores concluem que, embora seus diagnósticos e estratégia de mitigação combinada melhorem a predição densa, a questão mais ampla de como arquitetar a atenção para suportar o broadcasting sem induzir sumidouros patológicos permanece como uma área aberta para pesquisas futuras.