Resumo Técnico: Pesos de Contribuição: Uma Análise Geométrica de Transformers de Autoatenção

1. Declaração do Problema

Analisar pesos de atenção ($\alpha_{ij}$) tornou-se uma abordagem padrão para interpretar o fluxo de informação em Grandes Modelos de Linguagem (LLMs). No entanto, essa abordagem baseia-se na suposição implícita de que uma grande massa de atenção equivale à importância funcional. Os autores argumentam que essa visão é incompleta porque negligencia as propriedades geométricas dos vetores de valor que estão sendo agregados. Especificamente, os pesos de atenção isoladamente falham em considerar:

1. A magnitude (norma) dos vetores de valor.
2. O alinhamento direcional entre os vetores de valor e a saída da camada final.

Negligenciar esses fatores leva a conclusões enganosas, como a interpretação errônea de "sumidouros de atenção" (attention sinks — tokens iniciais que recebem alta atenção, mas contribuem pouco para a saída) e a superestimação da importância de tokens com alta atenção. As medidas existentes que consideram o valor incorporam normas ou distâncias, mas frequentemente perdem o efeito crítico da interferência inter-token (construtiva ou destrutiva) causada pelo alinhamento direcional.

2. Metodologia

2.1. Estrutura Teórica

O artigo reformula a Atenção de Múltiplas Cabeças (MHA) não meramente como uma soma ponderada de tokens brutos, mas como uma soma ponderada de vetores de valor projetados.
Dado uma sequência de entrada, a saída de uma camada $l$ na posição $i$ é expressa como:
$$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$$
onde $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$ representa o vetor de valor projetado. Os autores postulam que a influência de um token depende de três fatores:

1. Força de Seleção: O peso de atenção $\alpha_{ij}$.
2. Magnitude: A norma do vetor de valor projetado $\|\tilde{v}_j\|$.
3. Alinhamento Direcional: A similaridade de cosseno entre o valor projetado e a direção de saída, $\cos(o_i, \tilde{v}_j)$.

2.2. Pesos de Contribuição

Para quantificar a importância do token de forma fiel, os autores introduzem os Pesos de Contribuição ($c_{ij}$), uma métrica baseada em projeção definida como o produto interno normalizado do vetor de valor ponderado e a direção de saída:
$$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$$
Esta métrica decompõe a influência do token no produto do peso de atenção, magnitude relativa e alinhamento direcional.

• Intra-cabeça: Mede a contribuição dentro de uma única cabeça.
• Inter-cabeça: Mede a contribuição através de todas as cabeças ao projetar vetores ponderados específicos de cada cabeça sobre a saída combinada de múltiplas cabeças.
• Propriedades: Diferente dos pesos de atenção (que são não-negativos e somam 1), os pesos de contribuição podem ser negativos (indicando interferência destrutiva) e somam 1 ao longo da dimensão da sequência.

2.3. Avaliação Experimental

Os autores avaliam a fidelidade dos pesos de contribuição contra métricas existentes (atenção bruta, atenção ponderada pelo valor, atenção normalizada pela saída e ponderada pelo valor) usando:

• Intervenções Causais: Mascaramento dos valores projetados de tokens classificados por importância e medição da mudança na perplexidade ($\Delta$PPL) em tarefas de modelagem de linguagem (GSM8K, FineWeb-Edu) e tarefas de downstream (MMLU, Winogrande, BoolQ).
• Métricas:
  • Abrangência (Comprehensiveness): Queda de desempenho ao remover tokens de alta importância (maior queda = melhor métrica).
  • Suficiência (Sufficiency): Queda de desempenho ao remover tokens de baixa importância (menor queda = melhor métrica).
• Modelos: Mistral-7B, LLaMA-3.1-8B, Qwen3-8B e Deepseek-7B.

3. Principais Descobertas e Contribuições

3.1. Fidelidade dos Pesos de Contribuição

Os pesos de contribuição superam consistentemente as métricas baseadas em atenção na identificação de tokens semanticamente críticos.

• Abrangência: A remoção de tokens identificados como importantes pelos pesos de contribuição causa uma queda significativamente maior no desempenho do modelo (maior $\Delta$PPL) em comparação com a remoção de tokens identificados pela atenção bruta ou atenção ponderada pelo valor.
• Suficiência: Os modelos mantêm uma precisão mais alta quando tokens de baixa importância (conforme definidos pelos pesos de contribuição) são removidos, mantendo o desempenho base em taxas de remoção mais elevadas.
• Progressão Geométrica: O estudo demonstra uma hierarquia clara de fidelidade: Atenção Bruta < Atenção Ponderada pelo Valor < Atenção Normalizada pela Saída e Ponderada pelo Valor < Pesos de Contribuição. Isso confirma que incorporar o alinhamento direcional (similaridade de cosseno) é o fator mais significativo para melhorar a precisão da métrica.

3.2. Papel Mecanístico da Geometria do Valor

O artigo decompõe as contribuições dos tokens para revelar comportamentos distintos para diferentes tipos de tokens:

• Tokens Sumidouro (Tokens Iniciais): Sua contribuição não é impulsionada pelos pesos de atenção. Em vez disso, é dominada pela geometria do valor (norma relativa e similaridade de cosseno). Tokens iniciais exibem anti-alinhamento (similaridade de cosseno negativa) com tokens semânticos subsequentes.
• Tokens de Cauda (Tail Tokens): Sua contribuição é determinada conjuntamente pelos pesos de atenção e pelo alinhamento direcional.

3.3. Reinterpretação dos Sumidouros de Atenção

Os autores desafiam a visão dos sumidouros de atenção como receptáculos passivos para o excesso de atenção. Em vez disso, eles revelam os sumidouros como supressores de informação ativos:

• Interferência Destrutiva: Os tokens sumidouro possuem vetores de valor que são sistematicamente anti-alinhados com os tokens semânticos. Isso cria interferência destrutiva, suprimindo ativamente a norma da saída.
• Relação Convexa: A relação entre a taxa de sumidouro (massa de atenção no primeiro token) e a norma de saída é convexa, não monotônica. A norma mínima da saída ocorre em uma taxa de sumidouro intermediária ($\alpha < 1$), não quando o sumidouro captura toda a atenção.
• Contramedida ao Desvio Semântico: Ao opor-se à direção semântica dos tokens que não são sumidouros, os sumidouros anulam o desvio semântico introduzido pela acumulação de muitos pesos de atenção pequenos e fracos de tokens não críticos. Intervenções que removem a norma do vetor do sumidouro levam ao colapso das saídas de baixa norma para o cone semântico, aumentando o ruído e a perplexidade.

4. Significância e Alegações

O artigo alega que os Pesos de Contribuição fornecem uma medida mais fiel da importância funcional do token ao considerar a geometria completa da soma do vetor de atenção.

• Insight Mecanístico: O trabalho altera a compreensão dos sumidouros de atenção de absorvedores passivos para supressores ativos que estabilizam as representações ao opor-se ao desvio semântico através da oposição direcional.
• Generalização: Embora os experimentos foquem em modelos apenas de decodificador (decoder-only), os autores afirmam que os pesos de contribuição dependem apenas da estrutura do mecanismo de atenção e são aplicáveis a qualquer arquitetura baseada em atenção (ex: modelos apenas de codificador, ViTs).
• Limitações: O estudo foca em transformers apenas de decodificador e conjuntos de dados específicos (GSM8K, FineWeb-Edu). Os autores observam que, embora sua métrica seja robusta entre domínios, os comportamentos geométricos específicos (como o anti-alinhamento do sumidouro) são observados nos modelos avaliados.

Os autores concluem que analisar a geometria do valor é essencial para uma compreensão mecanística fiel dos transformers, indo além do paradigma de "atenção como explicação" para uma interpretação "consciente da geometria".