Self-attention vector output similarities reveal how machines pay attention

Resumo Técnico: Semelhanças nos Vetores de Saída da Autoatenção Revelam Como as Máquinas Prestam Atenção

Problema
Embora o mecanismo de autoatenção tenha revolucionado o Processamento de Linguagem Natural (PLN), os mecanismos quantitativos precisos que subjazem às suas avançadas capacidades de aprendizado permanecem uma questão de pesquisa em aberto. A literatura existente foca primordialmente na análise de mapas de atenção (pesos de atenção) para entender como os modelos focam no texto. No entanto, estudos anteriores indicam que os pesos de atenção, por si só, são insuficientes para explicar os processos de aprendizado dentro das arquiteturas transformer. Além disso, as abordagens atuais frequentemente negligenciam a exploração mais ampla do espaço vetorial de saída gerado por cabeças de atenção individuais. Há uma carência de uma linguagem quantificável para medir o quão bem cada camada aprende ou para caracterizar os mecanismos internos que governam a evolução das representações de tokens através da rede.

Metodologia
Este estudo introduz uma abordagem inovadora para quantificar o processamento de informação dentro do mecanismo de autoatenção, analisando o espaço vetorial emergente das saídas das cabeças de atenção, em vez de depender exclusivamente dos mapas de atenção. A pesquisa utiliza a arquitetura BERT-12 com um comprimento de sequência de entrada fixo de 128 tokens.

A metodologia central envolve as seguintes etapas:

1. Construção da Matriz de Similaridade de Contexto: Em vez de analisar os pesos de atenção, o estudo computa o produto escalar entre as representações vetoriais não normalizadas de cada par de tokens (128 tokens) produzidos por cada cabeça de atenção. Isso gera uma Matriz de Similaridade de Contexto de $128 \times 128$ para cada cabeça.
2. Análise do Espaço Vetorial: Os elementos da diagonal dessas matrizes são zerados para focar nas similaridades de contexto fora da diagonal, revelando relações de alinhamento e tamanho vetorial entre diferentes pares de tokens.
3. Progressão por Camada e por Cabeça: A análise rastreia a evolução dessas matrizes através das 12 camadas da arquitetia BERT.
4. Agregação Estatística: O estudo agrega dados de 20.000 amostras de texto para identificar padrões em distâncias de tokens, fronteiras de sentenças e a especialização de cabeças individuais. Regiões de alta atenção (identificadas via mapas de atenção normalizados) são usadas para mascarar e delinear áreas de alta similaridade de contexto.

Principais Resultados
A análise das Matrizes de Similaridade de Contexto revela padrões distintos na forma como a autoatenção processa a informação:

• Evolução das Camadas:
  • Camadas Iniciais: Exibem similaridades de contexto de longo alcance substancialmente extensas com uma distribuição relativamente uniforme pela matriz.
  • Camadas Intermediárias: Mostram uma forte inclinação para correlações de curto alcance, com elementos de alta similaridade concentrados ao longo da diagonal.
  • Camadas Finais: A similaridade de contexto expande-se para cobrir tokens contidos dentro da mesma sentença, enquanto a similaridade cai significativamente fora das fronteiras das sentenças. O mapa de atenção nestas camadas foca pesadamente em tokens separadores de sentença (ex: ".", ","), sugerindo um mecanismo para segmentação semântica de texto.
• Especialização de Cabeças: Diferentes cabeças de atenção dentro do mesmo bloco focam em características linguísticas distintas. Algumas cabeças especializam-se em identificar repetições de tokens, enquanto outras reconhecem tokens específicos e seu contexto circundante.
• Foco em Tokens Únicos: Cabeças individuais tendem a se especializar em um "token mais comum" único para um determinado input, construindo pares de similaridade centrados em torno desse token específico. Essa especialização não é uniforme entre todas as cabeças; em vez disso, cada cabeça converge para um token distinto.
• Distribuição de Distância: Enquanto as camadas iniciais mostram significância aleatória através de intervalos de tokens, as camadas intermediárias e finais são governadas por correlações de curto alcance. No entanto, cabeças específicas (ex: Cabeça 8 na Camada 11) ainda podem reconhecer tokens idênticos em todo o texto de entrada.
• Fronteiras de Sentença: Existe uma preferência clara de as cabeças criarem fortes similaridades de contexto dentro da mesma sentença (excedendo 33%), indicando que o processo de aprendizado, e não o acaso estatístico, impulsiona esse agrupamento sintático.

Significância e Alegações
O artigo afirma oferecer uma nova linguagem quantificável para avaliar o desempenho de aprendizado de arquiteturas transformer ao deslocar o foco dos mapas de atenção para o espaço vetorial de saída. A principal significância reside em:

1. Explicação do Mecanismo: Fornecer uma conta quantitativa do mecanismo interno que governa a arquitetura, demonstrando como os vetores evoluem de representações lexicais para regiões sintaticamente relevantes.
2. Além dos Mapas de Atenção: Estabelecer que os vetores de saída contêm informações críticas sobre a propagação de sinal e a dinâmica de aprendizado que os pesos de atenção sozinhos não conseguem capturar.
3. Ruído e Sinal: Destacar a presença de elementos de ruído (alta similaridade de contexto sem compreensão linguística direta) e sugerir que compreender a razão sinal-ruído no espaço vetorial poderia levar a uma poda e uso de memória mais eficientes.
4. Insights Arquiteturais: As descobertas sugerem que, embora os transformers se destaquem em correlações de médio alcance dentro de sentenças, eles enfrentam dificuldades com relações contextuais de longo alcance através de textos maiores. O artigo postula que avanços futuros podem exigir arquiteturas capazes de interações diretas de longo alcance, similares aos sistemas de aprendizado biológico.

O estudo conclui que esta metodologia fornece um passo fundamental para a compreensão da dinâmica dos mecanismos de autoatenção em relação aos seus outputs, oferecendo uma visão mais abrangente de como as arquiteturas transformer processam a linguagem.