Self-attention vector output similarities reveal how machines pay attention

Resumen Técnico: Las similitudes de los vectores de salida de la autoatención revelan cómo las máquinas prestan atención

Planteamiento del Problema
Si bien el mecanismo de autoatención ha revolucionado el Procesamiento de Lenguaje Natural (PLN), los mecanismos cuantitativos precisos que subyacen a sus avanzadas capacidades de aprendizaje siguen siendo una cuestión de investigación abierta. La literatura existente se centra principalmente en el análisis de los mapas de atención (pesos de atención) para comprender cómo los modelos se enfocan en el texto. Sin embargo, estudios previos indican que los pesos de atención por sí solos son insuficientes para explicar los procesos de aprendizaje dentro de las arquitecturas transformer. Además, los enfoques actuales suelen omitir la exploración más amplia del espacio vectorial de salida generado por las cabezas de atención individuales. Existe una falta de un lenguaje cuantificable para medir qué tan bien aprende cada capa o para caracterizar los mecanismos internos que gobiernan la evolución de las representaciones de los tokens a través de la red.

Metodología
Este estudio introduce un enfoque novedoso para cuantificar el procesamiento de información dentro del mecanismo de autoatención mediante el análisis del espacio vectorial que emerge de las salidas de las cabezas de atención, en lugar de depender únicamente de los mapas de atención. La investigación utiliza la arquitectura BERT-12 con una longitud de secuencia de entrada fija de 128 tokens.

La metodología central involucra los siguientes pasos:

1. Construcción de la Matriz de Similitud de Contexto: En lugar de analizar los pesos de atención, el estudio calcula el producto punto entre las representaciones vectoriales no normalizadas de cada par de tokens (128 tokens) producidos por cada cabeza de atención. Esto genera una Matriz de Similitud de Contexto de $128 \times 128$ para cada cabeza.
2. Análisis del Espacio Vectorial: Los elementos de la diagonal de estas matrices se igualan a cero para centrarse en las similitudes de contexto fuera de la diagonal, revelando las relaciones de alineación y tamaño de los vectores entre diferentes pares de tokens.
3. Progresión por Capas y por Cabezas: El análisis rastrea la evolución de estas matrices a través de las 12 capas de la arquitectura BERT.
4. Agregación Estadística: El estudio agrega datos de 20,000 muestras de texto para identificar patrones en las distancias de los tokens, los límites de las oraciones y la especialización de las cabezas individuales. Las regiones de alta atención (identificadas mediante mapas de atención normalizados) se utilizan para enmascarar y delinear áreas de alta similitud de contexto.

Resultados Clave
El análisis de las Matrices de Similitud de Contexto revela patrones distintivos en cómo la autoatención procesa la información:

• Evolución de las Capas:
  • Capas Iniciales: Exhiben similitudes de contexto de largo alcance sustancialmente extensas con una distribución relativamente uniforme en la matriz.
  • Capas Intermedias: Muestran una fuerte inclinación hacia correlaciones de corto alcance, con elementos de alta similitud concentrados a lo largo de la diagonal.
  • Capas Finales: La similitud de contexto se expande para cubrir los tokens contenidos dentro de la misma oración, mientras que la similitud disminuye significativamente fuera de los límites de la oración. El mapa de atención en estas capas se enfoca fuertemente en los tokens separadores de oraciones (por ejemplo, ".", ","), lo que sugiere un mecanismo para la segmentación semántica del texto.
• Especialización de las Cabezas: Diferentes cabezas de atención dentro de un mismo bloque se enfocan en distintas características lingüísticas. Algunas cabezas se especializan en identificar repeticiones de tokens, mientras que otras reconocen tokens específicos y su contexto circundante.
• Enfoque en Tokens Únicos: Las cabezas individuales tienden a especializarse en un "token más común" único para un dato de entrada determinado, construyendo pares de similitud centrados alrededor de ese token específico. Esta especialización no es uniforme en todas las cabezas; más bien, cada cabeza converge en un token distinto.
• Distribución de Distancia: Mientras que las capas tempranas muestran una significancia aleatoria a través de los rangos de tokens, las capas medias y finales están gobernadas por correlaciones de corto alcance. Sin embargo, cabezas específicas (por ejemplo, la Cabeza 8 en la Capa 11) aún pueden reconocer tokens idénticos a través de todo el texto de entrada.
• Límites de Oración: Existe una clara preferencia de las cabezas para crear fuertes similitudes de contexto dentro de la misma oración (superando el 33%), lo que indica que el proceso de aprendizaje, y no el azar estadístico, impulsa este agrupamiento sintáctico.

Significancia y Reivindicaciones
El artículo afirma ofrecer un nuevo lenguaje cuantificable para evaluar el rendimiento de aprendizaje de las arquitecturas transformer al desplazar el enfoque de los mapas de atención hacia el espacio vectorial de salida. La significancia principal radica en:

1. Explicación del Mecanismo: Proporcionar un recuento cuantitativo del mecanismo interno que gobierna la arquitectura, demostrando cómo los vectores evolucionan de representaciones léxicas a regiones sintácticamente relevantes.
2. Más allá de los Mapas de Atención: Establecer que los vectores de salida contienen información crítica sobre la propagación de la señal y la dinámica de aprendizaje que los pesos de atención por sí solos no logran capturar.
3. Ruido y Señal: Destacar la presencia de elementos de ruido (alta similitud de contexto sin comprensión lingüística directa) y sugerir que comprender la relación señal-ruido en el espacio vectorial podría conducir a una poda y un uso de memoria más eficientes.
4. Perspectivas Arquitectónicas: Los hallazgos sugieren que, si bien los transformers sobresalen en correlaciones de rango medio dentro de las oraciones, tienen dificultades con las relaciones contextuales de largo alcance a través de textos más grandes. El artículo postula que los avances futuros pueden requerir arquitecturas capaces de interacciones directas de largo alcance, similares a los sistemas de aprendizaje biológicos.

El estudio concluye que esta metodología proporciona un paso fundacional hacia la comprensión de la dinámica de los mecanismos de autoatención con respecto a sus salidas, ofreciendo una visión más completa de cómo las arquitecturas transformer procesan el lenguaje.