Resumen Técnico: Una Visión Unificada de los Sumideros de Atención (Attention Sinks)

Declaración del Problema

Los sumideros de atención —tokens que atraen una masa de atención desproporcionada de muchas consultas, apareciendo como franjas verticales en los mapas de atención— son ubicuos en los Transformers basados en softmax, particularmente en los Vision Transformers (ViTs) y los Grandes Modelos de Lenguaje (LLMs). Aunque estos patrones están bien documentados, sus mecanismos computacionales subyacentes siguen siendo ambiguos. El problema central abordado por este trabajo es que patrones de sumideros visualmente idénticos pueden reflejar algoritmos fundamentalmente diferentes. Las estrategias de mitigación actuales, como los mecanismos de compuerta (gating) y los tokens de registro (register tokens), se aplican a menudo de forma heurística sin un marco unificado para distinguir por qué existe un sumidero. En consecuencia, las intervenciones diseñadas para "corregir" los sumideros pueden eliminar inadvertidamente computaciones útiles o no abordar la verdadera fuente de inestabilidad.

Metodología

Los autores proponen un marco unificador que descompone los sumideros de atención en dos hipótesis computacionales distintas, derivando diagnósticos específicos y medibles para cada una.

1. Dos Hipótesis para los Sumideros de Atención

El artículo postula que los sumideros surgen de uno de dos mecanismos:

• NOP Adaptativo (No-Operation): El sumidero actúa como un mecanismo de supresión. Cuando una cabeza de atención no tiene información útil que contribuir para un token específico, dirige la atención a un token "nulo" para realizar efectivamente una operación de identidad en el flujo residual.
  • Firma: El token sumidero exhibe normas de valor insignificantes ($\|v_s\| \approx 0$).
  • Mecanismo: Para activar esto, el modelo aprende un mecanismo de compuerta, evidenciado por un valor singular dominante en la matriz de interacción consulta-clave ($W_Q W_K^\top$) o normas de activación masivas en la posición del sumidero.
• Difusión (Broadcast): El sumidero actúa como un centro de comunicación. Agrega información global y la redistribuye a otros tokens.
  • Firma: El token sumidero tiene normas de valor no insignificantes e induce salidas de atención de bajo rango (aproximadamente rango-1).
  • Mecanismo: El token sumidero escribe una carga útil compartida en el flujo residual, aumentando la similitud de las representaciones de los tokens a lo largo de la secuencia.

2. Validación Sintética

Para aislar estos mecanismos, los autores entrenaron modelos sintéticos mínimos en dos tareas específicas:

• Amortiguación Condicional (Tarea NOP): Un Transformer de una sola cabeza entrenado para suprimir actualizaciones para tokens alineados con un vector específico. Los resultados mostraron convergencia a un sumidero con normas de valor cercanas a cero y un pico espectral en la matriz de interacción.
• Tarea de Difusión Global (Global Broadcast Task): Un Transformer de dos capas entrenado para distribuir la información de un token específico a todas las demás posiciones. Los resultados mostraron una solución modular donde una capa actúa como un centro de difusión (actualización de rango-1, normas de valor altas) y la capa subsiguiente actúa como una identidad.

3. Diagnósticos Empíricos en Modelos Preentrenados

Los autores aplicaron estos diagnósticos a ViTs preentrenados (DINOv2, OpenCLIP) y modelos con tokens de registro. Analizaron:

• Razones de Norma de Valor: Comparación de la norma del vector de valor del token sumidero con el promedio.
• Rango Estable (Stable Rank): Medición del rango de la matriz de actualización inducida por la atención.
• Transiciones por Capa: Seguimiento de qué tokens sirven como sumideros a través de diferentes profundidades de la red.

Resultados Clave

1. Coexistencia de Mecanismos

El análisis de los ViTs preentrenados revela que ambos mecanismos coexisten dentro de un mismo modelo pero están especializados:

• Especialización de Capa: En las capas tempranas, el token [CLS] suele servir como sumidero. En las capas más profundas, este rol transiciona hacia tokens de parche específicos.
• Especialización de Cabeza: El comportamiento de sumidero no es uniforme en todas las cabezas; cabezas específicas actúan como sumideros para casi el 80% de las entradas, mientras que las cabezas adyacentes no lo hacen.
• Regímenes Duales: Al ser proyectados en los ejes de diagnóstico, los sumideros se separan en dos grupos distintos:
  • Sumideros NOP: Se encuentran principalmente en capas tempranas a medias, caracterizados por normas de valor suprimidas (< 0.2x de la línea base).
  • Sumideros de Difusión (Broadcast): Se encuentran principalmente en capas profundas, caracterizados por normas de valor estándar y actualizaciones estrictas de rango-1.

2. Reinterpretación de los Tokens de Registro

El estudio investiga los tokens de registro (tokens aprendidos añadidos a la secuencia de entrada), que fueron propuestos originalmente para absorber la masa de atención para la difusión.

• Reutilización: Los diagnósticos revelan que los tokens de registro no se usan exclusivamente para la difusión. La mayoría de los sumideros de registro exhiben la firma NOP (normas de valor suprimidas), lo que indica que el modelo los reutiliza como "basureros" para suprimir actualizaciones, no solo como "tazas de café" para la información global.
• Implicación: Ni la compuerta (que apunta a NOP) ni los registros (que apuntan a la difusión) por sí solos bastan para abordar todos los comportamientos de los sumideros.

3. Mitigación Sinérgica

Los autores probaron la combinación de Atención con Compuerta (Gated Attention) (que permite a las cabezas suprimir salidas, abordando NOP) y Tokens de Registro (que proporcionan un sustrato para la difusión).

• Ganancias en Predicción Densa: En modelos ViT-L entrenados con LeJEPA, la combinación de compuerta y registros produjo el mejor rendimiento en tareas de predicción espacial densa (ADE20K y Pascal VOC 2012), superando a las líneas base y a las variantes de mitigación única.
• Estabilidad de Clasificación: La precisión de clasificación global (ImageNet-1k) permaneció mayormente sin cambios en todas las variantes, lo que sugiere que la mitigación de sumideros mejora principalmente las representaciones locales de los parches en lugar del entendimiento global de la imagen.
• Confirmación de Mecanismo: El enfoque combinado logró suprimir exitosamente los sumideros NOP (reduciendo las normas de los tokens) mientras redirigía los sumideros de difusión hacia los tokens de registro.

Significado y Reivindicaciones

El artículo afirma que la firma visual de un sumidero de atención es computacionalmente ambigua y que una intervención efectiva requiere primero identificar el algoritmo subyacente.

• Unificación: El trabajo proporciona un marco unificado que separa las hipótesis de "NOP" y "Difusión", ofreciendo diagnósticos operativos (normas de valor y rango estable) para distinguirlas.
• Complementariedad: Demuestra que la compuerta y los tokens de registro son complementarios porque apuntan a regímenes computacionales diferentes. Combinarlos produce una mayor estabilidad y rendimiento en tareas que requieren representaciones espaciales de alta fidelidad.
• Perspectiva Mecanicista: Los hallazgos sugieren que los "artefactos" como los sumideros de atención son a menudo primitivas computacionales genuinas (ya sea supresión o coordinación global) en lugar de fallos puramente patológicos.

Los autores concluyen que, si bien sus diagnósticos y su estrategia de mitigación combinada mejoran la predicción densa, la cuestión más amplia de cómo arquitecturar la atención para soportar la difusión sin inducir sumideros patológicos sigue siendo un área abierta para la investigación futura.