Resumen Técnico: Comprensión de la Selectividad de la Atención Dispersa en Modelos de Fundación de Contexto Largo mediante Evaluación Contrafactual

1. Planteamiento del Problema

Los mecanismos de atención dispersa (por ejemplo, Block Sparse Flash Attention, evacuación de la caché KV) son infraestructura estándar para los modelos de lenguaje de contexto largo, seleccionados por su capacidad para reducir los costos computacionales cuadráticos. Sin embargo, los marcos de evaluación actuales dependen de métricas agregadas como el rendimiento (throughput), el uso de memoria y la precisión en benchmarks. Los autores argumentan que estas mét kricas no logran detectar un fenómeno crítico: la dispersión altera la influencia conductual de contenido específico en la salida del modelo.

Un modelo disperso desplegado puede mantener una precisión agregada mientras, simultáneamente, amplifica contenido engañoso y suprime contenido correctivo, con estos cambios cancelándose entre sí en el agregado. Además, los diagnósticos estándar como los pesos de atención son insuficientes porque son endógenos a la decisión de poda y a menudo fallan en las pruebas de fidelidad. El artículo aborda la pregunta no resuelta: ¿Cómo cambia la selección de bloques la influencia causal de un contenido específico en la salida del modelo en relación con un contrafactual denso emparejado?

2. Metodología

El artículo propone una Auditoría Contrafactual Calibrada con Densidad para aislar el componente de influencia de contenido específico de la dispersión. La metodología consta de tres brazos experimentales convergentes:

A. Validación Causal: Replay de Rutas BSFA

Antes de la auditoría principal, los autores establecen la causalidad utilizando el replay de rutas de Block Sparse Flash Attention (BSFA) en cuatro arquitecturas (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B).

• Mecanismo: El modelo se ve obligado a procesar diferentes rutas de evidencia (Oro vs. Errónea) bajo atención dispersa nativa.
• Control: Todas las intervenciones utilizan el mismo camino de kernel para eliminar confusiones de la ruta del kernel.
• Métrica: El cambio en el margen de la respuesta "errónea menos oro" al forzar una ruta errónea frente a una ruta de oro.

B. La Auditoría Contrafactual Controlada

El protocolo central mide el efecto marginal del contenido bajo condiciones dispersas frente a densas utilizando sondas centinela emparejadas.

• Tarjetas Centinela: Cada prompt contiene tres tarjetas de 128 tokens: Oro (G) (etiqueta correcta), Veneno (P) (etiqueta errónea objetivo) y Benigno (B) (solo relleno). G y P difieren por exactamente un token en un índice congelado.
• Simetría de Seis Diseños: Se utilizan todas las seis permutaciones de las tres tarjetas para eliminar confusiones de posición y orden.
• Enrutamiento Forzado: Un pase de captura natural registra la ruta del selector. Los pases de enrutamiento forzado emparejados añaden anclajes específicos (G, P, B o Neutro R) a la ruta manteniendo fijo el andamiaje del prompt.
• Calibración de Densidad: Un "Brazo Denso" ejecuta los mismos prompts y diseños con atención eager parcheada con una relación de compresión $c=0$ (sin poda). Esto proporciona una línea base dentro del mismo kernel.
• Métrica Primaria ($\Delta$): La cantidad calibrada se define como $\Delta = H^{dispersa}_3 - H^{densa}_3$, donde $H_3 = M_P - M_B$ (la diferencia de margen entre Veneno y Benigno).
  • $\Delta > 0$: La atención dispersa amplifica la sonda más que la atención densa.
  • $\Delta < 0$: La atención densa amplifica la sonda más que la dispersa.
• Verificación de Ruta de Kernel: Una validación en $c=0$ confirma que la sustitución de rutas y el reemplazo de tokens producen resultados idénticos dentro de una discrepancia negligible (0.044 logits), validando el método de sustracción.

C. Evacuación de Caché KV (KVPress)

Para probar la generalidad estructural, la auditoría se repite utilizando la evacuación a nivel de token (Expected Attention y SnapKV) con pasajes de envenenamiento de evidencia reales, en lugar de la selección a nivel de bloque.

D. Ablación Mecanística

Una ablación de atención de bloque cruzado aísla un bloque de sonda de toda la comunicación entre bloques para medir la "pérdida de integración".

3. Resultados Clave

Validación Causal

• Replay de Rutas BSFA: A través de 16 celdas de modelo-tarea-ratio, forzar una ruta de evidencia errónea aumentó el margen de la respuesta errónea en 13 celdas, con cero cambios de etiqueta en el replay de identidad. Esto confirma que el enrutamiento disperso cambia causalmente la influencia del contenido.

Patrones Compitiendo

La auditoría revela dos patrones en competencia que determinan el efecto neto:

1. Concentración de Señal: El selector retiene preferentemente los bloques que portan señal (Oro/Veneno) sobre los bloques de relleno (Benigno). Las trazas de rutas naturales muestran $G \approx P \gg B$ en todos los pares modelo-tarea.
2. Pérdida de Integración: Descartar bloques corta las vías de atención entre bloques. Una ablación que aísla un bloque de sonda colapsó su influencia de 4.48 logits a exactamente cero, confirmando que la conectividad entre bloques es necesaria para que el contenido influya en la salida.

La Relación de Compresión como Variable de Control

Un barrido sistemático a través de las relaciones de compresión ($c \in \{0.25, 0.50, 0.75\}$) revela que el equilibrio entre la concentración de señal y la pérdida de integración está gobernado por la relación de compresión:

• Qwen3-8B en SCBench-KV: Exhibe una inversión completa de signo. $\Delta$ se mueve de $-0.31$ (amplificación densa) en $c=0.25$ a $+0.93$ (fuerte amplificación dispersa) en $c=0.75$.
• Qwen3-8B en SciFact: Exhibe una segunda inversión de signo, moviéndose de $+0.19$ a $-0.08$ (hacia la amplificación densa) a medida que la compresión aumenta.
• Llama-3.1-8B: Se mueve monótonamente hacia cero (reduciendo la magnitud de la amplificación densa) pero permanece negativa.
• Tendencia General: Tres de los cuatro pares modelo-tarea se mueven hacia un $\Delta$ más positivo (fuerte amplificación dispersa) en compresiones más altas, lo que sugiere que la compresión agresiva desplaza el equilibrio hacia la concentración de señal a pesar de la pérdida de integración.

Convergencia

Tres métodos independientes (replay de rutas BSFA, control de bloque top-k y evacuación de caché KV) convergen en la conclusión de que la dispersión cambia la influencia del contenido de formas que la precisión agregada no puede detectar.

4. Significancia y Reivindicaciones

El artículo afirma proporcionar el primer marco que audita cómo el descarte de bloques cambia la influencia de un contenido específico en la salida del modelo. Su significancia radica en:

1. Demostrar la Causalidad: Probar que el enrutamiento disperso no es meramente un atajo computacional, sino una intervención conductual que altera qué evidencia influye en la respuesta.
2. Innovación Metodológica: Introducir una auditoría contrafactual calibrada con densidad que aísla los efectos específicos de la dispersión utilizando sondas emparejadas, simetría de seis diseños y una línea base densa dentro del mismo kernel.
3. Identificar Mecanismos Compitiendo: Proporcionar evidencia causal directa de la Concentración de Señal (retención de bloques de señal) y la Pérdida de Integración (corte de caminos entre bloques), mostrando que el efecto neto depende de la relación de compresión.
4. Limitaciones de las Métricas Agregadas: Establecer que los benchmarks de precisión agregada son insuficientes para la evaluación de la atención dispersa porque los cambios positivos y negativos en el contenido pueden cancelarse, ocultando cambios conductuales significativos.
5. Generalizabilidad: El protocolo es aplicable a cualquier modelo que exponga identidades de bloques y ha sido validado en cuatro modelos de fundación de pesos abiertos ampliamente desplegados (clase de parámetros 7B–8B).

Los autores concluyen que, si bien la precisión agregada puede permanecer estable, la distribución de la influencia cambia bajo la dispersión, lo que potencialmente amplifica el contenido engañoso o suprime el contenido correctivo dependiendo de la relación de compresión y la tarea. Esto requiere nuevos protocolos de evaluación que tengan en cuenta los cambios específicos de contenido en lugar de depender únicamente del rendimiento agregado.