🤖 machine learning

COBS: Cumulant Order Block Sparse Attention

Este artículo presenta COBS, un método de atención de dispersión por bloques que mejora el rendimiento de la recuperación en contextos largos mediante el uso de un selector novedoso con estadísticas de segundo orden comprimidas para aproximar mejor la masa de atención, reduciendo así significativamente la brecha de calidad con la atención densa mientras mantiene la eficiencia de hardware.

Autores originales: Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar una aguja específica en un enorme pajar, pero el pajar es tan grande que no puedes mirar cada brizna de paja sin que tu cerebro (o computadora) se quede sin energía. Este es el problema que enfrentan los modelos de IA modernos cuando intentan leer documentos muy largos. Tienen que recordar todo lo que han leído hasta ahora, y revisar cada uno de los tokens de memoria es lento y costoso.

Para resolver esto, los investigadores probaron un atajo llamado Block Sparse Attention (Atención Dispersa por Bloques). En lugar de mirar cada brizna de paja, decidieron mirar pequeños grupos de paja (llamados "bloques") y solo elegir los más interesantes para examinarlos de cerca. Es como contratar a un explorador para que escanee unos pocos grupos y te diga cuáles podrían contener la aguja.

El Problema: El Explorador era Demasiado Simple

El artículo estudia un método popular llamado NSA (Native Sparse Attention). En este sistema, el explorador mira un grupo de paja y hace una suposición rápida sobre si es importante. El artículo descubrió que este explorador estaba usando un truco muy simple: solo miraba la posición promedio de las briznas en el grupo.

Piénsalo de esta manera: Imagina dos grupos de paja.

Grupo A tiene las briznas todas apretadas juntas en el medio.
Grupo B tiene las briznas dispersas salvajemente, algunas muy a la izquierda y otras muy a la derecha.

Si solo miras la posición promedio, ambos grupos se ven exactamente iguales. Pero en realidad, el Grupo B tiene muchas más probabilidades de contener la aguja porque cubre más terreno. Los viejos exploradores (métodos de primer orden) eran ciegos a esta "dispersión" o "curvatura". Eran como alguien que intenta adivinar la forma de una nube mirando solo su punto central; se perdían los bordes esponjosos que realmente importaban.

La Solución: COBS (El Explorador Más Inteligente)

Los autores proponen un nuevo método llamado COBS (Cumulant Order Block Sparse Attention). En lugar de dar solo la posición promedio, el explorador de COBS lleva un mapa diminuto y comprimido que muestra no solo dónde están las briznas en promedio, sino cómo están distribuidas.

En términos matemáticos, el artículo llama a esto un "estadístico de segundo orden" o "covarianza". En nuestra analogía, es como si el explorador se diera cuenta de: "¡Oye, este grupo es ancho y desordenado, así que tiene una mayor probabilidad de tener la aguja!". Al mantener esta información adicional (pero comprimiéndola para que no ocupe demasiado espacio), COBS puede hacer mejores suposiciones.

Los Resultados: Un Salto Gigante hacia Adelante

El equipo probó esto en un desafío famoso llamado 32k RULER benchmark (una prueba de 11 tareas diferentes de recuperación de contexto largo). Esto es lo que encontraron:

La vieja forma (NSA MLP): El explorador simple obtuvo una puntuación de 0.2999. Estaba luchando por encontrar las agujas.
La forma perfecta (OSA): Si pudieras conocer mágicamente la respuesta exacta sin ningún atajo (llamado "oráculo"), obtendrías una puntuación de 0.9040.
La nueva forma (COBS): El explorador inteligente con el mapa de dispersión obtuvo una puntuación de 0.8195.

Esto significa que COBS cerró aproximadamente el 86% de la brecha entre el viejo método con dificultades y el método perfecto. ¡Ese es un gran avance!

El Costo: ¿Vale la Pena?

Usualmente, volverse más inteligente significa trabajar más. Pero COBS es eficiente.

El método viejo leyó una cierta cantidad de datos.
El método perfecto (que lee todo) lee 15.15 veces más datos que COBS.
COBS solo lee 1.21 veces más datos que el viejo y con dificultades método.

Así que COBS te lleva casi al nivel de la perfección realizando solo un poquito más de trabajo que el viejo y simple método.

A lo que el Artículo Dice "No"

Los autores fueron muy cuidadosos al descartar algunas ideas que podrían parecer buenos atajos pero que en realidad no funcionan:

Solo añadir más complejidad al promedio: Intentaron usar una red neuronal sofisticada (MLP) para hacer que la suposición del "promedio" fuera más inteligente, pero no ayudó mucho. El problema no era la complejidad del promedio; era que el promedio en sí mismo era la herramienta equivocada. Necesitas la información de la "dispersión", no un mejor promedio.
Mirar la "dispersión" en una caja simple: Otro método intentó adivinar la dispersión mirando las briznas mínimas y máximas (una caja). Esto ayudó un poco, pero no fue tan preciso como el mapa de dispersión de COBS.
Añadir matemáticas aún más complejas (Tercer orden): Los autores probaron añadir un "sesgo" (una medida de qué tan desequilibrada está la dispersión). Sorprendentemente, esto empeoró las cosas en niveles de baja complejidad, causando que el modelo se confundiera. Solo ayudó cuando el modelo ya era muy complejo y estaba fallando, actuando más como un parche que como una solución. Decidieron quedarse con la "dispersión" (segundo orden) como el punto óptimo.

¿Qué tan Seguros Están?

El artículo es muy confiado en estos números porque realizaron experimentos controlados. No solo adivinaron; midieron el rendimiento en la prueba 32k RULER y encontraron que COBS superó consistentemente a los métodos anteriores. También verificaron que esto no afectaba la capacidad del modelo para entender oraciones cortas (no lo hizo) y que realmente ayudaba al modelo a predecir la siguiente palabra en textos largos mejor que los métodos antiguos.

Sin embargo, los autores son honestos sobre los límites:

Probaron esto en un modelo con aproximadamente 1.2 mil millones de parámetros. No saben con certeza si funciona exactamente igual en los modelos masivos utilizados por las grandes empresas tecnológicas, aunque las matemáticas sugieren que debería funcionar.
Entrenaron el modelo con un tipo específico de datos sintéticos (estilo RULER) para probarlo. Aunque esta es una forma estándar de probar la capacidad de contexto largo, los datos del mundo real podrían comportarse de manera ligeramente distinta.

La Conclusión

El artículo demuestra que para encontrar agujas en un pajar de manera eficiente, no puedes limitarte a mirar el centro del grupo. Necesitas saber cómo se distribuye ese grupo. Al añadir un mapa diminuto y comprimido de esa dispersión, COBS permite que los modelos de IA lean documentos largos con mucha más precisión sin ralentizarlos, cerrando la brecha entre "lo suficientemente bueno" y "perfecto" con muy poco esfuerzo adicional.

Resumen Técnico: COBS (Cumulant Order Block Sparse Attention)

1. Planteamiento del Problema

La inferencia de los Modelos de Lenguaje de Gran Escala (LLM) en contextos largos está limitada por el ancho de banda de la memoria más que por la capacidad de cómputo. Específicamente, la operación de lectura de la caché Key-Value (KV) requerida para la atención densa limita la velocidad de decodificación y deja el hardware infrautilizado. La atención dispersa por bloques (block sparse attention) ofrece una solución compatible con el hardware al leer solo bloques contiguos de tokens, pero sigue siendo infrautilizada en los principales modelos de pesos abiertos. Los métodos existentes suelen depender de la atención densa, de la selección de tokens de grano fino o de la evacuación de KV.

El desafío principal en la atención dispersa por bloques es la selección de bloques: identificar qué bloques de la caché KV contienen la información más relevante para una consulta (query) dada sin tener que leer todas las llaves (keys) y valores (values) de cada bloque. Los métodos actuales de vanguardia, como la Atención Dispersa Nativa (NSA) de DeepSeek, utilizan una estrategia de selección de "primer orden". Estos métodos resumen los bloques en un vector independiente de la consulta (por ejemplo, mediante un MLP o un promedio de pooling) y los puntúan linealmente contra la consulta. El artículo postula que estas aproximaciones de primer orden no logran capturar la curvatura no lineal de la masa de atención, lo que genera brechas significativas de rendimiento en comparación con la atención densa.

2. Metodología

2.1 Fundamento Teórico: El Oráculo de Selección

Los autores formalizan la selección de bloques como el problema de reconstruir las salidas de la atención densa a partir de un subconjunto de bloques. Derivan que el criterio de selección óptimo es clasificar los bloques por su masa de atención ( $m_b$ ), definida como la suma de los puntajes de atención dentro de un bloque:
$m_b = \sum_{r \in b} e^{q^T k_r}$
Una "Atención Dispersa Oráculo" (OSA) que selecciona bloques basándose en la masa de atención exacta (requiriendo la lectura de todas las llaves) iguala casi el rendimiento de la atención densa, demostrando que el criterio de selección es sólido. El cuello de botella consiste en estimar esta masa a partir de un resumen compacto e independiente de la consulta.

2.2 La Expansión de Cumulantes

El artículo analiza la estimación de la masa de atención utilizando una expansión de cumulantes (equivalente a una expansión de Taylor de la función generadora de momentos del logaritmo). El logaritmo de la masa se expande como:
$\ln m_b = \ln L + q^T \kappa_1 + \frac{1}{2} q^T \kappa_2 q + \dots$
Donde:

$\kappa_1$ es la media de las llaves del bloque ( $\bar{k}_b$ ).
$\kappa_2$ es la covarianza de las llaves dentro del bloque ( $\Sigma_b$ ).

Los selectores de primer orden existentes (como el MLP o el mean-pool de NSA) solo capturan el término lineal ( $q^T \bar{k}_b$ ), descartando el término de curvatura de segundo orden ( $\frac{1}{2} q^T \Sigma_b q$ ). Esta omisión provoca que fallen cuando la distribución de las llaves dentro de un bloque tiene una dispersión significativa en relación con la dirección de la consulta, incluso si la media es similar.

2.3 El Método COBS

COBS (Cumulant Order Block Sparse Attention) aborda esto incorporando el término de segundo orden en el proceso de selección. El método se basa en la arquitectura NSA (que incluye ramas de compresión, selección y ventana deslizante) con las siguientes innovaciones:

Puntuación de Segundo Orden: En lugar de solo un vector medio, el selector de bloques almacena la media de la llave del bloque ( $\bar{k}_b$ ) y una representación comprimida de la matriz de covarianza dentro del bloque ( $\Sigma_b$ ). El puntaje de selección se convierte en:
$\text{score}_b \approx q^T \bar{k}_b + \frac{1}{2} q^T \Sigma_b q$
Compresión de Covarianza: Dado que almacenar una matriz de covarianza completa de $D \times D$ $D \times D$ es prohibitivo en términos de memoria, COBS emplea tres técnicas de compresión:
- Factorización de Bajo Rango: Almacenar solo los $r$ autovectores y autovalores superiores de $\Sigma_b$ .
- Proyección de Subespacio: Proyectar la covarianza en un subespacio de consulta de menor dimensión (generado por los autovectores superiores del segundo momento de la consulta), reduciendo el almacenamiento de $rD $a$ rs$.
- Cuantización: Almacenar los autovectores escalados en formato FP4 (E2M1) mientras se mantiene la media del bloque en BF16.
NoPE (Sin Codificación de Posición): Las ramas de compresión y selección eliminan la Codificación de Posición Rotatoria (RoPE) para asegurar que los resúmenes de los bloques dependan únicamente del contenido, evitando que el ruido posicional corrompa el resumen.

3. Principales Contribuciones

Formalización de la Selección: El artículo reduce la selección de bloques a la clasificación por masa de atención y demuestra que un oráculo que utiliza masas exactas recupera casi todo el rendimiento de la atención densa.
Análisis de Orden de Cumulantes: Proporciona una explicación teórica de las limitaciones de los selectores de primer orden existentes, identificando la covarianza de las llaves descartada dentro del bloque como la fuente de la brecha de rendimiento.
el algoritmo COBS propone un método práctico que almacena estadísticas de segundo orden comprimidas (covarianza) por bloque, permitiendo una aproximación más precisa de la masa de atención sin leer todas las llaves.
Validación Empírica: Demuestra que la selección de segundo orden cierra significativamente la brecha entre la atención dispersa y la densa en benchmarks de contexto largo.

4. Resultados Experimentales

4.1 Recuperación de Contexto Largo (32k RULER)

Evaluado en un benchmark RULER de 11 tareas de 32k:

Línea Base NSA (MLP): Puntuación media de 0.2999.
NSA Mean-Pool (NoPE): Puntuación media de 0.5554 (mostrando el beneficio de NoPE).
COBS (Subespacio, $r=4$ , FP4): Puntuación media de 0.8195.
Atención Densa: Puntuación media de 0.9040.
Brecha Cerrada: COBS cierra aproximadamente el 86% de la brecha entre la línea base de NSA y la atención densa.
Eficiencia de Tráfico: COBS utiliza solo 1.21 $\times$ el tráfico de lectura de la caché KV de la línea base de NSA y 15.15 $\times$ menos tráfico que la atención densa.

4.2 Razonamiento de Contexto Corto y Modelado de Lenguaje

Razonamiento de Contexto Corto: COBS preserva el rendimiento del razonamiento de sentido común en contexto corto, logrando paridad con la atención densa en benchmarks estándar (OpenBookQA, PIQA, etc.).
NLL por Posición: COBS logra la menor log-verosimilitud negativa (NLL) promedio de siguiente token de 1.633 (frente a 1.727 para la densa), lo que indica que las mejoras en la recuperación no ocurren a expensas de las capacidades de modelado de lenguaje de contexto largo.

4.3 Ablaciones

Barrido de Rango (Rank Sweep): El rendimiento alcanza su punto máximo en un rango $r=8$ y retrocede en $r=16$ debido a la acumulación de masa de varianza no firmada de los distractores. Los autores recomiendan $r \le 8$ .
Subespacio vs. Global: Las dimensiones de subespacio adaptativas por capa ( $s \approx 85$ ) funcionan de manera comparable a una dimensión global de 128, reduciendo los costos de almacenamiento.
Cuantización: Se demuestra que la cuantización FP4 de los autovectores es esencialmente sin pérdida.

5. Significado y Reivindicaciones

El artículo afirma que el orden de los cumulantes sirve tanto como una lente diagnóstica para los métodos de atención dispersa existentes como un eje de diseño práctico para la mejora. Al pasar de resúmenes de primer orden (media) a resúmenes de segundo orden (covarianza), COBS demuestra que la atención dispersa por bloques puede acercarse a la calidad de la atención densa manteniendo una reducción significativa en el uso de ancho de banda de memoria.

Los autores enfatizan que este es un estudio de mecanismo realizado a una escala de $\approx 1.2$ B de parámetros con protocolos de entrenamiento específicos (SFT estilo RULER). No afirman que esto sea un sistema listo para despliegue en todos los LLM, sino que es una prueba de que la brecha teórica en la selección de bloques puede cerrarse. El trabajo sugiere que la atención dispersa por bloques, a menudo ausente en los modelos líderes, es viable si el mecanismo de selección es suficientemente expresivo (es decir, de un orden de cumulante superior).

Limitaciones señaladas por los autores:

El estudio está limitado a una escala de backbone específica y una secuencia de preentrenamiento determinada.
La comparación utiliza una línea base de NSA controlada con hiperparámetros específicos (bloques no superpuestos, MLPs grandes) que difieren de los informes originales de NSA.
El uso de NoPE en las ramas dispersas frente a RoPE en las ramas densas introduce una variable de confusión en las comparaciones de contexto largo.
Los resultados dependen de un ajuste fino (fine-tuning) tipo RULER, que puede no generalizarse perfectamente a todos los escenarios de contexto largo.