🤖 AI

SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation

SelKV es un marco de trabajo libre de entrenamiento que comprime los cachés KV mediante la fusión o el descarte selectivo de tokens basado en la similitud de los vectores de valor y la compensación de desequilibrios de atención mediante sesgo de logit, logrando una calidad de generación casi sin pérdidas y aceleraciones significativas mientras retiene solo el 25% del caché original.

Autores originales: Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

Publicado 2026-07-21

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando recordar una historia masiva de 100.000 páginas mientras escribes un nuevo capítulo. Cada vez que piensas en un punto de la trama, tienes que hojear todo tu cuaderno para encontrar los detalles correctos. Cuantas más páginas escribes, más pesado se vuelve tu cuaderno, hasta que tus brazos se cansan demasiado para sostenerlo. Esto es exactamente lo que sucede dentro del "cerebro" de un Modelo de Lenguaje Extenso (LLM) cuando intenta procesar textos largos. Estos modelos son increíblemente inteligentes, pero tienen un problema de memoria: a medida que leen, almacenan un "caché de Clave-Valor" —un sistema de archivo digital de todo lo que han visto hasta ahora— para ayudarles a entender qué viene después. Cuanto más largo es el texto, más grande se vuelve este archivador, llenando eventualmente toda la memoria de la computadora y ralentizando todo hasta un paso de tortuga.

Para solucionar esto, los científicos han probado dos trucos principales. El primero es la "evicción", que es como tirar a la basura las páginas viejas que crees que no son importantes. El segundo es la "fusión", que es como pegar páginas similares para ahorrar espacio. Pero ambos métodos tienen un defecto. Tirar páginas puede hacer que se pierdan pistas cruciales, y pegar páginas a menudo crea una versión "borrosa" donde el modelo olvida cuánta atención debe prestar al grupo pegado. Es como si pegaras diez fotos de un gato; el modelo podría seguir dando a ese único bloque pegado la misma cantidad de atención que le daría a una sola foto, a pesar de que ahora representa a diez. Esto hace que el modelo se confunda y cometa errores.

Aquí entra SelKV, un nuevo y astuto método que actúa como un bibliotecario inteligente para estos archivadores digitales. En lugar de pegar páginas a ciegas o tirarlas a la basura, SelKV utiliza una "puerta de coseno suave" —piensa en ello como un portero de un club que revisa qué tanto se parecen dos páginas antes de decidir qué hacer. Si dos páginas son muy similares, se pegan estrechamente. Si son totalmente diferentes, el portero envía una de ellas lejos para mantener la memoria limpia. Pero la verdadera magia es la "compensación de atención". Dado que pegar páginas suele hacer que el modelo las ignore, SelKV añade un pequeño "aumento de volumen" a las páginas pegadas, asegurando que el modelo preste la cantidad de atención adecuada a ellas.

Los investigadores probaron este sistema en tres modelos de IA diferentes utilizando 16 tareas distintas, desde responder preguntas sobre múltiples documentos hasta escribir código. Descubrieron que, al mantener solo el 25% del espacio de memoria original, SelKV funcionaba casi tan bien como si tuviera la memoria completa, e incluso en algunos cuestionarios complicados de múltiples documentos, funcionó mejor que la versión completa. Parece que, al ser selectivo, la IA en realidad se enfocó en las partes más importantes de la historia. Además, cuando el texto se volvía enorme (100.000 tokens), este método hizo que la IA decodificara texto 3,3 veces más rápido. El artículo sugiere que este enfoque es especialmente bueno para los modelos de IA modernos que utilizan un tipo específico de atención (llamada GQA), ofreciendo una forma de mantener estos cerebros poderosos funcionando rápido sin perder su memoria.

Resumen Técnico: SelKV - Fusión Selectiva de la Caché KV con Fusión o Descarte por Token y Compensación de Atención

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan un cuello de botella crítico durante la inferencia autorregresiva: la caché de Clave-Valor (KV). A medida que la longitud del contexto ( $n$ ) aumenta, la huella de memoria de la caché KV crece linealmente ( $O(L \cdot H \cdot d \cdot n)$ ), lo que limita severamente los tamaños de lote (batch sizes), el rendimiento (throughput) y los costos de despliegue para aplicaciones de contexto largo.

Si bien los métodos de compresión existentes intentan mitigar esto, sufren de dos limitaciones primarias:

Decisiones de Fusión o Descarte Uniformes: Los enfoques actuales suelen aplicar una estrategia binaria: o bien se fusionan todos los tokens desalojados (ej. KVMerger, WeightedKV) o se descartan por completo (ej. H2O, SnapKV). Esta falta de granularidad significa que, cuando el vector de valor de un token desalojado es disímil a su objetivo de fusión, el promedio ponderado corrompe la representación semántica retenida. Por el contrario, el descarte indiscriminado pierde información valiosa.
Caída de la Atención (Attention Sag): Cuando múltiples tokens se fusionan en una única entrada de caché, dicha entrada recibe la misma masa de atención softmax que un único token no fusionado. Esto resulta en una "caída de la atención", donde las posiciones fusionadas son sistemáticamente menos atendidas por un factor proporcional al número de tokens fusionados ( $\sim m$ ), causando que el modelo infrautilice la información preservada.

2. Metodología: SelKV

Los autores proponen SelKV (Selective KV Cache Merging), un marco de trabajo de dos componentes que no requiere entrenamiento, diseñado para abordar estas limitaciones. SelKV opera como un módulo integrable en las canalizaciones de fusión existentes tras la fase de prefill.

Componentes Principales

1. Compuerta de Coseno Suave (Soft Cosine Gate) (Abordando Decisiones Uniformes)
En lugar de una decisión binaria de fusión o descarte, SelKV introduce un mecanismo de compuerta continua por token basado en la similitud de los vectores de valor.

Mecanismo: Para cada token desalojado dirigido a un objetivo de fusión, el sistema calcula la similitud de coseno entre sus vectores de valor.
Función de Compuerta: Una compuerta suave $g = \max(\cos\_sim, 0)$ $g = max (cos_s im, 0)$ modula la intensidad de la fusión:
- $g \approx 1$ : Alta similitud $\rightarrow$ Fusión completa.
- $g = 0$ : Vectores disímiles (ortogonales) $\rightarrow$ Descarte del token.
- $0 < g < 1$ : Similitud moderada $\rightarrow$ Fusión parcial.
Implementación: Esto no requiere parámetros aprendidos ni ajuste de umbrales. El valor fusionado para un token mantenido $i$ se calcula como un promedio ponderado por atención y por la compuerta del valor original y las contribuciones de los tokens desalojados, escalado por sus respectivas compuertas.

2. Compensación de Atención (Abordando la Caída de la Atención)
Para corregir la atención sistemáticamente baja de las posiciones fusionadas, SelKV aplica un sesgo de logit durante la decodificación.

Mecanismo: A diferencia de los métodos anteriores que utilizan recuentos de fusión brutos (que pueden ser inestables en altas tasas de compresión), SelKV deriva una relación de atención ( $R_{h,i}$ ) a partir de las estadísticas de prefill. Esta relación estima la masa de atención total que una posición fusionada debería recibir en relación con su estado original.
Corrección: Se añade un término de sesgo $\alpha \cdot \log(R_i)$ a los logits de atención durante la decodificación. Esto recalibra la distribución softmax para asegurar que las posiciones fusionadas reciban la masa de atención apropiada proporcional a la información que ahora representan.

Resumen de la Canalización (Pipeline)

La canalización de SelKV procede en seis etapas post-prefill:

Puntuación de Importancia: Los tokens se califican basándose en el producto del peso de atención y la magnitud del vector de valor (siguiendo a VATP), en lugar de solo el peso de atención.
Selección de Tokens: Se seleccionan los $m_s$ tokens superiores por capa (y por cabeza para MHA, o mediante la unión para GQA) para retenerlos, junto con una ventana reciente fija.
Enrutamiento de Objetivos de Fusión: Los tokens desalojados se dirigen a los tokens retenidos dentro de cubetas posicionales basadas en los patrones de atención de prefill.
Fusión Selectiva: La compuerta de coseno suave determina la intensidad de la fusión para cada token desalojado.
Compensación de Atención: El sesgo de logit se calcula y se aplica.
Reposicionamiento de RoPE: Las llaves (keys) se re-incrustan en posiciones contiguas (deshabilitado para la evaluación de contexto largo para evitar la distorsión posicional).

3. Contribuciones Clave

Granularidad por Token: La introducción de una compuerta de coseno suave que permite la modulación continua de la intensidad de la fusión basada en la similitud semántica, eliminando el fallo de "todo o nada" de los métodos previos.
Compensación de Atención Estable: Un nuevo sesgo de logit basado en la relación de atención que corrige la caída de la atención de forma más robusta que los métodos basados en recuentos brutos, particularmente bajo una fuerte compresión.
Integración sin Entrenamiento: El marco no requiere ajuste fino (fine-tuning) y puede integrarse en las canalizaciones de compresión de un solo paso existentes.
Adaptabilidad de Arquitectura: El método soporta arquitectas de Atención de Cabezales Múltiples (MHA) y Atención de Consultas Agrupadas (GQA), con manejo específico de las uniones de selección de tokens para modelos GQA.

4. Resultados Experimentales

El marco fue evaluado en LongBench (16 conjuntos de datos en inglés) a través de tres modelos: LongChat-7B (MHA), LLaMA-3.1-8B (GQA) y Gemma-2-9B (GQA), reteniendo solo el 25% de la caché KV.

Rendimiento vs. Baselines: SelKV superó consistentemente a los baselines representativos de un solo paso (SnapKV, LOOK-M, PyramidKV).
- En modelos GQA, SelKV logró el rendimiento más cercano al baseline de caché completa, con brechas promedio de $-0.67$ (Gemma-2) y $-0.73$ (LLaMA-3.1).
- En modelos MHA (LongChat), PyramidKV funcionó ligeramente mejor en la configuración específica de 31.5k tokens, aunque SelKV se mantuvo competitivo.
QA Multi-documento: Notablemente, SelKV superó al baseline de caché completa en varias tareas de QA multi-documento (ej. HotpotQA y MuSiQue en LLaMA-3.1). Los autores interpretan esto como evidencia de que la fusión selectiva actúa como un filtro de atención implícito, suprimiendo el contexto distractor mientras preserva la evidencia saliente.
Eficiencia: Con una longitud de contexto de 100k tokens, la caché comprimida entregó una aceleración de decodificación de 3.3x en comparación con el baseline de caché completa.
Robustez: El método demostró robustez a través de diversas tasas de compresión (10%–90% de retención) y categorías de tareas, incluyendo resumen, aprendizaje de pocos disparos (few-shot learning) y completado de código.

5. Significado y Reivindicaciones

El artículo posiciona a SelKV como un paso significativo para hacer que la inferencia de LLMs de contexto largo sea viable sin sacrificar la calidad. Los autores afirman que:

La fusión selectiva es superior a las estrategias uniformes: Al modular la intensidad de la fusión basada en la similitud de la representación, SelKV evita la corrupción semántica causada por la fusión indiscriminada.
La compensación de la atención es crítica: Sin corregir la caída de la atención, los tokens fusionados son subutilizados; la corrección basada en la relación de SelKV asegura que la información preservada sea accedida efectivamente.
Filtrado Implícito: La capacidad de SelKV para superar a los baselines de caché completa en tareas complejas de QA multi-documento sugiere que el proceso de compresión puede mejorar el rendimiento del modelo al filtrar el ruido, un hallazgo que desafía la suposición de que la compresión siempre degrada la capacidad.

Los autores concluyen que SelKV ofrece una solución práctica y sin parámetros para desplegar LLMs en entornos con restricciones de memoria, manteniendo una calidad de generación casi sin pérdidas, particularmente para arquitecturas basadas en GQA.