🤖 machine learning

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

Este artículo presenta "Back from the Future", una estrategia de desalojo del caché de Clave-Valor que no requiere entrenamiento, la cual identifica y elimina tokens redundantes aprovechando la atención contra-causal para medir qué tan bien se pueden predecir los tokens pasados a partir del contexto futuro, reduciendo así el uso de memoria y la latencia de inferencia mientras mantiene un rendimiento competitivo en diversos modelos de lenguaje de gran tamaño.

Autores originales: Stephen Gould, Anton van den Hengel

Publicado 2026-07-31

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Stephen Gould, Anton van den Hengel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando recordar una historia larga y complicada para poder contar la siguiente parte. Tu cerebro es increíble, pero tiene un límite de cuánto puede contener a la vez. Si la historia se vuelve demasiado larga, tienes que olvidar algunas partes para hacer espacio para otras nuevas. Esto es exactamente el problema que enfrentan los "Modelos de Lenguaje de Gran Tamaño" (los superinteligentes chatbots de IA que usamos hoy en día). Estos modelos funcionan leyendo todo lo que han leído hasta ahora para adivinar la siguiente palabra. Para hacer esto rápido, mantienen un "bloc de notas" en su memoria de computadora llamado caché de Clave-Valor (KV). Piensa en este caché como un bloc de notas mental donde el modelo escribe las pistas más importantes de la historia hasta el momento.

El problema es que, a medida que la historia se alarga, este bloc de notas se hace cada vez más grande. Eventualmente, llena la memoria de la computadora, causando que la IA se bloquee o se vuelva extremadamente lenta. Los científicos han estado tratando de resolver esto intentando descubrir qué notas en el bloc de notas son las más importantes para conservar y cuáles pueden desecharse. Algunos métodos simplemente desechan las notas más antiguas (como una ventana deslizante), mientras que otros intentan conservar las notas a las que el modelo parece "mirar" más. Pero estas formas antiguas tienen un fallo: si el modelo mira una nota demasiado, la seguirá mirando aún más, creando un bucle donde los hechos importantes pero silenciosos son eliminados porque no fueron lo suficientemente "ruidosos" para captar la atención.

Este artículo presenta una nueva y astuta forma de decidir qué conservar, llamada Sorpresa Contra-Causal. En lugar de preguntar, "¿A qué le prestó más atención el modelo?", pregunta: "Si quitara esta nota, ¿podría el modelo todavía adivinar qué era basándose en las notas del futuro?". Si el modelo puede adivinar fácilmente una palabra pasada simplemente leyendo las palabras que vienen después, esa palabra pasada no es muy especial; es redundante. Pero si el modelo queda totalmente sorprendido y no puede adivinar la palabra pasada a partir de las palabras futuras, esa palabra contiene información única y vital, y debe ser guardada. Los autores probaron esto en varios modelos de IA y descubrieron que este método de "sorpresa" mantiene al modelo más inteligente y preciso que los métodos antiguos, incluso cuando la memoria es limitada. También encontraron un "modo rápido" que realiza los cálculos mucho más rápido, lo que lo hace práctico para el uso en el mundo real sin ralentizar demasiado las cosas.

La magia de la mirada "hacia atrás"

Entonces, ¿cómo funciona realmente esta "Sorpresa Contra-Causal"? Imaginemos que la IA está leyendo una novela de misterio. Normalmente, el modelo lee de izquierda a derecha, como una persona normal. Ve "El mayordomo", luego "recogió", luego "el candelabro". Para predecir la siguiente palabra, utiliza todo lo que ha visto hasta ahora. Esta es la forma estándar en que funciona la IA.

Pero para decidir qué desechar de su memoria, este nuevo método hace algo extraño: mira hacia atrás. Toma un fragmento de la historia que ya ha leído y pregunta: "Si oculto la palabra 'candelabro' de mi memoria, ¿puedo seguir adivinándola solo mirando 'El mayordomo recogió el...'?".

Baja Sorpresa (Deséchalo): Si la frase fuera "El mayordomo recogió el [candelabro]", y las siguientes palabras son "y caminó hacia la cocina", el modelo podría ser capaz de adivinar "candelabro" solo con el contexto de un mayordomo en una cocina. Si el modelo puede adivinarlo fácilmente, esa palabra no estaba añadiendo mucha información nueva. Es como recordar la palabra "el" en una frase; no necesitas mantener una nota especial para "el" porque está en todas partes. El artículo sugiere eliminar estas palabras fáciles de adivinar del caché para ahorrar espacio.
Alta Sorpresa (¡Consérvalo!): Ahora, imagina que la frase es "El mayordomo recogió el [tetera]". Si las siguientes palabras son "y caminó hacia la cocina", el modelo podría estar totalmente confundido. "¿Tetera?". ¿Por qué? ¡Eso es una sorpresa! El hecho de que el mayordomo recogiera una tetera es un detalle único que las palabras futuras no predijeron. Esta "sorpresa" significa que la palabra contiene un secreto que el resto de la historia aún no conoce. El artículo argumenta que estas palabras "sorprendentes" son las más valiosas y son las que deben conservarse en el caché de la memoria.

El atajo del "Modo Rápido"

Hacer este "vistazo hacia atrás" para cada palabra en una historia larga es un trabajo arduo. Es como leer un libro entero, y luego leerlo de nuevo hacia atrás solo para revisar tus notas. Los autores se dieron cuenta de que esto requiere mucha potencia de cómputo. Por ello, idearon una Aproximación de Capa Única Rápida.

Piensa en una red neuronal profunda (el cerebro de la IA) como un edificio de varios pisos. La información viaja a través de muchos pisos (capas) antes de que salga la respuesta final. El método completo revisa cada uno de los pisos para ver qué es sorprendente. El "Modo Rápido" dice: "Oye, revisemos solo el último piso". Descubrieron que mirar solo la última capa del cerebro de la IA da casi el mismo resultado que revisar todo el edificio, pero es de 7 a 9 veces más rápido.

En sus pruebas, esta versión rápida tomó solo 7.9 milisegundos para refrescar la memoria para un caché de 512 tokens (un pequeño fragmento de texto), en comparación con los 54 milisegundos de la revisión completa. Incluso para un caché enorme de 4,096 tokens, la versión rápida tomó solo 52.6 milisegundos, mientras que la versión completa tomó 496 milisegundos. Esa es una aceleración enorme que hace que el método sea utilizable en tiempo real sin que la IA se sienta lenta.

¿Realmente funciona?

Los autores no solo imaginaron esto; lo probaron en algunos de los modelos de IA de código abierto más inteligentes disponibles, como Qwen2.5 y LLaMA 3.1, utilizando tareas complicadas como resolver problemas matemáticos, leer registros médicos largos o seguir conversaciones largas.

Problemas Matemáticos: En un benchmark llamado MATH500, donde la IA tiene que resolver problemas matemáticos complejos, el nuevo método fue el mejor para mantener a la IA en el camino correcto. Para el modelo Qwen2.5-7B, el nuevo método obtuvo un 74.4% de precisión, superando al método "Heavy-Hitter" que obtuvo un 76.2% (esperen, de hecho H2O fue ligeramente superior aquí, pero el nuevo método fue muy cercano y mejor en otras versiones de 3B y 14B). En el modelo Llama-3.1-8B, el nuevo método obtuvo un 48.2%, siendo el mejor de todos los métodos de "descarte" y muy cerca de la línea base perfecta de "sin límite" de 48.8%.
Conversaciones Largas: Aquí es donde los métodos antiguos realmente tuvieron dificultades. En un conjunto de datos llamado LoCoMo, que involucra conversaciones muy largas, los antiguos métodos basados en la "atención" (como H2O) comenzaron a fallar. Se confundían y empezaban a repetir la pregunta o a hablar de imágenes irrelevantes porque habían descartado los hechos únicos que ocurrieron al principio del chat. El nuevo método "Contra-Causal" no cometió este error. Conservó los hechos únicos y sorprendentes, permitiendo que la IA respondiera preguntas correctamente incluso después de mucho tiempo.
Modo de Pensamiento: También lo probaron en problemas matemáticos de AIME donde la IA tiene que "pensar" durante mucho tiempo antes de responder. Los métodos antiguos a menudo se confundían por haber descartado demasiada información, de modo que la IA no podía terminar su proceso de pensamiento. El nuevo método mantuvo la cadena de razonamiento mucho mejor, logrando un 36.7% de precisión en comparación con los otros que fueron menores.

Por qué esto importa

La gran conclusión es que la forma antigua de decidir qué olvidar era defectuosa. Dependía de cuánto "miraba" la IA una pieza de información, lo que creaba un sesgo donde las palabras populares se volvían más populares, y los hechos silenciosos pero importantes eran eliminados. Este nuevo método cambia la perspectiva. Pregunta: "¿Es esta pieza de información predictible?". Si lo es, no es necesaria. Si es una sorpresa, es oro.

Los autores sugieren que este enfoque es una forma sólida y fundamentada de gestionar la memoria sin necesidad de reentrenar los modelos de IA. Funciona con los modelos que ya tenemos. Aunque la versión completa toma un poco de tiempo extra para calcular la "sorpresa", la versión rápida es tan veloz que apenas ralentiza nada. Es como tener un bibliotecario que no solo guarda los libros que todo el mundo pide, sino que guarda los libros que contienen secretos que nadie más puede adivinar, asegurando que la historia nunca pierda sus giros más importantes.

Resumen Técnico: Back from the Future: Gestión de la Caché de Clave-Valor mediante la Sorpresa Contra-Causal

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) dependen de cachés de Clave-Valor (KV) para almacenar claves y valores previamente computados, lo que permite una atención de producto punto escalada eficiente durante la generación autorregresiva. Sin embargo, el tamaño de la caché KV crece linealmente con la longitud del contexto, agotando rápidamente la memoria GPU disponible para prompts largos o generación extendida. Aunque existen estrategias como las ventanas deslizantes (evicción de los tokens más antiguos) o la compresión, estas suelen fallar al intentar retener información crítica.

Una limitación significativa de los métodos de evicción dinámica existentes (por ejemplo, H2O, TOVA) es su dependencia de las puntuaciones basadas en la atención. Estos métodos sufren un sesgo de autorrefuerzo: los tokens retenidos en la caché continúan recibiendo atención en los pasos de decodificación subsiguientes, lo que infla sus puntuaciones acumulativas y los hace aún más propensos a ser retenidos. Por el contrario, los tokens que son fácticamente críticos pero de baja frecuencia, mencionados solo una vez, pueden atraer una atención insuficiente para sobrevivir a la evicción, lo que conduce a la degradación de la precisión en tareas que requieren razonamiento de múltiples saltos o recuperación precisa de información.

Metodología

Los autores proponen una novedosa estrategia de evicción sin entrenamiento basada en la Sorpresa Contra-Causal. La idea central es que si un token pasado puede ser bien predicho por los tokens que le siguen, la información que transporta es redundante y puede eliminarse. Por el contrario, los tokens que son difíciles de predecir a partir del contexto futuro contienen información única y esencial, y deben ser retenidos.

El Mecanismo Contra-Causal

Para operativizar esto, el método introduce una pasada de puntuación que se ejecuta en el orden original de los tokens, pero aplica una máscara de atención contra-causal (triangular superior).

Proceso: El modelo procesa los tokens $x_1, \dots, x_t$ utilizando el orden estándar de la pasada hacia adelante (forward pass).
Enmascaramiento: En lugar de la máscara causal estándar (que atiende al pasado), se aplica una máscara contra-causal, permitiendo que la posición $i$ atienda solo a las posiciones futuras $j > i$ .
Reutilización: El método reutiliza las representaciones de clave ( $K$ ) y valor ( $V$ ) ya almacenadas en la caché KV de la pasada inicial. Genera nuevas consultas ( $Q$ ) utilizando los IDs de posición originales para calcular correctamente los desplazamientos relativos.
Puntuación: La puntuación de sorpresa $s_i$ para el token $x_i$ se define como $1 - P(x_i | x_{i+1:t})$ . En la práctica, se utiliza el logit de $x_i$ como un proxy monótono de esta probabilidad.
Evicción: Durante un ciclo de refresco de memoria, se evictan los tokens con las puntuaciones de sorpresa más bajas (más predecibles), mientras que aquellos con alta sorpresa se mantienen. El último token siempre se retiene, ya que no tiene contexto futuro.

Aproximación Rápida de Capa Única

Para abordar el costo computacional de una pasada contra-causal completa (que es $O(Ln^2)$ , donde $L$ es el número de capas y $n$ es el tamaño de la caché), los autores proponen una aproximación rápida. Esta restringe la pasada contra-causal únicamente a la última capa del transformador.

Registra las activaciones ocultas $H^{(L-1)}$ de la penúltima capa durante la pasada hacia adelante estándar.
Durante el refresco, calcula las consultas a partir de estas activaciones almacenadas y aplica la máscara contra-causal solo en la última capa.
Esto reduce la complejidad a $O(n^2)$ , logrando una aceleración de 7 a 9 veces por ciclo de refresco con una pérdida de precisión marginal.
El sistema opera en ciclos fragmentados (chunked cycles), alternando entre una fase de inferencia (procesando $h$ tokens) y una fase de refresco de memoria (evaluando y podando la caché al tamaño $J$ ).

Principales Contribuciones

Métrica de Sorpresa Contra-Causal: Un método basado en principios y sin necesidad de entrenamiento que estima la utilidad del token basándose en la predictibilidad desde el contexto futuro, evitando el sesgo de autorrefuerzo de las puntuaciones basadas en la atención.
Puntuación en la Distribución: El mecanismo de puntuación reutiliza las representaciones ya almacenadas en caché y se ejecuta en el orden original de los tokens, asegurando que la evaluación esté ligada directamente al contenido real de la caché sin requerir entrenamiento adicional o supuestos fuera de la distribución.
Aproximación Eficiente: Una aproximación de capa única que reduce drásticamente la latencia de refresco (de cientos de milisegundos a menos de 10 ms para cachés de 512 tokens) manteniendo un rendimiento competitivo.
Evaluación Exhaustiva: Benchmarks extensos a través de múltiples familias de modelos (Qwen2.5, LLaMA 3.1) y diversas tareas (razonamiento matemático, QA de contexto largo, diálogo de múltiples saltos).

Resultados Experimentales

El método fue evaluado en los benchmarks MATH500, AIME (modo de pensamiento), LongHealth, Qasper y LoCoMo.

Precisión: En MATH500, el método contra-causal superó a la ventana deslizante, al muestreo de importancia y a H2O en tres de cuatro modelos (Qwen2.5-3B, 7B, 14B). En Llama-3.1-8B, alcanzó una precisión del 48.2%, la mejor entre todas las estrategias de evicción y casi igualando la línea base de caché completa (48.8%).
Coherencia del Razonamiento: En el benchmark de AIME ("modo de pensamiento", que requiere cadenas largas de pensamiento), el método contra-causal logró la mayor precisión (36.7%) entre las estrategias de evicción, superando significativamente a H2O (33.3%) e Importancia (26.7%). También tuvo la tasa más baja de "pred=None" (fallo en completar el razonamiento), lo que indica una mejor preservación de la coherencia del razonamiento.
Tareas de Contexto Largo: En LoCoMo (diálogo de múltiples saltos), H2O falló con tamaños de caché pequeños, a menudo repitiendo la pregunta o inyectando pies de foto de imágenes irrelevantes debido a su sesgo hacia los tokens de alta atención. La evicción contra-causal retuvo con éxito hechos únicos mencionados una sola vez, evitando estos modos de fallo.
Eficiencia: La aproximación rápida de capa única redujo la latencia de refresco de 496 ms a 52.6 ms (con $n=4096$ ) y de 54 ms a 7.9 ms (con $n=512$ ). A pesar de la sobrecarga del refresco, el tiempo de generación de extremo a extremo se mantuvo comparable al de la línea base de caché completa porque la reducción del tamaño de la caché disminuyó los costos de atención durante la fase de decodificación.

Significado y Reivindicaciones

El artículo afirma que la sorpresa contra-causal proporciona una medida basada en principios del contenido de información de los tokens que es robusta a los sesgos de autorrefuerzo inherentes a las estrategias de evicción basadas en la atención. Al identificar los tokens que son redundantes dado el contexto futuro, el método gestiona eficazmente la memoria sin requerir el reentrenamiento del modelo o redes auxiliares complejas.

Los autores señalan que, aunque la pasada contra-causal completa añade una sobrecarga computacional, la aproximación rápida de capa única ofrece un compromiso práctico, logrando aceleraciones significativas con una degradación de precisión mínima. El método se presenta como una solución general aplicable a cualquier modelo autorregresivo que utilice una caché KV, siendo particularmente beneficioso para tareas de generación de contexto largo donde mantener la precisión fáctica y la coherencia del razonamiento es crítico. El artículo concluye que, si bien la puntuación a nivel de token es natural, trabajos futuros podrían explorar estrategias de grano más grueso (nivel de frase o de oración) para abordar casos donde un token individual es fácilmente predecible pero la frase en su conjunto es crítica.