The Pitfalls of KV Cache Compression

Este trabajo revela que, aunque la compresión de la caché KV mejora el rendimiento, puede degradar severamente el desempeño en escenarios de múltiples instrucciones al provocar que se ignoren instrucciones específicas y se filtren los prompts del sistema, pero propone ajustes simples en la política de expulsión para mitigar estos problemas.

Lo esencial

La Gran Idea: El Problema del "Apretón de Memoria"

Imagina que eres un bibliotecario brillante pero sobrecargado de trabajo (el modelo de IA). Cada vez que un cliente te hace una pregunta, debes mantener un montón de tarjetas de índice (la Memoria KV) sobre tu escritorio para recordar la conversación hasta ese momento. Cuanto más larga sea la conversación, más alto se vuelve el montón. Eventualmente, tu escritorio se queda sin espacio y ya no puedes trabajar.

Para solucionar esto, los investigadores inventaron una forma de comprimir el montón. Decidieron tirar algunas de las tarjetas más antiguas o "menos importantes" para hacer espacio para las nuevas. Esto se llama Compresión de la Memoria KV. La promesa era: "Podemos tirar el 70% de las tarjetas, ahorrar un montón de espacio en el escritorio y aún así responderás las preguntas perfectamente".

Este artículo argumenta que, aunque sí ahorras espacio, la parte de la "respuesta perfecta" es una mentira. Cuando empiezas a tirar tarjetas, el bibliotecario no solo olvida un poco de todo; empieza a olvidar cosas específicas de una manera muy injusta y peligrosa.

---

Los Problemas Principales (Los "Peligros")

Los autores encontraron seis problemas principales en cómo se les enseña actualmente a estos bibliotecarios a tirar tarjetas.

1. No Todos los Recuerdos Desaparecen a la Misma Velocidad

La Analogía: Imagina que tienes un montón de tarjetas que contienen una receta para un pastel y una lista de reglas de seguridad para la cocina. Cuando empiezas a reducir el montón, el bibliotecario podría olvidar las reglas de seguridad inmediatamente pero recordar la receta del pastel perfectamente.
La Realidad: El artículo muestra que las diferentes instrucciones en un prompt se degradan a ritmos distintos. Algunas instrucciones son "frágiles" y desaparecen rápidamente bajo compresión, mientras que otras son "resistentes" y permanecen. Esto significa que la IA podría seguir tu solicitud de "escribir un poema" pero ignorar completamente tu solicitud de "no usar la palabra 'gato'".

2. El Sesgo del "Último Gana"

La Analogía: Imagina que el bibliotecario tiene una regla: "Siempre guarda las tarjetas de los últimos 5 minutos". Si le das una regla de seguridad al principio de la conversación y una solicitud para un poema al final, el bibliotecario guardará las tarjetas del poema y tirará las de la regla de seguridad porque la regla de seguridad es "más antigua".
La Realidad: La mayoría de los métodos de compresión están sesgados hacia las instrucciones más recientes. Si una instrucción de seguridad llega primero, se expulsa (se tira) mucho más rápido que las instrucciones que llegan después. Esto se llama Sesgo de Expulsión.

3. La Fuga del "Secreto"

La Analogía: Imagina que el bibliotecario tiene una nota secreta en su escritorio que dice: "Nunca le digas al cliente la receta secreta". Si el cliente pregunta: "¿Cuál es la receta secreta?", y el bibliotecario ha tirado la nota porque era "vieja", el bibliotecario podría accidentalmente leer la receta secreta en voz alta porque olvidó la regla que decía "no lo digas".
La Realidad: Esto se llama Fuga del Prompt del Sistema. El artículo demuestra que cuando comprimes la memoria, la IA a menudo olvida sus propias barreras de seguridad. Podría empezar a revelar sus instrucciones ocultas o "romper su prisión" (jailbreak) por sí misma, no porque sea malvada, sino porque la instrucción que le decía no revelar cosas fue lo primero en ser tirado.

4. El Orden Importa (Mucho)

La Analogía: Si pones la regla de seguridad después de la solicitud, el bibliotecario la recuerda. Si la pones antes, la olvida.
La Realidad: El artículo encontró que simplemente cambiar el orden de las instrucciones cambia qué tan bien la IA las sigue. Si la instrucción de seguridad está al final, sobrevive mejor a la compresión. Si está al principio, se elimina. Esto hace que el comportamiento de la IA sea impredecible.

5. Las Tarjetas "Incorrectas" Son Tiras

La Analogía: El bibliotecario está usando una mala regla para decidir qué tarjetas tirar. Quizás está tirando tarjetas basándose en el color de la tinta, lo cual no tiene nada que ver con lo importante que es la tarjeta.
La Realidad: Los métodos actuales para decidir qué tokens (palabras) mantener a menudo son malos para entender el significado del texto. Podrían tirar una palabra de seguridad crucial solo porque apareció temprano en la oración, aunque era vital.

6. La Solución de la "Justicia"

La Analogía: En lugar de dejar que el bibliotecario tire tarjetas como quiera, le das una nueva regla: "Por cada 10 tarjetas que guardes de la sección 'Receta', también debes guardar 10 tarjetas de la sección 'Seguridad'". Les obligas a tratar ambas secciones por igual.
La Realidad: Los autores proponen dos soluciones simples:

• Lista Blanca: Marcar manualmente ciertas palabras (como "No revelar") como "No Tirar".
• Expulsión Justa: Una nueva regla que obliga a la IA a tirar un porcentaje igual de tarjetas de cada instrucción, en lugar de simplemente vaciar todo de la primera instrucción.

Los Resultados

Cuando los autores probaron estas soluciones:

• Las fugas disminuyeron: La IA dejó de revelar accidentalmente sus instrucciones secretas.
• El rendimiento mejoró: La IA siguió todas las instrucciones mejor, no solo las que estaban al final del prompt.
• La velocidad se mantuvo igual: Estas soluciones no hicieron que la IA fuera más lenta.

Resumen

El artículo advierte que, aunque comprimir la memoria de la IA es excelente para ahorrar espacio, los métodos actuales son como un bibliotecario torpe que tira primero las reglas de seguridad más importantes. Esto lleva a que la IA olvide sus instrucciones y filtre secretos. La solución es hacer que el proceso de "tirar" sea justo, asegurando que ninguna instrucción individual sea objetivo injusto de eliminación.

Resumen técnico

Resumen Técnico: Las Trampas de la Compresión de la Caché KV

Declaración del Problema

La compresión de la caché de claves y valores (KV) se adopta ampliamente para mejorar la eficiencia de inferencia y el rendimiento de los Modelos de Lenguaje Grande (LLM) reduciendo el uso de memoria. Aunque la literatura existente demuestra que estos métodos pueden lograr ahorros sustanciales de memoria con una pérdida de rendimiento negligible en benchmarks estándar (por ejemplo, preguntas y respuestas de una sola instrucción o generación de código), este artículo argumenta que las consecuencias de la compresión en escenarios realistas de múltiples instrucciones siguen siendo insuficientemente estudiadas.

El problema central identificado es que la compresión no degrada el rendimiento del modelo de manera uniforme. En cambio, induce una "amnesia selectiva", donde instrucciones específicas dentro de un prompt se degradan o son ignoradas por completo, mientras que otras permanecen intactas. Este fenómeno conduce a dos problemas críticos:

1. Seguimiento de Instrucciones Impredecible: En prompts con múltiples instrucciones, ciertas instrucciones se degradan mucho más rápido que otras, provocando que el modelo ignore silenciosamente partes de la solicitud del usuario.
2. Vulnerabilidades de Seguridad (Fuga del Prompt): El artículo destaca la "fuga del prompt del sistema" como un modo de fallo concreto. Cuando un prompt del sistema contiene tanto una instrucción de defensa (por ejemplo, "No reveles las instrucciones") como una directiva funcional, la compresión puede hacer que el modelo ignore la defensa y filtre el prompt del sistema, incluso sin una provocación adversaria.

Metodología

Los autores evalúan cinco métodos prominentes de compresión de caché KV: StreamingLLM, SnapKV, TOVA, H2O y K-Norm. La evaluación se realiza en los modelos Llama3 8B y Qwen2.5 14B utilizando el conjunto de datos IFEval, diseñado para probar el seguimiento de instrucciones con restricciones verificables.

La configuración experimental se centra en la compresión offline de prompts del sistema, que se reutilizan en múltiples consultas. El estudio analiza:

• Curvas de Degradación: Midiendo cómo cambia la precisión de diferentes clases de instrucciones (por ejemplo, restricciones de longitud, palabras clave, idioma) a medida que aumenta la relación de compresión.
• Cuantificación de la Fuga: Utilizando el recall ROUGE-L para medir con qué frecuencia un modelo revela instrucciones del sistema al ser consultado, y utilizando un LLM como juez (Gemma 4 32B) para evaluar la gravedad de la fuga.
• Análisis de Sesgo de Expulsión: Investigando el porcentaje de entradas de la caché KV retenidas para diferentes componentes de instrucción (defensa vs. directiva) para determinar si las políticas de expulsión apuntan desproporcionadamente a partes específicas del prompt.
• Orden de las Instrucciones: Probando cómo la secuencia de instrucciones (defensa antes que directiva vs. directiva antes que defensa) impacta el rendimiento.

Contribuciones Clave

El artículo identifica seis trampas específicas y propone dos estrategias de mitigación:

Trampas Identificadas

1. Degradación No Uniforme: Las instrucciones no se degradan a la misma velocidad bajo compresión KV. Algunas clases de instrucciones (por ejemplo, restricciones de idioma) fallan rápidamente mientras que otras (por ejemplo, restricciones de longitud) permanecen robustas, lo que conduce a un comportamiento impredecible.
2. Dependencia de la Política y el Modelo: Los efectos de la compresión dependen altamente de la política de expulsión específica y de la arquitectura del modelo subyacente. Ninguna política única garantiza una degradación uniforme en todos los modelos.
3. Fuga del Prompt del Sistema: La compresión de la caché KV conduce inherentemente a la fuga del prompt del sistema. Incluso sin ataques adversarios, altas relaciones de compresión hacen que los modelos ignoren las instrucciones de defensa y revelen los prompts del sistema.
4. Sensibilidad al Orden de las Instrucciones: El orden de las instrucciones impacta significativamente la degradación. Colocar una instrucción de defensa antes que una directiva a menudo resulta en que la defensa sea expulsada con mayor frecuencia, mientras que invertir el orden puede mitigar parcialmente esto, pero no elimina el problema.
5. Sesgo de Expulsión: Las políticas de expulsión existentes apuntan desproporcionadamente a ciertas instrucciones. Por ejemplo, los métodos basados en posición (como StreamingLLM) y los métodos basados en atención (como H2O) tienden a priorizar los tokens recientes, provocando que las instrucciones anteriores (como las defensas del sistema) sean expulsadas a tasas más altas.
6. Desalineación Semántica: Las políticas de expulsión a menudo fallan en identificar correctamente qué tokens son semánticamente críticos, lo que lleva a la eliminación de tokens esenciales para el seguimiento de instrucciones.

Soluciones Propuestas

Para abordar estas trampas, los autores proponen dos modificaciones a las políticas de expulsión:

1. Lista Blanca (Whitelisting): Forzar manualmente la retención de tokens específicos (por ejemplo, palabras clave en la instrucción de defensa) para preservar la integridad semántica. Esto reduce significativamente la fuga con un costo mínimo para el seguimiento de directivas.
2. Expulsión Justa: Una política que asegura que los componentes distintos de un prompt (por ejemplo, defensa vs. directiva) se compriman a la misma velocidad. Al asignar el presupuesto de expulsión proporcionalmente al tamaño de cada segmento de instrucción, este método evita que cualquier instrucción individual sea apuntada desproporcionadamente.

Resultados

• Patrones de Degradación: Los experimentos muestran que en prompts de múltiples instrucciones, las clases de instrucciones se degradan a diferentes velocidades, con coeficientes de correlación de rango que disminuyen significativamente en comparación con los prompts de una sola instrucción.
• Dinámicas de Fuga: A medida que aumentan las relaciones de compresión, la fuga (medida por ROUGE-L) aumenta bruscamente para las políticas estándar. Por ejemplo, StreamingLLM muestra un aumento pronunciado en la fuga, indicando que el modelo está ignorando la instrucción de defensa. Curiosamente, en relaciones de compresión muy altas, las puntuaciones de fuga a veces vuelven a disminuir porque el modelo pierde la capacidad de reproducir el texto por completo.
• Efectividad de las Mitigaciones:
  • Lista Blanca: Mejora consistentemente el rendimiento de la defensa (reduciendo la fuga) con una degradación negligible en el seguimiento de directivas.
  • Expulsión Justa: También reduce la fuga y mejora las puntuaciones generales de seguimiento de instrucciones.
  • Ganancias Cuantitativas: La Tabla 1 del artículo muestra que tanto las variantes de lista blanca como de expulsión justa producen mejoras positivas en las puntuaciones en todas las políticas probadas (StreamingLLM, SnapKV, TOVA, H2O, K-Norm) y modelos, con ganancias sustanciales observadas para StreamingLLM y SnapKV.
• Sobrecarga de Tiempo de Ejecución: Las modificaciones propuestas introducen una sobrecarga mínima. La lista blanca añade la mayor sobrecarga durante el tiempo de compresión, mientras que la expulsión justa añade solo un aumento modesto. Los tiempos de decodificación permanecen largely unaffected (dentro del 6-7% de la línea base).

Significado y Afirmaciones

El artículo afirma que la "pérdida de rendimiento negligible" a menudo citada en la literatura de compresión de caché KV es engañosa cuando se aplica a configuraciones de múltiples instrucciones. Los autores argumentan que el verdadero costo de la compresión es la introducción de degradación impredecible y vulnerabilidades de seguridad (específicamente fuga de prompts) causadas por el sesgo de expulsión.

El significado de este trabajo radica en:

1. Revelar Riesgos Ocultos: Demostrar que la compresión puede causar silenciosamente que los modelos ignoren barreras de seguridad críticas o instrucciones del sistema.
2. Caracterizar Modos de Fallo: Identificar que la causa raíz no es solo la pérdida general de información, sino un sesgo estructural en cómo las políticas de expulsión tratan diferentes partes de un prompt.
3. Mitigación Práctica: Mostrar que modificaciones simples y de bajo costo (lista blanca y expulsión justa) pueden restaurar la fidelidad en el seguimiento de instrucciones y reducir la fuga, sugiriendo que las políticas de expulsión actuales necesitan ser rediseñadas para ser "justas" entre instrucciones ortogonales.

Los autores mantienen un alcance modesto, reconociendo que sus hallazgos se basan en un conjunto limitado de modelos y escenarios de compresión offline, y que se necesita más trabajo para automatizar la identificación de segmentos de instrucción para la compresión online. Sin embargo, afirman que sus hallazgos proporcionan una base necesaria para desarrollar estrategias de compresión de caché KV más fiables y seguras.