Minimal-Intervention KV Retention: A Design-Space Study and a Diversity-Penalty Survivor

Resumen Técnico: Retención de KV con Intervención Mínima

Enunciado del Problema
El artículo aborda el desafío de la compresión de la caché KV en la inferencia de modelos de lenguaje con contextos largos, específicamente bajo "presupuestos reducidos" ($b \in \{64, 128\}$) para el razonamiento matemático de largo formato. En este régimen, el costo de memoria de los tensores de clave y valor almacenados en caché crece monótonamente con la longitud de generación. Si bien la compresión intercambia una pequeña cantidad de precisión por ahorro de memoria, los métodos existentes a menudo degradan significativamente el rendimiento del razonamiento cuando los presupuestos son ajustos. Los autores investigan qué eje de intervención dentro del pipeline de retención de KV mejora realmente la precisión cuando la memoria se iguala estrictamente, señalando que los mecanismos publicados suelen agruparse estrechamente en rendimiento, lo que dificulta identificar las opciones de diseño más efectivas.

Metodología
El estudio emplea un protocolo de evaluación riguroso y multifase diseñado para eliminar fuentes comunes de falsos positivos en la investigación de caché KV:

1. Evaluación de Caché con Media Igualada: A diferencia de los protocolos estándar que igualan la memoria solo al final de la etapa de prellenado, este estudio instrumenta la longitud media de la caché a lo largo de toda la generación. Esto asegura que los métodos no superen silenciosamente su presupuesto durante la decodificación.
2. Carga de Trabajo y Métricas: La evaluación se realiza en la referencia MATH-500 utilizando dos modelos de razonamiento destilados (variantes de DeepSeek-R1-Distill de Qwen-7B y Llama-8B). La precisión se califica utilizando sympy para normalizar los formatos de respuesta, eliminando el ruido de la coincidencia exacta de cadenas (por ejemplo, diferencias de formato) y aislando las fallas de razonamiento de los colapsos de extracción.
3. Protocolo Pre-registrado: Para evitar el sobreajuste y la manipulación de datos ($p$-hacking), los autores utilizan una partición congelada y agrupada por MD5 del conjunto de datos. Una partición de desarrollo ($n=201$) se utiliza para el ajuste de hiperparámetros, y una partición de confirmación retenida y disjunta ($n=299$) se utiliza para la validación final. La significancia estadística se determina mediante bootstrapping de conglomerados con corrección de Bonferroni en las cuatro celdas (modelo, presupuesto).
4. Estudio del Espacio de Diseño: Los autores primero catalogan y prueban siete mecanismos en cinco familias de intervención: Estado (representación de la caché), Enrutamiento (visibilidad de cabezas/capas), Cadencia (momento de compresión), Decodificación (comportamiento de generación) y Puntuación (selección de tokens).

Contribuciones Clave

1. Resultados Negativos (El Estudio del Espacio de Diseño):
   El artículo rechaza sistemáticamente siete mecanismos estructurales y de puntuación. Todas las intervenciones probadas en las familias Estado, Enrutamiento, Cadencia y Decodificación fallaron en superar la línea base bajo condiciones de memoria igualada. El estudio identifica seis modos de fallo recurrentes, incluyendo el "rendimiento inferior de la caché isométrica" (donde los métodos fallan cuando se iguala la media de la caché en lugar de solo el final del prellenado), la "evaporación n" (las ganancias de rendimiento se reducen a medida que el tamaño de la muestra aumenta de 50 a 200) y la "deriva de proxy a tiempo de ejecución" (las métricas fallan al predecir la precisión real de la tarea).

2. El Mecanismo $\alpha$:
   El único superviviente es $\alpha$, una modificación mínima al puntuador de retención TriAttention. En lugar de la selección estándar argmax-top-k, $\alpha$ emplea un selector inspirado en la ubicación de instalaciones, de tipo codicioso, bajo una penalización de redundancia en el espacio V.

   • Mecanismo: Calcula una "firma V" para cada token promediando y normalizando los tensores de valor a través de todas las capas y cabezas.
   • Selección: Al seleccionar el siguiente token para retener, el algoritmo maximiza la puntuación base menos una penalización proporcional a la similitud del coseno entre la firma V del candidato y el conjunto de tokens ya seleccionados.
   • Control: Un único peso $\lambda$ controla la fuerza de la penalización. En $\lambda=0$, el mecanismo se reduce bit a bit a la línea base top-k estándar.

3. Protocolo de Evaluación:
   El artículo establece un estándar de evidencia de alto umbral para la investigación de caché KV, enfatizando la evaluación de caché con media igualada, la calificación basada en sympy, tamaños de muestra grandes ($n \ge 200$) y particiones de desarrollo/confirmación pre-registradas para garantizar la robustez frente al ruido y el sobreajuste.

Resultados

• Fase 1 (Desarrollo): En la partición de desarrollo, se seleccionó $\lambda=0.5$ como el hiperparámetro óptimo basado en el aumento medio de precisión a través de modelos y presupuestos.
• Fase 2 (Confirmación): En la partición retenida, $\alpha$ (con $\lambda=0.5$) superó el umbral de significancia corregido por Bonferroni en dos de las cuatro celdas (modelo, presupuesto):
  • Qwen-7B en $b=128$: +4.79 pp de ganancia de precisión ($p=0.0024$).
  • Llama-8B en $b=64$: +2.23 pp de ganancia de precisión ($p=0.0054$).
  • Las otras dos celdas (Qwen-7B $b=64$ y Llama-8B $b=128$) mostraron estimaciones puntuales positivas o nulas, pero no alcanzaron significancia. Ninguna celda mostró un efecto significativamente negativo.
• Comparación: Una comparación directa posterior a la confirmación contra una línea base de atención con ventana estilo SnapKV mostró que $\alpha$ mantuvo su ventaja, con estimaciones puntuales positivas en todas las celdas.

Significado y Afirmaciones
La afirmación principal del artículo es una asimetría en el espacio de diseño: en el régimen de presupuestos reducidos y razonamiento de largo formato, una intervención mínima en la función de puntuación ($\alpha$) superó a rediseños estructurales más pesados.

• Minimalismo: El mecanismo superviviente modifica únicamente el paso de selección de tokens dentro del puntuador existente, dejando los tensores K/V, el enrutamiento, la cadencia del presupuesto y el comportamiento de decodificación sin cambios.
• Rigor Metodológico: Los autores argumentan que la "asimetría" (la intervención mínima ganando sobre los cambios estructurales) solo fue visible debido a su estricto protocolo de evaluación. Bajo protocolos más laxos (por ejemplo, igualación al final del prellenado, $n=50$), los siete mecanismos rechazados podrían haber parecido viables.
• Limitaciones del Alcance: Los autores declaran explícitamente que estos resultados son específicos del razonamiento matemático de largo formato con modelos destilados de 7–8 mil millones de parámetros. No afirman transferibilidad a otras cargas de trabajo (por ejemplo, generación de código, LongBench), modelos más grandes o modelos no de razonamiento sin reevaluación. La contribución se enmarca como una lección del espacio de diseño y un estándar de evaluación robusto, en lugar de una solución universal para toda compresión de caché KV.