Resumen Técnico: Los modelos toman notas en el Prefill: El KV Cache puede ser editable y composable

1. Planteamiento del problema

Los agentes modernos de Modelos de Lenguaje de Gran Escala (LLM) leen frecuentemente instrucciones largas y mayoritariamente estáticas (políticas del sistema, especificaciones de herramientas, documentos recuperados) a través de múltiples turnos. Aunque el almacenamiento en caché de Clave/Valor (KV cache) permite la reutilización de las computaciones de prefill, los sistemas de producción actuales (por ejemplo, vLLM, SGLang) dependen de una coincidencia de prefijo exacta.

El problema central surge cuando un campo mutable dentro de un prefijo reutilizado cambia (por ejemplo, un ID de usuario, el estado de un pedido o una marca de tiempo). Debido a que cada token subsiguiente en el contexto atiende al token cambiado, las claves y valores de toda la región descendente se vuelven inválidos. La solución de facto —trasladar todo el contenido mutable al final del prompt— impone restricciones a la capa de aplicación, lo que impide la reutilización limpia de prompts de sub-agentes anidados o contextos ensamblados dinámicamente.

Un intento ingenuo de refrescar quirúrgicamente solo los vectores KV del campo cambiado mientras se reutiliza el resto del caché falla por completo: el modelo revierte a la decisión antigua, ignorando la edición. Este trabajo investiga por qué ocurre este fallo y propone un mecanismo para que el KV cache sea tanto editable como composable.

2. Descubrimiento central: Inferencia memoizada

El artículo establece un mecanismo causal que explica por qué el la edición de KV ingenua falla. A través de cuatro sondas causales (parcheo de localidad, concentración de sufijos, sondeo lineal y anulación de circuitos) en cuatro familias de modelos (Qwen3, Llama-3.1, Gemma-2, Mistral), los autores demuestran que:

1. Memoización en el tiempo de Prefill: Durante la fase de prefill, el modelo no solo almacena representaciones de tokens en bruto. En su lugar, computa la conclusión condicionada al campo (por ejemplo, "el estado es enviado $\to$ la acción es denegar") y escribe esta conclusión en los vectores KV de tokens agregadores descendentes específicos (como puntuación, saltos de línea o cortes de sección).
2. Lectura de decisiones: En el tiempo de decodificación, el token de decisión no vuelve a derivar la respuesta a partir del campo mismo. En su lugar, atiende hacia atrás a estas posiciones de "notas" descendentes.
3. Contribución causal: Los propios vectores KV del campo impulsan menos del 1% de la decisión final. La decisión es impulsada casi enteramente por las "notas" escritas más abajo.

Consecuentemente, refrescar solo el KV del campo (la edición "solo de campo") es ignorado porque la decisión depende de las notas obsoletas en la parte inferior. El KV cache se redefine no como un subproducto congelado, sino como un cuaderno de conclusiones memoizadas.

3. Metodología y capacidades

Basándose en el mecanismo de "cuaderno", el artículo propone dos capacidades: KV cache Editable y Composable.

A. KV Cache Editable

Para actualizar una decisión cuando un campo cambia, se debe enmendar las "notas" en lugar de solo el campo. El artículo evalúa varias estrategias:

• Edición ingenua de solo campo: Falla (recuperación $\approx$ 0) a menos que el modelo utilice Cadena de Pensamiento (CoT). Con CoT, el modelo vuelve a leer el campo, haciendo que la edición de solo campo sea suficiente (recuperación $\approx$ 1.0). Sin CoT, es ignorada.
• Recomputación selectiva (Campo + Top-K): Recomputar el campo más los $K$ tokens descendentes con mayor efecto causal en la decisión. Esto es fiable pero requiere un ajuste específico del modelo para $K$ y es menos robusto.
• El Erratum (Solo adición): La solución más robusta y económica. Añadir una línea de corrección saliente (por ejemplo, [ACTUALIZACIÓN DE ESTADO] campo $\to$ nuevo; anula cualquier valor anterior) actúa como una nueva nota autoritativa. Esto iguala el rendimiento de una recomputación completa (Oracle) sin reescribir el prompt. Se compone con los sistemas de caché de prefijo existentes porque no invalida el prefijo estático.

B. KV Cache Composable

Si las notas están localizadas y son portátiles por posición, las "habilidades" precompiladas (bloques de políticas largos o especificaciones de herramientas) pueden reutilizarse en diferentes contextos sin necesidad de un nuevo prefill.

• Mecanismo: Precomputar el KV cache de una habilidad de forma aislada. Al insertarla en un nuevo contexto, se realiza el reposicionamiento RoPE de las claves (rotándolas a las nuevas posiciones absolutas) y se realiza el empalme de los valores (que no dependen de la posición) en el contexto objetivo.
• Reparación de costuras (Seam Repair): Un pequeño número de tokens de frontera al inicio del bloque empalmado puede requerir recomputación para dar cuenta de la atención faltante del prefijo, pero esto es un costo constante.
• Complejidad: Esto reduce el Tiempo a Primer Token (TTFT) de $O(L^2)$ (prefill completo) a $O(L)$ (re-rotación + empalme).

4. Resultados clave

Rendimiento de edición

• Precisión: El método "Erratum" logra una recuperación de decisión de 1.00 (igualando la recomputación completa) en todos los modelos, mientras que las ediciones ingenuas de solo campo logran 0.00 sin CoT.
• Eficiencia: El enfoque Erratum requiere añadir solo una línea de texto, incurriendo en una computación insignificante comparada con la recomputación completa.
• Comparación con edición de pesos: A diferencia de los métodos de edición de pesos (ROME, LoRA) que son globales, lentos (segundos) y causan contaminación entre peticiones, la edición de KV es local, rápida (~100ms) y específica por petición.

Rendimiento de composición

• Fidelidad: Las habilidades trasplantadas igualan la recomputación completa con una similitud de coseno de logits de 0.90–0.999 en 12 modelos (que van desde 1.7B hasta 70B de parámetros, incluyendo variantes MoE y cuantizadas).
• Aceleración: Las aceleraciones del TTFT escalan con la longitud de la habilidad, alcanzando 13.9× a 32k tokens en un modelo de 8B.
• Generalidad: El método funciona para reglas, pasajes de RAG y llamadas a herramientas de agentes. También es válido para entradas multimodales (imágenes), donde el KV de la imagen puede empalmarse con la re-rotación de M-RoPE.

Benchmarks de sistemas (vLLM)

• Alineación de caché de prefijo: En un benchmark de vLLM en línea con carga de Poisson, el erratum de solo adición mantiene la alineación con el caché de prefijo, logrando una tasa de acierto de caché de prefijo del 98.5% (frente al 1% para ediciones dentro del prefijo).
• Latencia y Rendimiento (Throughput): El p90 del TTFT se reduce entre 53 y 398×. Las ganancias de rendimiento crecen con la carga, alcanzando 14.5× en saturación en comparación con una línea base que realiza un nuevo prefill en cada cambio.

Aplicación en Memoria de Usuario

El artículo aplica estos conceptos a la memoria de usuario (perfiles grandes y mutables).

• Ubicación: Colocar la memoria al final del prompt (después de la trayectoria) permite la edición y el trasplante de $O(L)$.
• Compromiso (Trade-off): Aunque la colocación tardía incurre en un pequeño costo de precisión debido a la falta de "pre-digestión" (integración en el tiempo de prefill), esto se compensa con las enormes ganancias de eficiencia.
• Validación: En el benchmark LoCoMo (QA de conversación larga real), trasplantar la memoria es estadísticamente equivalente a la recomputación completa en cuanto a precisión de QA.

5. Significado y Reivindicaciones

El artículo afirma proporcionar el primer relato causal de por qué falla la edición de campos de KV in-place y ofrece un marco unificado para cachés de KV programables.

• Mecanismo: Identifica que los transformers escriben conclusiones en los tokens descendentes durante el prefill, convirtiendo el caché en un registro estructurado de razonamiento intermedio en lugar de solo datos brutos.
• Programabilidad: Demuestra que los sistemas pueden leer, escribir y reorganizar este "cuaderno" sin reentrenar el modelo.
• Impacto práctico: El enfoque permite un almacenamiento en caché editable y composable que es compatible con la infraestructura de producción existente (vLLM, SGLang) y los mecanismos de atención (FlashAttention, GQA, MLA, M-RoPE).
• Visión futura: Los autores postulan que, si bien los modelos actuales explotan este mecanismo "gratuitamente", los modelos futuros podrían ser entrenados para exponer estas notas explícitamente, convirtiendo el KV cache de un registro lineal en una memoria programable para agentes.

El trabajo se valida a través de escalas (0.6B a 70B), cuantización (FP8, 4-bit), familias de arquitectura (MoE, estándar) y modalidades (texto, visión), estableciendo una base sólida para agentes de LLM eficientes y con estado.