Resumen Técnico: IntentKV

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) modernos ejecutan cada vez más flujos de trabajo de múltiples turnos que involucran navegación, investigación profunda y uso de herramientas. En estos escenarios, una consulta inicial corta del usuario se expande en una trayectoria larga de documentos recuperados, salidas de herramientas, decisiones intermedias y argumentos generados. Esto crea un perfil de servicio asimétrico donde el estado del agente crece a decenas de miles de tokens, mientras que la consulta original permanece corta. En consecuencia, la capacidad de la memoria Key-Value (KV) y el ancho de banda de lectura de KV se convierten en los cuellos de botella dominantes, por encima del cómputo de parámetros, para las sesiones de agentes de largo horizonte.

Los métodos existentes de poda de caché KV (por ejemplo, StreamingLLM, SnapKV, H2O) están diseñados principalmente para la compresión de un solo prompt. Cuando se aplican a agentes de múltiples turnos, enfrentan dos modos críticos de falla:

1. Señales de Retención Obsoletas: La importancia de los tokens cambia a través de los turnos. La evidencia útil para un turno posterior (por ejemplo, un resultado de búsqueda específico) puede ser descartada por un evaluador entrenado solo en el prompt inicial, ya que la "importancia" de los tokens no es estática sino que evoluciona con las nuevas intenciones.
2. Pérdida de Identidad del Prefijo: La poda estándar a menudo compacta la caché mediante la reubicación de las filas KV supervivientes en ranuras contiguas. Esto cambia las posiciones lógicas y las fases de RoPE de los tokens, invalidando la identidad del prefijo requerida por sistemas como SGLang y vLLM para reutilizar estados en caché mediante árboles radix a través de los turnos.

Metodología: IntentKV

IntentKV aborda estos problemas desacoplando la política de retención (qué tokens mantener) de la política de disposición (cómo se representa la caché). El método mantiene el LLM base congelado e introduce un mecanismo de poda consciente de la sesión y aprendido.

1. Retención Consciente de la Intención entre Turnos

En lugar de puntuar los tokens contra un solo prompt, IntentKV mantiene una QueryMemory ($M_t$) que agrega señales similares a consultas a lo largo de toda la sesión.

• Actualización de QueryMemory: $M_t$ se actualiza mediante una recurrencia geométrica: $M_t = e^{-\lambda} M_{t-1} + \text{Enc}(q_t)$, donde $\text{Enc}(q_t)$ representa el segmento de consulta accionable del turno actual. Esto permite al sistema rastrear intenciones evolutivas (por ejemplo, pasar de "buscar vuelos" a "encontrar la opción más barata").
• Puntuación por Reglas: Los tokens se puntúan basándose en su alineación de atención con la $M_t$ acumulada, reemplazando la atención de cola basada en ventanas de métodos como SnapKV.
• Residuo Aprendido: Para manejar casos donde el evaluador de reglas omite evidencia de uso futuro, se añade una cabeza de residuo con inicialización en cero. Esta cabeza utiliza atención cruzada sobre los vectores K de la consulta actual y las características por token (incluyendo la puntuación de la regla y el estado de QueryMemory) para predecir una corrección. La puntuación final es una combinación de la puntuación de la regla y el residuo aprendido.

2. Evicción que Preserva la Disposición

Para mantener la compatibilidad con el almacenamiento en caché de prefijos, IntentKV emplea una estrategia de redirección de mapa de ranuras en lugar de compactación.

• Ranura Muerta Centinela: Cuando un token es evadido, su posición en el mapa de ranuras se redirige a una ranura muerta centinela preasignada. Los valores K/V para esta ranura se establecen en constantes específicas (por ejemplo, $K=-10^4$, $V=0$) que efectivamente anulan su contribución de atención sin alterar la disposición física de los tokens supervivientes.
• Identidad Preservada: Las filas K/V supervivientes, sus fases de RoPE y sus identidades lógicas de ranura permanecen sin cambios. Esto permite que el árbol radix continúe coincidiendo con los prefijos a través de los turnos, permitiendo la reutilización eficiente de los estados en caché incluso después de la poda.

Contribuciones Clave

1. Formulación de Retención de Multi-Consulta: El artículo formula la poda de KV de agentes como un problema de retención de multi-consulta, instanciado con QueryMemory, un estado por sesión que agrega consultas, llamadas a herramientas e intenciones de búsqueda a través de los turnos.
2. Podador de Residuo con Modelo Congelado: Un podador de residuo aprendido que mantiene la heurística consciente de la sesión como la señal primaria y añade una corrección fundamentada en acciones futuras, todo ello sin actualizar los pesos del modelo base.
3. Receta de Evicción Componible: Una estrategia de evicción para cachés KV paginados (SGLang/vLLM) que redirige las posiciones descartadas a una ranza centinela. Esto preserva la reutilización de prefijos radix, logrando una tasa de acierto de prefijo del 20.7% con un presupuesto de 8k, donde los baselines de compactación caen al 0–3%.
4. Ganancias de Rendimiento: En el benchmark BrowseComp-Plus (BCP), IntentKV iguala al baseline de caché completa con una pérdida mínima de precisión mientras reduce significativamente el uso de recursos.

Resultados Experimentales

El método fue evaluado en Qwen3-8B y Qwen2.5-14B utilizando el benchmark BrowseComp-Plus (830 consultas de investigación profunda).

• Precisión: Con un presupuesto de KV de 8k, IntentKV-Phase-2 logra una Precisión Real de 14.10 en Qwen3-8B (superando al más fuerte heurístico, StreamingLLM, por 2.29 puntos) y 18.55 en Qwen2.5-14B (superando a StreamingLLM por 10.36 puntos). A un presupuesto de 16k, iguala el techo de caché completa con un margen de 0.96 puntos en Qwen3-8B.
• Eficiencia: IntentKV reduce los tokens de solicitud pico en el peor de los casos en un 77.8%–81.7% y las lecturas de KV bruto en el peor de los casos en un 36.9%–92.6% en comparación con el techo sin comprimir en las 100 consultas más exigentes.
• Sobrecarga del Sistema: Logra hasta una reducción del 43% en la latencia de tiempo de ejecución (wall-clock) y una reducción del 59% en las lecturas de KV bruto en comparación con los baselines de compactación, debido principalmente a la preservación de la reutilización de prefijos.
• Ablación: El componente de memoria entre turnos se identifica como la señal dominante; eliminarlo causa una caída significativa en la precisión. El residuo aprendido proporciona ganancias marginales en presupuestos ajustados, pero mejora el rendimiento cuando la capacidad lo permite.

Significado y Reclamaciones

El artículo afirma que IntentKV resuelve con éxito la tensión entre la compresión de KV y el servicio de agentes de múltiples turnos al separar la lógica de retención de la disposición de la caché. Al mantener una memoria de intención a nivel de sesión y utilizar una estrategia de evicción que no compacta, permite que los agentes operen bajo presupuestos de memoria estrictos sin sacrificar la capacidad de reutilizar prefijos en caché.

Los autores señalan que su evaluación se limita a modelos Qwen porque otros backbones de código abierto (por ejemplo, Llama-3.1, Mistral) no mostraron un comportamiento de llamada a herramientas autónomo y fiable en el benchmark BCP bajo su entorno de servicio, lo que impedía una comparación justa de los efectos de compresión. El método está diseñado para ser komponible con stacks de servicio existentes (SGLang, vLLM) y futuros evaluadores locales de prompts, aunque la selección dinámica de presupuesto por consulta sigue siendo una dirección para trabajos futuros.