Resumen Técnico: Leyline: Directivas de Caché KV para la Inferencia Agéntica

1. Planteamiento del Problema

Los sistemas modernos de servicio de Modelos de Lenguaje de Gran Escala (LLM) han evolucionado en torno a un supuesto de carga de trabajo específico: los prompts llegan una vez y el caché KV crece de forma monótona (solo de adición). Este supuesto sustenta optimizaciones como el almacenamiento en caché de prefijos y la evacuación de solo avance hacia adelante. Sin embargo, los LLMs Agénticos (Yao et al., 2023; Yang et al., 2024) rompen esta monotonicidad mediante la edición impulsada por políticas. Los agentes modifican frecuentemente el historial de la conversación mediante reintentos de llamadas a herramientas fallidas, el descarte de salidas obsoletas o cambios de trayectoria.

Este comportamiento crea dos problemas distintos de gestión de caché:

1. Reutilización Invariante de la Posición: El contenido idéntico se desplaza a nuevas posiciones absolutas entre turnos (por ejemplo, debido a la inserción de salidas de herramientas). El almacenamiento en caché de prefijos exactos falla al intentar reutilizar estos fragmentos porque sus posiciones han cambiado, aunque los datos de la Clave-Valor (KV) subyacentes sigan siendo válidos. Trabajos recientes (Ma et al., 2026) abordan esto mediante el emparejamiento basado en contenido.
2. Mutación Impulsada por la Política (El Foco de este Trabajo): Un agente o política puede necesitar eliminar o reemplazar activamente un intervalo de contenido en caché (por ejemplo, truncar salidas de herramientas antiguas para liberar memoria) y continuar la generación sin tener que realizar un nuevo pre-llenado (re-prefill) de todo el contexto subsecuente.
   • Estado Actual: Los sistemas de producción (por ejemplo, Anthropic, 2025) gestionan esto editando la lista de mensajes y activando un re-prefill completo, lo que incurre en el costo total de recomputar el prefijo que la edición pretendía ahorrar.
   • Limitaciones del Kernel: Los métodos de evacuación existentes a nivel de kernel (Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024) toman decisiones autónomas y no pueden aceptar directivas explícitas de una política externa para realizar ediciones específicas in-place.

No existe una primitiva existente que permita a una política dirigir al sistema de servicio para realizar un empalme (splice) activo de la caché KV preservando la corrección de las matemáticas de atención descendente sin un re-prefill.

2. Metodología: La Primitiva Leyline

Los autores introducen Leyline, una primitiva del lado del servicio diseñada para cerrar la brecha entre la intención de la política y la ejecución del kernel.

2.1 La Abstracción de la Directiva

Leyline desacopla el qué editar del cómo editarlo mediante una cupleta directiva declarativa:
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$: El rango de índices de tokens del intervalo a ser reemplazado.
• $R$: La secuencia de tokens de reemplazo (a menudo un breve marcador, ej., [evicted: 3 older tool turns]).
• $m$: El modo semántico, elegido entre:
  • AMORTIZE (Amortizar): El modo por defecto. El sistema realiza un empalme in-place. El reemplazo se inserta y las posiciones descendentes se re-indexan. Crucialmente, los valores KV subyacentes ($K_{nope}$ y $V$) para los tokens descendentes se preservan, manteniendo la atención del modelo hacia el contenido original que fue evacuado, en lugar del nuevo marcador.
  • FORGET (Olvidar): El sistema dirige la edición a un re-prefill estándar con recorte de prefijo. Esto se utiliza cuando se requiere un olvido real de contenido (ej., redacción), asegurando que el modelo no retenga la influencia del contenido evocado.

2.2 El Mecanismo: $\delta$-Rotación

La innovación técnica central que permite el modo AMORTIZE es una corrección de forma cerrada para los desplazamientos de codificación de posición, específicamente para arquitecturas de Atención Latente Multi-Cabeza (MLA) (ej., DeepSeek-V2).

• Perspectiva Estructural: En MLA, el tensor de Clave se divide en $K_{nope}$ (independiente de la posición) y $K_{pe}$ (dependiente de la posición, rotado por RoPE).
• La Operación: Cuando un intervalo de longitud $|S|$ es reemplazado por un intervalo de longitud $|R|$, todos los tokens descendentes se desplazan por $\Delta = |R| - |S|$.
• La Corrección: En lugar de re-computar la atención para los tokens descendentes, Leyline aplica una $\delta$-rotación a los valores $K_{pe}$ de todos los slots descendentes:
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  Debido a la clausura de rotación unitaria de RoPE ($R(a)R(b) = R(a+b)$), aplicar $R(\Delta)$ al $R(i)$ existente es algebraicamente equivalente a haber computado $R(i+\Delta)$ desde cero.
• Resultado: El sistema actualiza la codificación de posición en una única multiplicación de matrices por slot, preservando los tensores $K_{nope}$ y $V$. Esto permite que el modelo continúe la generación con las matemáticas de atención del contexto completo original, a pesar de que la caché física haya sido empalmada.

2.3 Integración en el Stack de Servicio

Leyline se integra en el stack de servicio (específicamente demostrado con SGLang) mediante tres pasos:

1. Coincidencia de Radix (Radix Match): El prefijo inalterado ($[0, s_{start})$) se busca contra la caché de radix como de costumbre.
2. Pre-llenado (Prefill): Los tokens de reemplazo $R$ se pre-llenan en nuevos slots.
3. Rotación: El kernel aplica la $\delta$-rotación a la banda $K_{pe}$ de todos los slots descendentes y los re-indexa.

La interfaz es agnóstica a la señal: cualquier política que pueda emitir una tuple de reemplazo de intervalo (ej., una regla de truncamiento, un detector de llamadas a herramientas obsoletas) puede dirigir la caché sin que el kernel inspeccione la razón.

3. Contribuciones Clave

1. Distinción de Problemas: El artículo distingue formalmente entre reutilización (desplazamientos de posición de contenido idéntico) y mutación (edición activa impulsada por la política), identificando la mutación como el subproblema abierto en la gestión de caché agéntica.
2. Abstracción de Directiva: Una interfaz de cupleta que desacopla la política (qué editar) del mecanismo (cómo empalmar), permitiendo la edición explícita e in-place de la caché sin re-prefill.
3. Canal de Edición Semántica: Una nueva frontera de interfaz para los stacks de servicio post-agénticos, situada por encima del almacenamiento a nivel de bloque para descomponer las ediciones de los agentes en operaciones a nivel de bloque mientras se preserva la corrección de la codificación de posición.
4. Validación de Dos Vertientes:
   • Vertiente de Mecanismo: Demuestra que el kernel de empalme preserva las tasas de acierto de la caché de replay y reduce la latencia al evitar el costo del re-prefill.
   • Vertiente de Política: Demuestra que una política de truncamiento simple canalizada a través de esta interfaz mejora las tasas de resolución de agentes al reducir el ruido del contexto.

4. Resultados

4.1 Rendimiento del Mecanismo (Microbenchmark de SGLang)

• Tasa de Acierto de Caché: El brazo de empalme elevó la tasa de acierto de la caché de replay en +11.2 puntos porcentuales (pp) sobre una línea base de radix estándar a través de concurrencias $C \in \{1, 4, 8, 16\}$.
• Latencia: La latencia de extremo a extremo se redujo hasta en 241 ms (en $C=8$) al ahorrar el costo del re-prefill en el camino crítico.
• Corrección: La ruta de empalme mantuvo un acuerdo del 100% en el argmax del primer token con la ruta de prefijo cálido (contexto completo), confirmando que la $\delta$-rotación preserva las matemáticas de atención del contexto original.

4.2 Rendimiento de la Política (Debug-Gym)

• Tarea: 8 tareas debug-gym mini_nightmare usando el modelo JoyAI-LLM Flash.
• Política: Una regla de truncamiento de 10 líneas que descarta salidas de herramientas más antiguas que $n=2$ turnos.
• Resultado: La política de truncamiento canalizada a través de Leyline mejoró la tasa de resolución agéntica del 31.2% (línea base, sin truncamiento) al 45.5% (+14.3 pp).
• Análisis: La ganancia fue impulsada por tareas con trayectorias largas (ej., shopping_cart, sum_tree). Al descartar los turnos de herramientas obsoletos, el modelo pudo atender más eficazmente a los pocos turnos que realmente importaban. Sin Leyline, ejercer esta política habría forzado un re-prefill completo en cada truncación, anulando las ganancias de eficiencia.

4.3 Verificación de Corrección

• Microbenchmark de Prompt Único: Se construyeron escenarios donde las rutas de contexto completo y de re-prefill deben discrepar. Leyline coincidió consistentemente con la predicción de contexto completo (rastreando la influencia del fragmento original) en lugar de la predicción de re-prefill (que perdió la influencia del fragmento).
• Trans-Arquitectura: Validado en cuatro modelos MLA (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B).
• Estabilidad Numérica: La $\delta$-rotación introduce un pequeño desvío (limitado a $\sim 4.7 \times 10^{-3}$ en error relativo L2 en bf16), que se acumula de forma sublineal. Los autores señalan que ejecutar la rotación en fp32 (mientras se almacena la KV en bf16) mitiga este desvío efectivamente.

5. Significado y Reivindicaciones

El artículo afirma que Leyline proporciona la interfaz faltante para la edición de caché impulsada por políticas en sistemas agénticos.

• Cambio en la Interfaz: Mueve la frontera de la interfaz del stack de servicio. Los sistemas pre-agénticos solo exponían el prompt; los sistemas post-agénticos requieren un canal de edición de caché. Leyline define este canal de forma concreta.
• Desacoplamiento: Permite que las políticas declaren su intención (ej., "olvidar este intervalo" o "amortizar esta edición") sin que la política necesite entender la mecánica subycente del kernel (RoPE, MLA, árboles radix).
• Memoria Programable: Los autores argumentan que esto transforma la gestión de la caché KV de un juego de adivinación reactivo del lado del sistema (evacuación) a un problema de programación cooperativa donde el agente declara el destino del contexto y la capa de almacenamiento lo ejecuta.
• Alcance: El artículo valida el verbo empalmar (splice). Reconoce que el kernel de rotación es actualmente específico para MLA, pero señala que la abstracción de la directiva es agnóstica a la arquitectura y que las extensiones a GQA/MHA son factibles mediante pasadas de recomputación de frontera.

El artículo concluye que, si bien el mecanismo (empalme) permite la clase de política sin costos de re-prefill, la clase de política misma es la que entrega la victoria a nivel de despliegue (mayores tasas de resolución). El vocabulario de la interfaz de directiva (incluyendo futuros verbos como PIN, DECAY, SCRATCH) representa la agenda para la futura gestión de memoria agéntica.