Resumen Técnico: CacheTTL

Declaración del Problema

Los motores de inferencia de Modelos de Lenguaje Grande (LLM) dependen actualmente de políticas de expulsión de "fin de turno" para la gestión de la memoria caché de pares clave-valor (KV). En estos sistemas, una vez que una solicitud finaliza la decodificación, su caché KV es expulsada de la memoria GPU para maximizar la utilización ante nuevas solicitudes entrantes. Aunque esto es efectivo para chatbots estándar de múltiples turnos, esta política falla en cargas de trabajo agénticas (por ejemplo, agentes de ingeniería de software, agentes que utilizan herramientas) que siguen el paradigma ReAct.

En los flujos de trabajo agénticos, los pasos de inferencia se entrelazan con llamadas a herramientas externas. Estas llamadas introducen pausas que a menudo son más cortas que la velocidad de escritura humana, pero lo suficientemente largas como para desencadenar la expulsión de la caché KV en motores estándar. Cuando el agente regresa de una llamada a una herramienta para iniciar el siguiente paso de inferencia, el sistema debe:

1. Recalcular el prefijo (prefill), incurriendo en una latencia significativa.
2. Recargar la caché KV desde la memoria CPU (si la descarga está habilitada), lo que introduce retrasos de colas por turno. Incluso si la recarga es rápida, la solicitud debe esperar en la cola a que la memoria GPU sea liberada por otras solicitudes activas.

Las soluciones existentes no abordan esto de manera holística:

• InferCept considera los costos de recarga pero ignora el retraso de cola acumulativo por turno y carece de robustez frente a duraciones variables de las herramientas.
• Autellix y Pie se centran en flujos de trabajo estáticos o carecen de políticas de retención específicas para llamadas a herramientas dinámicas.
• Las estrategias de retención estática corren el riesgo de bloquear la memoria GPU si las llamadas a herramientas tardan más de lo esperado.

El desafío central es retener las cachés KV el tiempo suficiente para evitar la recálculo y los retrasos de cola sin monopolizar la memoria GPU durante los tiempos de ejecución impredecibles de las herramientas.

Metodología: CacheTTL

Los autores proponen CacheTTL, un sistema de servicio que introduce un mecanismo de Tiempo de Vida (TTL) para la retención de la caché KV. En lugar de una expulsión inmediata, CacheTTL fija selectivamente las cachés KV en la memoria GPU durante una duración calculada.

1. Modelo de Utilidad Costo-Beneficio

CacheTTL determina el TTL óptimo ($\tau$) modelando la compensación entre el costo de retener la caché y el beneficio de evitar la expulsión.

• Costo ($Cost(\tau, r)$): El costo de oportunidad de ocupar memoria GPU, calculado como la relación entre el uso de memoria de la solicitud y la huella de memoria promedio de las solicitudes activas, multiplicado por la duración del TTL ($\tau$). Esto representa la latencia añadida a otras solicitudes bloqueadas por la caché fijada.
• Beneficio ($Benefit(r)$): La suma de dos costos evitados:
  1. CacheMissCost: El tiempo requerido para reconstruir la caché KV (prefill) o recargarla desde la CPU.
  2. OutofOrderCost: El retraso de cola por turno que ocurriría si la solicitud fuera expulsada y tuviera que esperar en la cola a que la memoria GPU esté disponible. Este término es crítico y distingue a CacheTTL de trabajos anteriores como InferCept. Se escala mediante un factor de memoria ($\eta$), que mide cómo el número de pasos restantes se correlaciona con el progreso actual (por ejemplo, los programas de longitud fija tienen alta memoria).

2. Cálculo del TTL

El sistema calcula el TTL óptimo ($\tau^*$) maximizando el beneficio neto esperado:
$$\tau^* = \arg\max_{\tau} \left( P(\tau, f) \times Benefit(r) - Cost(\tau, r) \right)$$
Donde $P(\tau, f)$ es la probabilidad de que la llamada a la herramienta $f$ se complete dentro del tiempo $\tau$, estimada utilizando una Función de Distribución Acumulada (CDF) empírica de registros históricos de llamadas a herramientas.

• Manejo de Arranque en Frío: Cuando los datos históricos son escasos, CacheTTL utiliza por defecto un TTL fijo derivado de una suposición de distribución exponencial o promedios globales.
• Robustez: Si una llamada a una herramienta excede el TTL, la caché KV se expulsa automáticamente, evitando la ocupación indefinida de memoria y posibles bloqueos.

3. Programación y Diseño del Sistema

• FCFS a Nivel de Programa: CacheTTL combina el TTL con una política de Primero en Entrar, Primero en Salir (FCFS) a nivel de programa (no solo a nivel de solicitud). Esto asegura que las solicitudes pertenecientes al mismo programa de agente sean priorizadas para mantener la continuidad.
• Prioridad Consciente del TTL: El programador asigna una tupla de prioridad multi-clave:
  1. Estado de preemptión.
  2. Estado TTL: Las solicitudes con TTLs activos (fijadas) tienen prioridad sobre las no fijadas.
  3. Hora de llegada a nivel de programa.
• Implementación: Construido sobre vLLM con un Manejador de Llamadas a Herramientas modular. Este manejador analiza las salidas del LLM para identificar llamadas a herramientas, registra los intervalos entre solicitudes y comunica los valores de TTL al programador. El diseño añade una sobrecarga mínima (~1k líneas de Python) y es compatible con la descarga a CPU/SSD.

Contribuciones Clave

1. Identificación del Problema: El artículo identifica que las políticas de expulsión de caché KV existentes degradan el rendimiento agéntico al ignorar los retrasos de cola por turno y la variabilidad de las duraciones de las llamadas a herramientas.
2. Sistema CacheTTL: Un sistema de servicio novedoso que utiliza un mecanismo TTL para retener dinámicamente las cachés KV. Equilibra los costos de recálculo/recarga frente a los costos de contención de memoria.
3. Modelo de Costo Novel: La introducción del término OutofOrderCost, que cuantifica la penalización por retraso de cola de la expulsión, y el factor de memoria para adaptarse a diferentes estructuras de carga de trabajo.
4. Robustez: El sistema maneja duraciones de herramientas impredecibles imponiendo un tiempo de retención máximo, previniendo bloqueos y presión de memoria.

Resultados Experimentales

Los autores evaluaron CacheTTL utilizando Llama-3.1 (8B/70B), Gemma-3 (12B) y GLM-4.5 (355B) en cargas de trabajo SWE-Bench, BFCL y OpenHands en diversos hardware (A100, H100, B200).

• Reducción de Latencia: CacheTTL reduce el tiempo promedio de finalización de trabajos en 1.12x a 3.66x en comparación con las líneas base (vLLM, Autellix, InferCept). En pruebas reales de agentes SWE en el banco de pruebas interno de la Empresa A, logró una mejora de hasta 8.18x en el retraso.
• Rendimiento: El rendimiento mejoró en 1.10x a 3.22x.
• Robustez: El sistema mantiene un rendimiento estable a medida que aumenta el número de turnos, mientras que las líneas base se degradan significativamente debido a los retrasos de cola acumulados.
• Compatibilidad: CacheTTL supera a las líneas base incluso cuando se combina con descarga a CPU y SSD, demostrando que sus beneficios de programación son ortogonales a las técnicas de descarga de memoria.
• Sobrecarga: La sobrecarga de programación es insignificante (milisegundos de un solo dígito), ampliamente superada por los ahorros de latencia de extremo a extremo.

Significado y Afirmaciones

El artículo afirma que CacheTTL proporciona la primera estrategia robusta y consciente de herramientas para la gestión de caché KV diseñada específicamente para cargas de trabajo agénticas de múltiples turnos. Al cambiar de la expulsión de "fin de turno" a una política de retención basada en TTL, el sistema cierra efectivamente la brecha entre la inferencia de LLM y la ejecución de herramientas externas.

Los autores enfatizan que su enfoque es modular y puede integrarse en motores de inferencia existentes con cambios mínimos. Argumentan que la gestión de KV basada en principios y consciente de las herramientas es esencial para el futuro del servicio eficiente de agentes, particularmente a medida que los flujos de trabajo agénticos se vuelven más complejos y de múltiples turnos. El artículo concluye poniendo en código abierto sus trazas, código y banco de pruebas para fomentar más investigación en el servicio de agentes.