Resumen Técnico: AGENTSERVESIM

Planteamiento del Problema

Los despliegues modernos de Modelos de Lenguaje de Gran Escala (LLM) están pasando de consultas de chat sin estado y de un solo turno a sistemas de agentes multi-turno. A diferencia del servicio tradicional, donde cada par de prompt-completitud es una solicitud independiente, los sistemas de agentes ejecutan programas con estado que intercalan llamadas a LLM con invocaciones de herramientas externas (por ejemplo, ejecución de código, búsqueda web). Estas invocaciones de herramientas introducen brechas de duración variable que van desde milisegundos hasta minutos.

Este cambio altera fundamentalmente los requisitos de servicio:

1. Ejecución con Estado: La latencia percibida por el usuario es el Tiempo de Completitud del Trabajo (JCT - Job Completion Time) de todo el programa, no la latencia de los turnos individuales.
2. Dependencias entre Turnos: Los turnos posteriores suelen extender la misma conversación, lo que hace que la reutilización de prefijos entre turnos sea sistemática.
3. Dinámica del KV-Cache: El estado del KV-cache debe sobrevivir a las brechas inducidas por las herramientas para evitar un re-prefilling costoso, pero retener el estado durante brechas largas desperdicia memoria escasa.
4. Complejidad de Enrutamiento: En despliegues de múltiples instancias, el enrutamiento debe preservar la afinidad de sesión para mantener la localidad del caché, en lugar de simplemente realizar un balanceo de carga.

Evaluar las políticas de programación, enrutamiento y gestión de KV-cache para estos flujos de trabajo en hardware real es prohibitivamente costoso. Cada punto de diseño requiere tiempo dedicado de aceleradores, y el espacio de configuración (tasas de llegada, escalas de modelos, jerarquías de memoria) es demasiado vasto para realizar barridos exhaustivos en el mundo real. Los simuladores existentes (por ejemplo, Vidur, APEX, LLMServingSim) se centran en flujos de trabajo sin estado y no logran capturar la identidad del programa, las brechas de herramientas o la residencia del KV entre turnos.

Metodología

Los autores presentan AGENTSERVESIM, un simulador consciente del hardware diseñado específicamente para el servicio de agentes de LLM multi-turno. El simulador trata al programa del agente como la unidad de ejecución en lugar de las llamadas individuales al LLM. Está construido sobre una arquitectura modular que comprende cinco componentes clave:

1. Orquestador de Programas: Mantiene una máquina de estados por programa que rastrea el orden de los turnos y los estados de herramientas pendientes. Asegura que el turno $t+1$ solo se libere después de que el turno $t$ y su brecha de herramienta asociada hayan transcurrido en el tiempo simulado, preservando la identidad y las dependencias del programa.
2. Simulador de Herramientas: Materializa las brechas inducidas por las herramientas. Opera en dos modos:
   • Modo de Replay: Utiliza duraciones de tiempo real capturadas de trazas reales para validación.
   • Modo Generativo: Muestrea duraciones de distribuciones ajustadas para la exploración contrafáctica.
3. Router Sensible a la Sesión: Gestiona el despliegue de múltiples instancias. Mantiene una tabla de afinidad programa-instancia para enrutar los turnos subsecuentes al mismo motor "hogar", preservando la localidad del caché de prefijo. Si el motor hogar está sobre la capacidad, calcula el costo de migración o de re-prefilling.
4. Programador de Lotes Consciente del Programa: Extiende el programador (scheduler) a colas clave basadas en la identidad del programa. Expone el estado a nivel de programa (por ejemplo, servicio alcanzado) a ganchos de política (policy hooks) intercambiables, permitiendo FCFS a nivel de programa o priorización de servicio alcanzado, manteniendo la lógica estándar de admisión y continuous-batching.
5. Modelo de Residencia de KV: Rastrea la ubicación del KV-cache a través de niveles de memoria (HBM, Host DRAM, CXL). Asigna deadlines definidos por política a los bloques de KV basados en la duración de la brecha de la herramienta y los costos de recomputación. Modela explícitamente la expulsión, el intercambio (swapping) a la memoria del host y las decisiones de retención durante las brechas de herramientas.

El simulador integra estos módulos con un motor de ejecución de grafo de operadores (basado en LLMServingSim 2.0 y ASTRA-sim) para modelar hardware heterogéneo, interconexiones y acceso a memoria de múltiples niveles.

Contribuciones Clave

1. Arquitectura de Simulación Centrada en el Programa: Un marco novedoso que abstrae el programa del agente como la unidad de ejecución, permitiendo el estudio de las dependencias de los turnos, los intervalos de inactividad inducidos por herramientas y la residencia del KV entre turnos dentro de un único marco consciente del hardware.
2. Validación Frente a Despliegues Reales: Los autores validaron AGENTSERVESIM contra ejecuciones de sistemas reales en tres plataformas de hardware (RTX 3090, H100-SXM, B200) utilizando la carga de trabajo SWE-Bench Verified. El simulador reproduce el comportamiento del sistema real con un error menor al 6% en métricas clave (JCT y rendimiento/throughput) mientras se ejecuta enteramente en CPUs de consumo.
3. Análisis del Espacio de Diseño Consciente del Hardware: El artículo utiliza el simulador para estudiar sistemáticamente la interacción del caché de prefijos, la programación, el enrutamiento y la gestión de KV. Identifica condiciones específicas bajo las cuales las políticas conscientes de los agentes proporcionan beneficios, como el impacto de las tasas de reutilización de prefijos y las distribuciones de latencia de las herramientas.

Resultados

• Precisión: A través de 80 celdas de configuración (variando hardware, tamaño de modelo y políticas), AGENTSERVESIM coincidió con el JCT del sistema real con un error relativo medio de <5%. Los errores de rendimiento fueron igualmente bajos (<2%).
• Impacto del Enrutamiento: En clústeres de múltiples instancias, el enrutamiento sensible a la sesión preservó las tasas de acierto del caché de prefijo cerca de los techos de instancia única (96.26%), mientras que el enrutamiento round-robin y de menor carga redujo las tasas de acierto entre 3.3 y 3.6 puntos porcentuales, aumentando significativamente el JCT.
• Sensibilidad de la Política: El beneficio de la programación consciente de agentes (por ejemplo, Autellix, InferCept) sobre las líneas base de nivel de solicitud (vLLM-FCFS) depende altamente de la tasa de reutilización de prefijos ($\eta$). Cuando $\eta < 0.3$, los costos de recomputación dominan y las diferencias de política son insignificantes. Cuando $\eta \ge 0.5$, elegir la política incorrecta puede resultar en un aumento multiplicativo del JCT.
• Latencia de Herramientas: A medida que la latencia de la herramienta escala, las políticas conscientes de agentes (específicamente aquellas con retención adaptativa o de TTL estático) superan significativamente a FCFS. Para trazas de herramientas bimodales, una regla de retención de umbral estático fue a menudo suficiente para capturar la mayoría de las ganancias.
• Niveles de Memoria: Añadir un segundo nivel de memoria (CPU DRAM o CXL) mitiga el colapso de rendimiento de los sistemas de solo HBM bajo alta carga. El ancho de banda de CXL proporciona un beneficio medible (hasta un ~10% de reducción en JCT) en puntos de saturación específicos, beneficiando principalmente la latencia de cola.

Significancia

El artículo afirma que AGENTSERVESIM permite una exploración controlada y repetible de las políticas de servicio de agentes sin la necesidad de un despliegue exhaustivo en aceleradores costosos. Al modelar fielmente la naturaleza con estado de la ejecución de agentes, el simulador permite a los investigadores:

• Evaluar las interacciones de políticas (programación, enrutamiento, gestión de KV) que están estrechamente acopladas y son difíciles de aislar en sistemas reales.
• Explorar configuraciones que no están disponibles o son demasiado caras para probar físicamente (por ejemplo, clústeres más grandes, niveles de memoria hipotéticos como CXL o distribuciones específicas de latencia de herramientas).
• Ir más allá de las métricas a nivel de solicitud para optimizar objetivos a nivel de programa como el Tiempo de Completitud del Trabajo.

Este trabajo establece una base para diseñar las próximas generaciones de pilas de servicio de LLM capaces de manejar las complejas cargas de trabajo con estado de los agentes modernos.