Resumen Técnico: TraceLab: Caracterización de las Cargas de Trabajo de Agentes de Codificación para el Servicio de LLM

Declaración del Problema

Si bien los modelos de lenguaje extensos (LLM) agentes, particularmente los agentes de codificación como Claude Code y Codex, se están convirtiendo rápidamente en aplicaciones de gran relevancia, servirlos de manera eficiente sigue siendo un desafío significativo. Los trazos y evaluaciones existentes no logran capturar las características específicas del uso diario y real de los agentes de codificación necesarios para el análisis de sistemas de servicio.

• Trazos Existentes: Sistemas como Mooncake y Splitwise capturan interacciones reales de usuarios, pero se centran en el chat tradicional o en la completitud de un solo turno, careciendo de la estructura de largo horizonte, múltiples pasos y llamadas a herramientas propia de los agentes de codificación.
• Evaluaciones (Benchmarks) Existentes: Evaluaciones como Terminal-Bench y SWE-bench evalúan la precisión del modelo en tareas aisladas. No capturan la diversidad del uso en el mundo real, como sesiones persistentes, contexto acumulado y brechas de tiempo marcadas por el ritmo humano, que son críticas para comprender los costos de servicio y el comportamiento del sistema.

En consecuencia, existe una falta de datos para guiar la optimización de los sistemas de servicio de LLM para los patrones de carga de trabajo únicos de los agentes de codificación.

Metodología

Para abordar esta brecha, los autores recolectaron, normalizaron y analizaron un trazo a gran escala y de múltiples proveedores del uso real de agentes de codificación.

• Recolección de Datos: El conjunto de datos comprende aproximadamente 4,300 sesiones recolectadas durante ocho meses de 43 desarrolladores. Incluye alrededor de 350,000 pasos de LLM y 430,000 llamadas a herramientas.
• Fuentes: Los datos se obtuvieron de los flujos de trabajo de investigación diarios de los autores utilizando Claude Code (Anthropic) y Codex (OpenAI), abarcando más de 20 versiones de modelos.
• Pipeline de Procesamiento: Los autores construyeron un pipeline para extraer registros brutos, normalizar las estructuras de eventos y la contabilidad de tokens (descomponiendo las entradas en tokens de prefijo para el historial en caché y tokens de anexión para la nueva entrada) y anonimizar los datos reemplazando identificadores y eliminando el texto bruto, manteniendo los conteos de tokens y las marcas de tiempo.
• Alcance del Análisis: El estudio analiza métricas macroscópicas (duración de la sesión, costo, crecimiento del contexto), características de generación de LLM (longitud de entrada/salida, tiempos), comportamiento de llamada a herramientas (latencia, distribución) y eficiencia de la caché de prefijos (tasas de acierto, políticas de expulsión).

Hallazgos Clave

1. Características de Sesión y Contexto

• Bucles Autónomos: Las sesiones de codificación son mayoritariamente autónomas. Una sesión típica involucra un promedio de 8.8 llamadas de LLM y 10.8 llamadas a herramientas por solicitud. La mayoría de los pasos son iniciados por herramientas en lugar de por el usuario.
• Crecimiento del Contexto: Los contextos generalmente crecen a medida que se anexan nuevas entradas y resultados de herramientas. Sin embargo, la compactación de contexto (resumir el historial para mantenerse dentro de los límites) ocurre en aproximadamente el 9.7% de las sesiones, activada principalmente por pasos iniciados por herramientas cerca del límite de contexto.
• Estructura de Costos: A pesar de que los tokens de prefijo se cobran a aproximadamente 1/10 de la tasa de una entrada fresca, estos dominan el costo (59.5% del gasto total) porque el contexto acumulado se reproduce en cada paso. Los tokens de salida representan solo el 11.2% de los costos.
• Distribución de Tiempo: Las sesiones están fuertemente dominadas por el tiempo de "pensamiento" humano (92.3% del tiempo de reloj). Dentro de una solicitud, la ejecución de herramientas (59.8%) y la generación de LLM (41.0%) contribuyen de manera comparable al tiempo de respuesta.

2. Patrones de Generación de LLM

• Contexto Largo, Salida Corta: Un paso típico lee un contexto masivo (mediana de ~119k tokens de prefijo) pero genera una salida corta (mediana de ~214 tokens). Esto contrasta con las cargas de trabajo de razonamiento tradicionales.
• Estructura de Entrada Bimodal: Existe una división distintiva en los patrones de entrada. Los pasos con prefijos cortos (a menudo fallos de caché o solicitudes iniciales) tienen grandes tokens de anexión, mientras que los pasos con prefijos largos tienen tokens de anexión muy pequeños e incrementales.
• Atribución de Salida: Los proveedores difieren en cómo manejan las salidas previas. Claude y GPT-5.5 a menudo reenvían las salidas anteriores como nuevos tokens de anexión, mientras que GPT-5.4 a menudo las cachea como parte del prefijo.
• Velocidad de Decodificación: Las velocidades de decodificación normalizadas muestran una varianza significativa (CV > 50%). Los contextos más largos se correlacionan con una generación observada más lenta, particularmente para Codex.

3. Comportamiento de Llamada a Herramientas

• Distribución de Cola Larga: El uso de herramientas está altamente sesgado. Las 3 herramientas principales (ej. Bash, Read, Edit para Claude; exec_command, write_stdin, apply_patch para Codex) representan más del 80% de todas las llamadas.
• Varianza de Latencia: La latencia de las herramientas varía desde milisegundos hasta horas. Aunque las llamadas que duran más de 1 minuto constituyen solo ~4-5% de las llamadas totales, estas representan el 85-92% del tiempo total de llamada a herramientas.
• Sobrecarga (Overhead): Para Codex, la latencia de herramienta de extremo a extremo observada a menudo excede el tiempo de ejecución interno, con una sobrecarga residual significativa (promedio de 1.11s) atribuida a la programación, aprobación y contabilidad del tiempo de ejecución.

4. Eficiencia de la Caché de Prefijos

• Tasas de Acierto Altas pero Imperfectas: La tasa de acierto de la caché de prefijos global es alta (~95.7%), pero los fallos son costosos. La mayoría de los fallos ocurren durante los pasos iniciados por el usuario donde el tiempo de inactividad humana excede el umbral de expulsión de la caché.
• Fallos Inducidos por Humanos: Cuando las brechas de pensamiento humano superan los 5 minutos, las tasas de acierto caen significativamente; después de 1 hora, casi todos los pasos fallan la caché.
• Pre-llenado Redundante: Solo el ~19% de los tokens de anexión son "frescos" (realmente nuevos). El ~81% restante son pre-llenados redundantes de contexto que teóricamente podrían haberse cacheado. El sistema actual amplifica el pre-llenado en 5.3× en comparación con una caché ideal sin expulsión.
• Impacto en el Costo: Eliminar los fallos de caché causados por el tiempo de pensamiento humano podría reducir el pre-llenado de anexión en un 45.9% y los costos totales de la API en aproximadamente un 12.8%.

Contribuciones Clave

1. Dataset TraceLab: El lanzamiento del primer trazo a gran escala y de múltiples proveedores del uso real de agentes de codificación, que contiene ~4,300 sesiones y ~350k pasos de LLM.
2. Caracterización de la Carga de Trabajo: Un análisis exhaustivo que revela que los agentes de codificación difieren fundamentalmente de las cargas de trabajo de chat o completitud, caracterizándose por bucles autónomos largos, contextos largos con salidas cortas y latencias de herramientas de cola larga.
3. Perspectivas del Sistema: Identificación de ineficiencias específicas en los sistemas de servicio actuales, como el alto costo de las lecturas de prefijos, el impacto de las brechas humanas en la expulsión de la caché y la sobrecarga de los frecuentes cambios entre herramienta y LLM.
4. Recursos Abiertos: Lanzamiento del conjunto de datos, el pipeline de recolección de trazas y el código de análisis para facilitar la investigación posterior.

Significado y Direcciones Futuras

El artículo argumenta que comprender estos patrones de carga de trabajo específicos es un prerrequisito para optimizar los sistemas de servicio de LLM para agentes de codificación. Los hallazgos apuntan a varias direcciones de investigación concretas:

• Llamada a Herramientas: Desarrollar invocaciones de herramientas más densas o fusionadas y rutas de aprobación de menor sobrecarga para reducir la latencia de programación.
• Optimización de Pre-llenado: Implementar enrutamiento de pre-llenado consciente de la longitud de anexión y selección de kernels adaptativos para manejar la estructura de entrada bimodal.
• Gestión de Caché: Diseñar predicción de latencia de herramientas con conciencia semántica para las políticas de expulsión y explorar el almacenamiento de caché KV más barato o estrategias de pre-búsqueda para manejar las brechas de ritmo humano.
• Mecanismos de Atención: Investigar la atención dispersa para reducir los costos de decodificación asociados con los prefijos largos.

Los autores concluyen que, si bien los sistemas existentes proporcionan mecanismos para servir agentes, las características únicas de las cargas de trabajo de los agentes de codificación (contexto persistente, bucles de herramientas, retrasos humanos) requieren estrategias de optimización especializadas que este trazo pretende informar.