Resumo Técnico: TraceLab: Caracterizando Cargas de Trabalho de Agentes de Codificação para Servimento de LLM

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) agentes, particularmente agentes de codificação como o Claude Code e o Codex, estejam se tornando rapidamente aplicações de grande escala, servir esses agentes de forma eficiente continua sendo um desafio significativo. Os rastros (traces) e benchmarks públicos existentes falham em capturar as características específicas do uso cotidiano e real de agentes de codificação necessários para a análise de sistemas de servimento.

• Rastros Existentes: Sistemas como Mooncake e Splitwise capturam interações reais de usuários, mas focam em chat tradicional ou completação de turno único, carecendo da estrutura de longo horizonte, múltiplos passos e chamadas de ferramentas (tool-calling) típica dos agentes de codificação.
• Benchmarks Existentes: Benchmarks como Terminal-Bench e SWE-bench avaliam a precisão do modelo em tarefas isoladas. Eles não capturam a diversidade do uso real, como sessões persistentes, contexto acumulado e lacunas no ritmo humano entre as requisições, que são críticos para entender os custos de servimento e o comportamento do sistema.

Consequentemente, há uma falta de dados para guiar a otimização de sistemas de servimento de LLM para os padrões únicos de carga de trabalho dos agentes de codificação.

Metodologia

Para abordar essa lacuna, os autores coletaram, normalizaram e analisaram um rastro de larga escala, de múltiplos provedores, do uso real de agentes de codificação.

• Coleta de Dados: O conjunto de dados compreende aproximadamente 4.300 sessões coletadas ao longo de oito meses de 43 desenvolvedores. Inclui cerca de 350.000 passos de LLM e 430.000 chamadas de ferramentas.
• Fontes: Os dados foram obtidos a partir dos fluxos de pesquisa diários dos autores usando Claude Code (Anthropic) e Codex (OpenAI), abrangendo mais de 20 versões de modelos.
• Pipeline de Processamento: Os autores construíram um pipeline para extrair logs brutos, normalizar estruturas de eventos e contabilidade de tokens (decompondo entradas em tokens de prefixo para histórico em cache e tokens de acréscimo para nova entrada) e anonimizar os dados substituindo identificadores e removendo texto bruto, mantendo a contagem de tokens e carimbos de tempo (timestamps).
• Escopo da Análise: O estudo analisa métricas macroscópicas (duração da sessão, custo, crescimento do contexto), características de geração de LLM (comprimentos de entrada/saída, tempo), comportamento de chamada de ferramenta (latência, distribuição) e eficiência de cache de prefixo (taxas de acerto, políticas de expulsão).

Principais Descobertas

1. Características de Sessão e Contexto

• Loops Autônomos: As sessões de codificação são amplamente autônomas. Uma sessão típica envolve uma média de 8,8 chamadas de LLM e 10,8 chamadas de ferramenta por requisição. A maioria dos passos é iniciada pela ferramenta em vez de ser iniciada pelo usuário.
• Crescimento do Contexto: Os contextos geralmente crescem conforme novas entradas e resultados de ferramentas são anexados. No entanto, a compactação de contexto (resumir o histórico para permanecer dentro dos limites) ocorre em cerca de 9,7% das sessões, sendo primariamente disparada por passos iniciados por ferramentas próximos ao limite de contexto.
• Estrutura de Custos: Apesar de os tokens de prefixo serem faturados a aproximadamente 1/10ª da taxa de uma entrada nova, eles dominam o custo (59,5% do gasto total) porque o contexto acumulado é reproduzido em cada passo. Os tokens de saída representam apenas 11,2% dos custos.
• Distribuição de Tempo: As sessões são fortemente dominadas pelo tempo de "pensamento" humano (92,3% do tempo de relógio). Dentro de uma requisição, a execução da ferramenta (59,8%) e a geração do LLM (41,0%) contribuem de forma comparável para o tempo de resposta.

2. Padrões de Geração de LLM

• Contexto Longo, Saída Curta: Um passo típico lê um contexto massivo (mediana de ~119k tokens de prefixo), mas gera uma saída curta (mediana de ~214 tokens). Isso contrasta com cargas de trabalho de raciocínio tradicionais.
• Estrutura de Entrada Bimodal: Existe uma divisão distinta nos padrões de entrada. Passos com prefixos curtos (frequentemente falhas de cache ou requisições iniciais) possuem grandes tokens de acréscimo, enquanto passos com prefixos longos possuem tokens de acréscimo muito pequenos e incrementais.
• Atribuição de Saída: Os provedores diferem na forma como lidam com as saídas anteriores. Claude e GPT-5.5 frequentemente reenviam as saídas anteriores como novos tokens de acréscimo, enquanto o GPT-5.4 frequentemente as armazena em cache como parte do prefixo.
• Velocidade de Decodificação: As velocidades de decodificação normalizadas mostram variação significativa (CV > 50%). Contextos mais longos correlacionam-se com uma geração observada mais lenta, particularmente para o Codex.

3. Comportamento de Chamada de Ferramenta

• Distribuição de Cauda Pesada: O uso de ferramentas é altamente enviesado. As 3 principais ferramentas (ex: Bash, Read, Edit para Claude; exec_command, write_stdin, apply_patch para Codex) respondem por mais de 80% de todas as chamadas.
• Variância de Latência: A latência da ferramenta varia de milissegundos a horas. Embora chamadas com mais de 1 minuto constituam apenas ~4-5% do total de chamadas, elas representam 85-92% do tempo total de chamada de ferramenta.
• Sobrecarga (Overhead): Para o Codex, a latência de ferramenta observada de ponta a ponta frequentemente excede o tempo de execução interna, com um overhead residual significativo (média de 1,11s) atribuído ao agendamento, aprovação e contabilidade do tempo de execução.

4. Eficiência do Cache de Prefixo

• Taxas de Acerto Altas, mas Imperfeitas: A taxa global de acerto (hit rate) do cache de prefixo é alta (~95,7%), mas as falhas (misses) são custosas. A maioria das falhas ocorre durante passos iniciados pelo usuário, onde o tempo de ociosidade humana excede o limiar de expulsão do cache.
• Falhas Induzidas pelo Humano: Quando as lacunas de pensamento humano excedem 5 minutos, as taxas de acerto caem significativamente; após 1 hora, quase todos os passos resultam em falha de cache.
• Pré-preenchimento (Prefill) Redundante: Apenas ~19% dos tokens de acréscimo são "novos" (verdadeiramente novos). Os ~81% restantes são pré-preenchimentos redundantes de contexto que poderiam, teoricamente, ser armazenados em cache. O sistema atual amplifica o prefill em 5,3× em comparação a um cache ideal sem expulsão.
• Impacto no Custo: Eliminar as falhas de cache causadas pelo tempo de pensamento humano poderia reduzir o prefill de acréscimo em 45,9% e os custos totais de API em aproximadamente 12,8%.

Principais Contribuições

1. Dataset TraceLab: O lançamento do primeiro rastro de larga escala, de múltiplos provedores, do uso real de agentes de codificação, contendo ~4.300 sessões e ~350k passos de LLM.
2. Caracterização de Carga de Trabalho: Uma análise abrangente revelando que os agentes de codificação diferem fundamentalmente das cargas de trabalho de chat ou completação, caracterizados por loops autônomos longos, contextos longos com saídas curtas e latências de ferramenta de cauda pesada.
3. Insights de Sistema: Identificação de ineficiências específicas nos sistemas de servimento atuais, como o alto custo de leituras de prefixo, o impacto das lacunas humanas na expulsão do cache e o overhead da troca frequente entre ferramenta e LLM.
4. Recursos Abertos: Liberação do dataset, do pipeline de coleta de rastros e do código de análise para facilitar pesquisas futuras.

Significância e Direções Futuras

O artigo argumenta que entender esses padrões específicos de carga de trabalho é um pré-requisito para otimizar os sistemas de servimento de LLM para agentes de codificação. As descobertas apontam para várias direções de pesquisa concretas:

• Chamada de Ferramenta: Desenvolver invocações de ferramentas mais densas ou fundidas e caminhos de aprovação de menor overhead para reduzir a latência de agendamento.
• Otimização de Prefill: Implementar roteamento de prefill consciente do comprimento de acréscimo e seleção de kernel adaptativa para lidar com a estrutura de entrada bimodal.
• Gestão de Cache: Projetar previsão de latência de ferramenta semanticamente consciente para políticas de expulsão e explorar estratégias de armazenamento de cache KV mais baratas ou de pré-busca (prefetching) para lidar com lacunas no ritmo humano.
• Mecanismos de Atenção: Investigar atenção esparsa para reduzir os custos de decodificação associados a prefixos longos.

Os autores concluem que, embora os sistemas existentes forneçam mecanismos para servir agentes, as características únicas das cargas de trabalho de agentes de codificação (contexto persistente, loops de ferramentas, atrasos humanos) exigem estratégias de otimização especializadas, as quais este rastro visa informar.