Resumo Técnico: Não Quebre o Cache: Uma Avaliação de Prompt Caching para Tarefas Agênticas de Longo Horizonte

Declaração do Problema

Avanços recentes em agentes de Grandes Modelos de Linguagem (LLMs) permitiram tarefas agênticas complexas de múltiplos turnos envolvendo chamadas extensas de ferramentas, como pesquisa profunda e codificação autônoma. Esses fluxos de trabalho frequentemente abrangem dezenas de chamadas de API com janelas de contexto acumulando dezenas de milhares de tokens, resultando em custos operacionais significativos e sobrecarga de latência. Embora os principais provedores de LLM (OpenAI, Anthropic, Google) ofereçam recursos de cache de prompt para reutilizar tensores de chave-valor (KV) previamente computados e reduzir a computação redundante, os benefícios específicos desses recursos para cargas de trabalho agênticas permanecem subexplorados. A literatura existente foca na gestão de memória ao nível de inferência ou auditoria de segurança, mas carece de análise quantitativa de economia de custos ou avaliações comparativas de estratégias de cache para sessões agênticas dinâmicas de múltiplos turnos.

Metodologia

Os autores conduziram uma avaliação abrangente de prompt caching em três dos principais provedores de LLM: OpenAI, Anthropic e Google. O estudo utilizou quatro modelos de ponta: GPT-5.2, GPT-4o (OpenAI), Claude Sonnet 4.5 (Anthropic) e Gemini 2.5 Pro (Google).

Configuração Experimental:

• Benchmark: A avaliação utilizou o DeepResearch Bench, um benchmark agêntico de múltiplos turnos onde agentes executam autonomamente chamadas de ferramentas de busca web do mundo real para responder a perguntas de pesquisa complexas de nível de doutorado.
• Escala: O estudo abrangeu mais de 500 sessões agênticas com prompts de sistema de 10.000 tokens. Cada modelo foi testado com 40 sessões independentes por condição de cache.
• Estratégias de Cache: Os autores implementaram e compararam quatro condições distintas para controlar precisamente os limites do cache usando identificadores únicos (UUIDs):
  1. Sem Cache (Baseline): Um UUID é preposto ao prompt de sistema para forçar a recomputação de todos os tokens, simulando um cenário com conteúdo dinâmico (ex: timestamps) que quebra o cache.
  2. Cache de Contexto Total (Full Context Caching): Nenhum UUID é adicionado, permitindo que o mecanismo de cache automático do provedor opere em todo o histórico da conversa, incluindo resultados de ferramentas dinâmicos.
  3. Cache Apenas do Prompt de Sistema (System Prompt Only Caching): Um UUID é anexado ao final do prompt de sistema, garantindo que apenas as instruções estáticas do sistema sejam cacheadas, enquanto o histórico da conversa e os resultados das ferramentas são recomputados.
  4. Exclusão de Resultados de Ferramentas (Exclude Tool Results Caching): UUIDs são anexados após o prompt de sistema e após cada resultado de ferramenta, impedindo explicitamente que saídas de ferramentas dinâmicas entrem no cache.

Métricas:
O estudo mediu o custo da API (distinguindo entre tokens padrão, de leitura de cache e de escrita de cache) e o Tempo para o Primeiro Token (TTFT) como a principal métrica de latência. A significância estatística foi determinada através de testes t de amostras independentes ($\alpha = 0,05$).

Principais Contribuições

1. Primeira Avaliação Quantitativa: Este trabalho fornece a primeira quantificação abrangente dos benefícios do prompt caching especificamente para tarefas agênticas de longo horizonte em múltiplos provedores e modelos.
2. Comparação de Estratégias: Compara o cache de contexto total ingênuo contra métodos de controle de fronteira estratégica (apenas prompt de sistema, exclusão de resultados de ferramentas), revelando que abordagens "ingênuas" podem ser contraproducentes.
3. Discrepâncias entre Provedores: O estudo identifica diferenças significativas na forma como os provedores implementam o cache, particularmente no que diz respeito ao tratamento de conteúdo dinâmico e o impacto resultante na latência versus custo.
4. Insights de Ablação: Através de estudos de ablação em tamanhos de prompt (500–50.000 tokens) e contagens de chamadas de ferramenta (3–50), os autores demonstram benefícios universais lineares de custo e TTFT após atingirem os mínimos de tokens específicos de cada provedor.

Resultados

A avaliação gerou três descobertas primárias:

• Reduções Substanciais de Custo: O prompt caching reduziu consistentemente os custos de API entre 41% e 80% em todos os provedores e modelos. O principal motor dessas economias foi o cache do prompt de sistema grande e estável.
• Melhorias Variáveis de Latência: As melhorias de TTFT variaram de 13% a 31% dependendo do provedor e da estratégia. No entanto, os ganhos de latência não foram uniformes; para alguns modelos (ex: GPT-4o), o cache de contexto total resultou em uma regressão de latência de 8,8%.
• O Controle de Fronteira Estratégica é Crítico: O estudo descobriu que o controle de bloco de cache de prompt estratégico supera o cache de contexto total ingênuo.
  • As estratégias Apenas Prompt de Sistema e Excluir Resultados de Ferramentas forneceram os benefícios mais consistentes.
  • O Cache de Contexto Total frequentemente introduziu overhead ao cachear chamadas e resultados de ferramentas dinâmicos que não são reutilizados em sessões subsequentes, paradoxalmente aumentando a latência.
  • Para o GPT-4o, a melhor estratégia (Apenas Prompt de Sistema) melhorou o TTFT em 30,9%, enquanto o Cache de Contexto Total degradou o desempenho.

Significância e Alegações

O artigo afirma fornecer orientação matizada para a implementação de prompt caching em sistemas agênticos de produção. Os autores enfatizam que, embora os provedores abstraiam grande parte do mecanismo de cache, os praticantes devem exercer controle estratégico sobre os limites do cache.

O argumento central é que, em cargas de trabalho agênticas, onde o contexto é dinâmico e específico da sessão, o cache de todo o contexto (abordagem ingênua) pode ser prejudicial. Em vez disso, os praticantes devem garantir que apenas o conteúdo estável e reutilizável (como o prompt de sistema) seja cacheado, enquanto elementos dinâmicos (resultados de ferramentas, histórico de conversas) sejam excluídos via limites explícitos (ex: UUIDs). Esta abordagem maximiza a eficiência de custo e as melhorias de latência, evitando o overhead de cachear conteúdo que não será reutilizado. O trabalho serve como um guia prático para otimizar sistemas agênticos de nível empresarial, destacando que a "melhor" estratégia de cache é específica de cada provedor e dependente do objetivo de otimização (custo vs. latência).