Resumo Técnico: CacheTTL

Declaração do Problema

Os motores de inferência de Modelos de Linguagem de Grande Escala (LLM) atualmente dependem de políticas de expulsão "no fim da volta" para o gerenciamento de cache de Chave-Valor (KV). Nesses sistemas, assim que uma solicitação termina a decodificação, seu cache KV é expulso da memória GPU para maximizar a utilização para novas solicitações de entrada. Embora eficaz para chatbots padrão de múltiplas voltas, essa política falha para cargas de trabalho agênticas (por exemplo, agentes de engenharia de software, agentes que utilizam ferramentas) que seguem o paradigma ReAct.

Em fluxos de trabalho agênticos, os passos de inferência são intercalados com chamadas de ferramentas externas. Essas chamadas de ferramentas introduzem pausas que são frequentemente mais curtas que a velocidade de digitação humana, mas longas o suficiente para acionar a expulsão do cache KV em motores padrão. Quando o agente retorna de uma chamada de ferramenta para iniciar o próximo passo de inferência, o sistema deve:

1. Recalcular o prefixo (pré-preenchimento), incorrendo em latência significativa.
2. Recarregar o cache KV da memória da CPU (se o descarregamento estiver habilitado), o que introduz atrasos de fila por volta. Mesmo que a recarga seja rápida, a solicitação deve aguardar na fila até que a memória GPU seja liberada por outras solicitações ativas.

As soluções existentes falham em abordar isso de forma holística:

• InferCept considera os custos de recarga, mas ignora o atraso de fila por volta acumulativo e carece de robustez contra durações variáveis de ferramentas.
• Autellix e Pie focam em fluxos de trabalho estáticos ou carecem de políticas específicas de retenção para chamadas de ferramentas dinâmicas.
• Estratégias de retenção estática correm o risco de bloquear a memória GPU se as chamadas de ferramentas levarem mais tempo do que o esperado.

O desafio central é reter caches KV por tempo suficiente para evitar recálculos e atrasos de fila sem monopolizar a memória GPU durante tempos de execução de ferramentas imprevisíveis.

Metodologia: CacheTTL

Os autores propõem o CacheTTL, um sistema de serviço que introduz um mecanismo de Tempo de Vida (TTL) para retenção de cache KV. Em vez de expulsão imediata, o CacheTTL fixa seletivamente caches KV na memória GPU por uma duração calculada.

1. Modelo de Utilidade Custo-Benefício

O CacheTTL determina o TTL ótimo ($\tau$) modelando a compensação entre o custo de reter o cache e o benefício de evitar a expulsão.

• Custo ($Cost(\tau, r)$): O custo de oportunidade de ocupar memória GPU, calculado como a razão entre o uso de memória da solicitação e a pegada de memória média das solicitações ativas, multiplicada pela duração do TTL ($\tau$). Isso representa a latência adicionada a outras solicitações bloqueadas pelo cache fixado.
• Benefício ($Benefit(r)$): A soma de dois custos evitados:
  1. CacheMissCost: O tempo necessário para reconstruir o cache KV (pré-preenchimento) ou recarregá-lo da CPU.
  2. OutofOrderCost: O atraso de fila por volta que ocorreria se a solicitação fosse expulsa e tivesse que aguardar na fila para que a memória GPU se tornasse disponível. Este termo é crítico e distingue o CacheTTL de trabalhos anteriores como o InferCept. Ele é escalado por um fator de memória ($\eta$), que mede como o número de passos restantes se correlaciona com o progresso atual (por exemplo, programas de comprimento fixo têm alta memória).

2. Cálculo do TTL

O sistema calcula o TTL ótimo ($\tau^*$) maximizando o benefício líquido esperado:
$$\tau^* = \arg\max_{\tau} \left( P(\tau, f) \times Benefit(r) - Cost(\tau, r) \right)$$
Onde $P(\tau, f)$ é a probabilidade de a chamada de ferramenta $f$ ser concluída dentro do tempo $\tau$, estimada usando uma Função de Distribuição Acumulada (CDF) empírica de registros históricos de chamadas de ferramentas.

• Tratamento de Início Frio: Quando dados históricos são escassos, o CacheTTL assume um TTL fixo derivado de uma suposição de distribuição exponencial ou médias globais.
• Robustez: Se uma chamada de ferramenta exceder o TTL, o cache KV é automaticamente expulso, prevenindo ocupação indefinida de memória e possíveis bloqueios.

3. Agendamento e Design do Sistema

• FCFS em Nível de Programa: O CacheTTL combina TTL com uma política de Primeiro a Chegar, Primeiro a Ser Atendido (FCFS) em nível de programa (não apenas em nível de solicitação). Isso garante que solicitações pertencentes ao mesmo programa de agente sejam priorizadas para manter a continuidade.
• Prioridade Consciente de TTL: O agendador atribui uma tupla de prioridade de múltiplas chaves:
  1. Status de preempção.
  2. Status de TTL: Solicitações com TTLs ativos (fixados) são priorizadas sobre as não fixadas.
  3. Tempo de chegada em nível de programa.
• Implementação: Construído sobre o vLLM com um Manipulador de Chamadas de Ferramenta modular. Este manipulador analisa as saídas do LLM para identificar chamadas de ferramentas, registra intervalos entre solicitações e comunica valores de TTL ao agendador. O design adiciona sobrecarga mínima (~1k linhas de Python) e é compatível com descarregamento para CPU/SSD.

Principais Contribuições

1. Identificação do Problema: O artigo identifica que as políticas existentes de expulsão de cache KV degradam o desempenho agêntico ao ignorar atrasos de fila por volta e a variabilidade das durações de chamadas de ferramentas.
2. Sistema CacheTTL: Um novo sistema de serviço que utiliza um mecanismo de TTL para reter dinamicamente caches KV. Ele equilibra os custos de pré-preenchimento/recarga contra os custos de contenção de memória.
3. Modelo de Custo Inovador: A introdução do termo OutofOrderCost, que quantifica a penalidade de atraso de fila da expulsão, e do fator de memória para adaptar-se a diferentes estruturas de carga de trabalho.
4. Robustez: O sistema lida com durações de ferramentas imprevisíveis impondo um tempo máximo de retenção, prevenindo bloqueios e pressão de memória.

Resultados Experimentais

Os autores avaliaram o CacheTTL usando Llama-3.1 (8B/70B), Gemma-3 (12B) e GLM-4.5 (355B) em cargas de trabalho SWE-Bench, BFCL e OpenHands em vários hardwares (A100, H100, B200).

• Redução de Latência: O CacheTTL reduz o tempo médio de conclusão de trabalho em 1,12x a 3,66x em comparação com as linhas de base (vLLM, Autellix, InferCept). Em testes reais de agente SWE no banco de testes interno da Empresa A, alcançou uma melhoria de até 8,18x no atraso.
• Vazão: A vazão melhorou em 1,10x a 3,22x.
• Robustez: O sistema mantém desempenho estável à medida que o número de voltas aumenta, enquanto as linhas de base degradam significativamente devido aos atrasos de fila acumulados.
• Compatibilidade: O CacheTTL supera as linhas de base mesmo quando combinado com descarregamento para CPU e SSD, demonstrando que seus benefícios de agendamento são ortogonais às técnicas de descarregamento de memória.
• Sobrecarga: A sobrecarga de agendamento é negligenciável (milissegundos de um único dígito), amplamente superada pelas economias de latência ponta a ponta.

Significado e Alegações

O artigo afirma que o CacheTTL fornece a primeira estratégia robusta e consciente de ferramentas de gerenciamento de cache KV projetada especificamente para cargas de trabalho agênticas de múltiplas voltas. Ao mudar da expulsão "no fim da volta" para uma política de retenção baseada em TTL, o sistema efetivamente preenche a lacuna entre a inferência de LLM e a execução de ferramentas externas.

Os autores enfatizam que sua abordagem é modular e pode ser integrada a motores de inferência existentes com mudanças mínimas. Eles argumentam que um gerenciamento de KV principial e consciente de ferramentas é essencial para o futuro do serviço eficiente de agentes, particularmente à medida que os fluxos de trabalho agênticos se tornam mais complexos e de múltiplas voltas. O artigo conclui tornando públicos seus rastros, código e banco de testes para fomentar pesquisas adicionais no serviço de agentes.