Resumo Técnico: Agentic Plan Caching (APC)

Declaração do Problema

Aplicações de agentes baseadas em Grandes Modelos de Linguagem (LLMs), que seguem o paradigma "Planejar-Agir" (alternando entre raciocínio e execução), demonstraram capacidades significativas em fluxos de trabalho complexos, como codificação, navegação na web e análise de dados. No entanto, essas aplicações incorrem em custos e latência substanciais devido aos extensos requisitos de planejamento, muitas vezes necessitando de múltiplas consultas a modelos de raciocínio caros.

As técnicas de cache existentes são insuficientes para este domínio:

• Cache de Contexto (KV Cache): Depende de estados internos específicos do modelo que não são transferíveis entre diferentes modelos ou estágios de um pipeline de agente.
• Cache Semântico: Armazena pares de entrada-saída com base na similaridade do prompt. Isso falha para agentes porque seus outputs são frequentemente dependentes de dados ou dependentes do ambiente. Por exemplo, a mesma consulta de alto nível ("resumir este conjunto de dados") requer ações específicas diferentes dependendo do conteúdo do conjunto de dados, ou "clicar no comentário superior" requer coordenadas diferentes dependendo do estado da tela. O cache semântico convencional não consegue separar a intenção central do contexto dinâmico, levando a altas taxas de falsos positivos ou oportunidades de reutilização perdidas.

Metodologia: Agentic Plan Caching (APC)

Os autores propõem o Agentic Plan Caching (APC), um sistema de memória em tempo de teste projetado para extrair, armazenar, adaptar e reutilizar templates de planos estruturados de execuções de agentes concluídas. Ao contrário dos métodos tradicionais que fazem o cache de queries brutas ou logs de execução completos, o APC foca na etapa de Planejamento (Plan) do loop do agente.

Fluxo de Trabalho do Sistema

1. Extração de Palavras-Chave: Ao receber uma nova consulta de tarefa, um modelo de linguagem leve (ex: GPT-4o-mini) extrai uma palavra-chave ou intenção de alto nível (ex: "índice de capital de giro") que captura o alvo semântico da tarefa, ignorando entidades específicas como nomes de empresas ou datas.
2. Busca no Cache: O sistema realiza uma busca de correspondência exata desta palavra-chave contra um cache que armazena pares (palavra-chave, template de plano).
   • Hit de Cache: Se uma correspondência for encontrada, um LM de planejamento pequeno (ex: LLaMA-3.1-8B) adapta o template de plano recuperado injetando o contexto atual (ex: nome de empresa específico, ano fiscal) para gerar um plano detalhado.
   • Miss de Cache: Se nenhuma correspondência for encontrada, um LM de planejamento grande gera um novo plano do zero.
3. Execução e Adaptação: O plano gerado ou adaptado é passado para um "LM Ator" para executar a tarefa.
4. Geração de Template (Pós-Execução): Após a conclusão bem-sucedida de uma tarefa (no caso de um miss de cache), o sistema gera uma entrada reutilizável para o cache:
   • Um filtro baseado em regras remove o raciocínio verboso e detalhes irrelevantes do log de execução.
   • Um filtro de LLM leve remove elementos específicos de contexto (entidades, números) para produzir um Template de Plano generalizado.
   • A palavra-chave associada é extraída e armazenada junto ao template.

Principais Escolhas de Design

• Correspondência por Palavra-Chave vs. Baseada em Query: Os autores argumentam que a similaridade semântica baseada em query (usando embeddings) é subótima para agentes porque enfatiza demais detalhes específicos de contexto. A extração de palavras-chave focada na intenção de alto nível fornece um indicador mais confiável de planos reutilizáveis, reduzindo falsos positivos e negativos.
• Correspondência Exata vs. Difusa (Fuzzy): O sistema utiliza correspondência exata para palavras-chave para garantir baixa latência e custo. A correspondência difusa mostrou introduzir sobrecarga computacional significativa e problemas de escalabilidade sem garantia de melhoria na precisão.
• Template vs. Histórico Completo: Em vez de fazer o cache de logs de execução completos (que modelos pequenos têm dificuldade em processar devido à extensão), o APC armazena templates de plano destilados e de alta qualidade, que são mais fáceis de serem adaptados por modelos pequenos.

Principais Contribuições

1. Análise de Limitações: O artigo fornece uma análise abrangente demonstrando por que as técnicas existentes de cache de contexto e semântico falham em cenários de IA de agentes devido a dependências de modelos, saídas dependentes de dados e adaptabilidade limitada.
2. Novo Paradigma de Caching: O APC desloca o foco do cache ao nível de query (adequado para chatbots) para o cache ao nível de tarefa para agentes. Ele introduz um sistema que extrai templates de planos estruturados em tempo de teste e os adapta usando modelos leves.
3. Avaliação Empírica: O sistema é avaliado em cinco cargas de trabalho de agentes diversas (incluindo FinanceBench, Tabular Math Word Problems, AIME e GAIA) e duas arquiteturas de agentes (Minion e Open Deep Research).

Resultados

A avaliação através de diversos benchmarks produz os seguintes resultados médios:

• Redução de Custo: O APC reduz os custos de serviço de agentes em 50,31% em comparação com o baseline de precisão ótima (usando um modelo grande para todo o planejamento).
• Redução de Latência: O APC reduz a latência de serviço em 27,28%.
• Retenção de Desempenho: O sistema mantém 96,61% da precisão de aplicação ótima.
• Overhead: O overhead introduzido pela extração de palavras-chave e geração de cache é mínimo, representando apenas 1,04% do custo total em média.
• Robustez: Ao contrário do cache semântico, que sofre quedas significativas de precisão durante hits de cache devido a falsos positivos, o APC mantém uma precisão consistente, independentemente do status do cache.

Significância e Alegações

O artigo afirma que o Agentic Plan Caching oferece uma solução mais eficiente para servir agentes baseados em LLM, complementando as infraestruturas de serviço de LLM existentes. Sua significância reside em:

• Desacoplamento de Intenção e Contexto: Ao separar a intenção central da tarefa (via palavras-chave) do contexto de dados dinâmicos, o APC permite a reutilização da lógica de planejamento em tarefas semanticamente similares, mas contextualmente distintas.
• Escalabilidade de Baixo Custo: Permite o uso de modelos menores e mais baratos para a etapa de planejamento em muitos cenários sem sacrificar o desempenho dos modelos grandes, abordando a barreira de alto custo para escalar fluxos de trabalho de agentes.
• Compatibilidade: O framework foi projetado para ser compatível com arquiteturas de agentes existentes e pode ser usado conjuntamente com outras técnicas de cache (como o cache KV).

Os autores observam que, embora o sistema seja eficaz, ele enfrenta uma limitação de "cold start" onde o desempenho inicial é menor até que o cache seja populado, uma característica comum de cache em tempo de teste. Eles sugerem o pré-povoamento de caches com amostras offline como uma estratégia de mitigação para cargas de trabalho conhecidas.