Resumo Técnico: PEEK - Mapa de Contexto como Cache de Orientação para Agentes LLM de Longo Contexto

Declaração do Problema

Agentes de Modelos de Linguagem (LLM) operam cada vez mais sobre contextos externos longos e recorrentes, como corpora de documentos ou repositórios de código, onde os dados externos permanecem estáticos enquanto as tarefas mudam. As abordagens existentes para gerenciar esses contextos dividem-se em quatro categorias:

1. Chat/Histórico Compartilhado: Preserva a trajetória do agente, mas acumula contexto ruidoso e de baixa densidade.
2. Compactação de Histórico: Resume atividades passadas, mas descarta conhecimento reutilizável sobre o próprio contexto externo.
3. Acesso Passivo (RAG, Descarregamento, Compactação): Fornece acesso a material bruto ou condensado, mas carece de um artefato curado e persistente sobre a estrutura e organização do contexto.
4. Aprendizado de Prompt: Curada estratégias em nível de tarefa, mas não mantém conhecimento contextual sobre o ambiente externo recorrente.

Os autores argumentam que existe uma lacuna crítica: a falta de um artefato delimitado e gerenciado que preserve conhecimento de orientação reutilizável (por exemplo, o que o contexto contém, como está organizado, quais entidades/constantes são úteis) para cargas de trabalho repetidas no mesmo contexto.

Metodologia: Sistema PEEK

Os autores apresentam o PEEK, um sistema que mantém um Mapa de Contexto — um artefato pequeno e de tamanho constante que reside no prompt do sistema do agente. Este mapa atua como um "cache de orientação", fornecendo ao agente uma "olhada" persistente no contexto externo. O sistema é inspirado em caches de hardware e índices de banco de dados, mas opera no nível do agente, focando em significado curado em vez de compressão de estado de tokens.

O PEEK emprega uma política de cache programável consistindo de três componentes modulares que atualizam o mapa após cada execução de consulta:

1. Destilador: Analisa a trajetória de execução do agente (etapas de raciocínio, chamadas de ferramentas, observações) para extrair conhecimento contextual transferível. Ele distingue entre trabalho de orientação (entender a estrutura do contexto, que é reutilizável) e trabalho específico da tarefa (responder a uma pergunta específica, que não é). Ele produz um diagnóstico, tags para itens existentes no mapa e candidatos para novas entradas de cache.
2. Cartógrafo: Traduz a saída do Destilador em operações de edição estruturadas (ADICIONAR, REMOVER, SUBSTITUIR) para o Mapa de Contexto. Garante que as atualizações sejam locais, rastreáveis e desduplicadas, impedindo que o mapa se torne ruidoso ou duplicado.
3. Evictor: Faz cumprir um orçamento fixo de tokens ($B$) para o mapa. Utiliza uma estratégia de evicção baseada em prioridade, removendo itens de menor valor (por exemplo, esquemas de análise, padrões de erro) antes de itens de maior valor (por exemplo, constantes de domínio, compreensão do contexto) quando o orçamento é excedido.

O próprio Mapa de Contexto é estruturado em seções:

• Roteiro do Contexto: Um índice de conteúdo e localização.
• Compreensão do Contexto: Descrições de alto nível, entidades-chave e relacionamentos.
• Constantes de Domínio: Valores exatos, fórmulas e esquemas.
• Resultados Reutilizáveis: Cálculos derivados aplicáveis a múltiplas consultas.
• Esquema de Análise: Estruturas de formato e delimitadores.

O sistema suporta um parâmetro "etapas de evolução" ($m$), permitindo que o mapa seja atualizado para as primeiras $m$ consultas e depois congelado para reutilização, ou atualizado totalmente online ($m=n$).

Contribuições Principais

• Estrutura Conceitual: O artigo define o "Mapa de Contexto" como um quadrante distinto no espaço de design de gerenciamento de contexto, preenchendo a lacuna do estado de contexto externo ativo.
• Design do Sistema: O PEEK desacopla a extração de conhecimento (Destilador) da edição estrutural (Cartógrafo), uma escolha de design mostrada via ablação como crítica para evitar que fatos específicos da tarefa poluam o cache.
• Mecanismo de Eficiência: Ao manter um mapa pequeno e de tamanho constante, o PEEK evita o crescimento superlinear de tokens associado ao histórico de chat compartilhado e a alta latência da compactação de contexto completo.

Resultados Experimentais

Os autores avaliaram o PEEK em dois benchmarks: OOLONG (raciocínio e agregação de longo contexto) e CL-bench (aprendizado de contexto). O agente base utilizado foi Recursive Language Models (RLM) com GPT-5-mini.

Ganhos de Desempenho:

• Qualidade: O PEEK superou todas as linhas de base, incluindo o framework de aprendizado de prompt State-of-the-Art (SOTA) ACE.
  • No OOLONG, o PEEK melhorou as pontuações em 6,3–34,0% sobre o RLM e 7,8–15,0% sobre o ACE.
  • No CL-bench, o PEEK melhorou as taxas de resolução em 6,0–14,0% e a precisão da rubrica em 7,8–12,1% sobre o RLM, e 6,0% / 9,9% sobre o ACE.
• Eficiência (Iterações): O PEEK exigiu 93–145 iterações a menos que o ACE no OOLONG, enquanto alcançava maior qualidade. Consistentemente ocupou a região de alta qualidade e baixa iteração da fronteira de Pareto.
• Custo: O PEEK incorreu em 1,7–5,8× menor custo que o ACE no OOLONG e 1,4× menor custo no CL-bench. Isso foi alcançado reduzindo o número de iterações e evitando os loops de adaptação verbosos e pesados em tokens do ACE.

Generalização:

• Independência do Modelo: Os ganhos foram consistentes ao trocar o LLM base para GPT-5.5 e o open-source Qwen3-Coder-Next-FP8.
• Independência do Agente: O PEEK melhorou o desempenho quando aplicado a um agente base diferente, OpenAI Codex, demonstrando que o mapa de contexto é um artefato generalizável.

Estudos de Ablação:

• Remover o Destilador (usando uma atualização monolítica) reduziu o desempenho em ~7,7%, confirmando a necessidade de separar o diagnóstico da edição.
• Remover o Evictor (congelando o mapa no orçamento) ainda produziu ganhos sobre o RLM base, mas a política completa adicionou uma melhoria adicional de ~10,2%, destacando o valor da manutenção ativa.
• Variar o tamanho do cache ($B$) mostrou que a presença de um mapa importa mais do que seu tamanho exato, com orçamentos pequenos (512 tokens) fornecendo melhorias significativas.

Significado e Alegações

O artigo afirma que o PEEK demonstra que um mapa de contexto ajuda agentes LLM de longo contexto a interagir com contextos externos recorrentes de forma mais precisa e eficiente. Os autores argumentam que:

1. Conhecimento de Orientação é Transferível: Diferentemente do histórico de conversas bruto, o conhecimento sobre a estrutura e organização de um corpus é reutilizável entre diferentes tarefas.
2. Gerenciamento Ativo é Superior: Um artefato pequeno, curado e mantido ativamente supera tanto a recuperação passiva (RAG) quanto o acúmulo não gerenciado (Chat Compartilhado).
3. Compromisso Custo-Qualidade: O PEEK alcança um compromisso custo-qualidade superior, situando-se na fronteira de Pareto onde outros métodos (como o ACE) ou custam significativamente mais por menor qualidade ou requerem mais iterações para resultados similares.

Os autores concluem que essa abordagem abre uma nova agenda de pesquisa para caching no lado do agente, distinta das otimizações de cache KV em nível de modelo, visando especificamente a compreensão semântica de ambientes externos persistentes. Eles observam que o trabalho atual é um primeiro passo e convocam futuros benchmarks que suportem nativamente consultas repetidas sobre o mesmo contexto longo para testar ainda mais esse paradigma.