💻 ciência da computação

Break Later or Never: Prefix-Preserving Context Compaction for Coding Agents

Este artigo aborda o conflito entre a compactação de contexto e o cache de prefixo em agentes de codificação ao introduzir o "mascaramento de observação em lote" (batched observation masking) e o "ObsDrop", uma técnica ao nível de cache KV que libera dados obsoletos de ferramenta-observação enquanto preserva o prefixo lógico de tokens, melhorando significativamente o throughput e a latência sem comprometer a qualidade da tarefa.

Autores originais: Musa Cim, Burak Topcu, Mahmut Kandemir

Publicado 2026-11-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Musa Cim, Burak Topcu, Mahmut Kandemir

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um programa de computador projetado para escrever código, corrigir erros de software ou resolver problemas complexos de engenharia. Esses "agentes de codificação" não trabalham em um único surto; eles operam em uma conversa longa e cíclica com um modelo de linguagem de grande escala. Em cada etapa, o agente pensa, emite um comando para uma ferramenta (como abrir um arquivo ou executar um teste) e, em seguida, lê o resultado. Ele então repete o processo, adicionando o novo resultado ao seu histórico. Com o tempo, esse histórico se transforma em um documento massivo contendo dezenas de milhares de palavras. Para manter o sistema funcionando, o computador deve lembrar de cada palavra dessa conversa para entender a etapa atual. Esse requisito de memória cria um fardo pesado, retardando o sistema e tornando-o caro para operar.

Para gerenciar esse acúmulo crescente de texto, engenheiros desenvolveram maneiras de encolher o histórico, um processo chamado de compactação de contexto. O método mais comum é simplesmente deletar partes antigas da conversa ou substituí-las por um resumo curto. No entanto, existe uma armadilha oculta nessa abordagem. Computadores modernos são incrivelmente eficientes em reutilizar o trabalho que já realizaram. Se uma nova solicitação começa com exatamente as mesmas palavras de uma anterior, o computador pode pular o trabalho pesado e saltar direto para a parte nova. Mas se você deletar ou reescrever o início da conversa, mesmo que ligeiramente, o computador perde sua memória do passado e deve recomeçar o cálculo pesado do zero. Os pesquisadores por trás deste estudo descobriram que o próprio ato de tentar economizar espaço editando o texto frequentemente força o computador a realizar muito mais trabalho, cancelando quaisquer economias e, às vezes, tornando o sistema mais lento e caro.

A equipe, baseada na Universidade Estadual da Pensilvânia, propôs-se a entender este conflito entre economizar espaço e economizar tempo. Eles observaram que os agentes de codificação naturalmente repetem quase todo o histórico de sua conversa em cada etapa. Como o histórico está sendo apenas adicionado, como um diário onde você apenas escreve novas entradas no final, o computador pode reutilizar seus cálculos anteriores quase perfeitamente, alcançando uma taxa de reutilização de 98 a 99 por cento. A maior parte deste custo de memória não vem dos pensamentos do agente, mas dos dados brutos que ele recebe, como o conteúdo de arquivos ou os logs de testes de software. Os pesquisadores descobriram que, quando usavam métodos padrão para deletar ou resumir esses arquivos antigos, eles quebravam a cadeia de reutilização. O computador era forçado a reler e recalcular tudo o que vinha depois da exclusão, transformando uma tarefa rápida em uma lenta e cara.

Para resolver isso, os pesquisadores primeiro testaram um ajuste simples na forma como a exclusão acontece. Em vez de deletar informações antigas após cada etapa, eles tentaram deletá-las apenas uma vez a cada poucas etapas. Essa pequena mudança, que eles chamam de "mascaramento em lote" (batched masking), permitiu que o computador mantivesse sua memória intacta por períodos mais longos. Isso reduziu a quantidade de texto que o agente precisava carregar em até metade, mantendo ainda a taxa de reutilização de memória do computador alta, entre 95 e 98 por cento. Essa abordagem reduziu o custo de execução do agente em até 18 por cento e fez com que as tarefas terminassem até 21 por cento mais rápido. Foi uma correção prática que não exigiu mudanças no software subjacente do computador, apenas uma maneira mais inteligente de agendar as exclusões.

No entanto, a equipe percebeu que mesmo essa melhoria ainda envolvia a reescrita do texto, o que inevitavelmente quebrava a cadeia de memória no momento da exclusão. Eles então desenvolveram uma solução mais avançada chamada ObsDrop. Em vez de deletar palavras do texto que o agente vê, o ObsDrop trabalha dentro da própria memória do computador. Ele mantém o texto exatamente como ele é, para que o computador ainda possa reconhecer o padrão e reutilizar seus cálculos anteriores. Mas, em segundo plano, ele libera silenciosamente as fendas de memória que contêm os dados antigos e irrelevantes, como o conteúdo de arquivos que não são mais necessários. Isso permite que o computador mantenha o histórico lógico intacto para velocidade, enquanto libera fisicamente o espaço necessário para rodar mais agentes simultaneamente.

Os pesquisadores testaram este novo sistema em servidores poderosos executando múltiplos agentes simultaneamente. Eles descobriram que, à medida que o número de agentes aumentava, os métodos padrão começavam a ter dificuldades, com o sistema desacelerando dramaticamente conforme ficava sem memória ou tinha que recalcular constantemente. Em contraste, o sistema ObsDrop manteve sua velocidade e eficiência. Sob carga pesada, ele permitiu que os servidores processassem entre 2,45 e 2,85 vezes mais trabalho do que antes e, em algumas configurações específicas, a melhoria atingiu mais de cinco vezes a velocidade original. O sistema lidou com a pressão sem perder a qualidade do trabalho produzido pelos agentes.

Este trabalho destaca uma lição crucial para o futuro da inteligência artificial: gerenciar a memória de um agente inteligente não é apenas sobre quanto texto você mantém, mas sobre como você o mantém. Ao compreender que a capacidade do computador de reutilizar o trabalho passado é frágil, os pesquisadores mostraram que o gerenciamento eficaz exige preservar a estrutura da conversa mesmo ao descartar os dados. Seu novo método, ObsDrop, oferece uma maneira de ter ambos: uma pegada de memória mais enxuta e um sistema mais rápido e responsivo, garantindo que essas poderosas ferramentas de codificação possam escalar para lidar com os problemas complexos de amanhã sem ficarem sobrecarregadas pelo seu próprio histórico.

Resumo Técnico: Quebrar Depois ou Nunca: Compactação de Contexto Preservadora de Prefixo para Agentes de Codificação

Declaração do Problema

Agentes de codificação operam invocando repetidamente Modelos de Linguagem de Grande Escala (LLMs) sobre históricos crescentes e de apenas adição (append-only), consistindo em raciocínio, chamadas de ferramentas e observações de ferramentas. Esta carga de trabalho é unicamente favorável ao cache de prefixo (prefix caching), pois cada nova requisição tipicamente reutiliza a vasta maioria do contexto anterior, permitindo que os motores de serviço ignorem a fase cara de "prefill" para tokens repetidos.

No entanto, existe um conflito crítico entre a compactação de contexto (necessária para gerenciar memória e custo conforme as trajetórias crescem) e o cache de prefixo. Os métodos tradicionais de compactação (ex: truncamento, mascaramento, sumarização) reescrevem o histórico do prompt. Como o cache de prefixo depende da correspondência exata de tokens, qualquer edição no prompt invalida o cache de Chave-Valor (KV) para aquele prefixo e todos os tokens subsequentes. Isso força o sistema a recomputar (re-prefill) todo o sufixo, anulando as economias computacionais do cache. O artigo identifica que, embora as observações de ferramentas (visualizações de arquivos, logs de testes) constituam a maior parte do custo de contexto, removê-las via edição de prompt quebra o cache de prefixo, podendo tornar um prompt mais curto mais caro de servir do que um prompt mais longo e não modificado.

Metodologia

Os autores caracterizam essa interação e propõem soluções em dois níveis: nível de prompt e nível de cache KV.

1. Caracterização e Mitigação no Nível de Prompt

Anatomia do Custo: O estudo analisa trajetórias de agentes de codificação no SWE-bench (Verified e Multilingual) usando os modelos Qwen3-Coder e Devstral-Small. Constata-se que, sem compactação, as taxas de acerto de cache de prefixo são de 98–99%. O custo é dominado pela releitura de observações de ferramentas, não pela recomputação.
Avaliação de Políticas Existentes:
- Janela Deslizante (Sliding Window): Descarta turnos antigos. Embora reduza o comprimento do prompt, desloca o ponto de início do prefixo, causando um re-prefill de 100% da janela a cada passo. Isso resulta em altos custos de serviço e baixas taxas de sucesso na tarefa.
- Mascaramento de Observação (Observation Masking): Substitui observações antigas por placeholders. Embora preserve melhor o sucesso da tarefa do que as janelas deslizantes, ainda edita o prompt a cada passo, invalidando o cache de prefixo e forçando re-prefills.
- Sumarização por LLM: Substitui o histórico por um resumo. Isso introduz overhead de decodificação (geração do resumo) e pode perder informações críticas, reduzindo o sucesso da tarefa em benchmarks multilíngues.
Mascaramento de Observação em Lote (Batched Observation Masking): Os autores propõem uma mitigação simples onde o mascaramento de observação é aplicado apenas uma vez a cada $k'$ turnos (ex: a cada 8 passos) em vez de a cada passo. Isso amortiza o custo de invalidação do prefixo, preservando 95–98% da reutilização do prefixo enquanto reduz o comprimento do contexto.

2. ObsDrop: Compactação no Nível de KV

Para resolver inteiramente o conflito entre compactação e cache, os autores introduzem o ObsDrop, um mecanismo que desacopla a sequência lógica de tokens (o prompt enviado ao modelo) da residência física de KV (o que é armazenado na memória da GPU).

Mecanismo: O ObsDrop deixa a sequência de tokens e as posições inalteradas para garantir que a correspondência de prefixo permaneça válida. No entanto, ele libera as entradas de KV correspondentes a observações de ferramentas obsoletas da memória da GPU.
Implementação:
- SGLang: Implementado dentro do cache RadixAttention. O ObsDrop identifica intervalos de observação, substitui seus índices de slots de KV por um slot "morto" reservado (índice 0) e retorna os slots físicos ao alocador. O kernel de atenção é então instruído a pular esses slots mortos.
- Sparse-vLLM: Implementado como uma camada independente que libera entradas de KV para observações antigas enquanto mantém a estrutura de prefixo lógica.
Otimização: Para evitar overhead em tempo de execução, o rastreamento de slots mortos é tratado na CPU, e as listas de índices de atenção são podadas em uma única passagem pela GPU antes da execução do kernel, preservando os CUDA graphs.

Principais Contribuições

Caracterização: O artigo demonstra que edições de prompt são um componente de custo anteriormente negligenciado na compactação. Em agentes de codificação, a alta taxa de reutilização de prefixo significa que quebrar o cache de prefixo é frequentemente mais caro do que as economias de memória ganhas com a compactação.
Compactação de Prompt Consciente de Prefixo: Os autores mostram que o mascaramento de observação em lote (mascarando a cada $k'$ passos) é uma solução prática e agnóstica ao motor que preserva 95–98% da reutilização do prefixo enquanto reduz o comprimento do contexto em até 50%.
ObsDrop: Um novo mecanismo de compactação no nível de KV que recupera memória para observações obsoletas sem alterar o prompt lógico. Isso permite que o sistema mantenha a correspondência de prefixo enquanto reduz a residência de KV e o trabalho de atenção.
Avaliação de Ponta a Ponta: Avaliação abrangente através de SGLang e Sparse-vLLM, usando backends FlashInfer e Triton, sob níveis variados de concorrência.

Resultados

Nível de Prompt (Mascaramento em Lote):
- Reduz o comprimento médio do contexto em até 50%.
- Reduz o custo de serviço em até 18% e o tempo de conclusão da tarefa (TCT) em até 21%.
- Mantém taxas de sucesso de tarefas comparáveis à ausência de compactação.
Nível de KV (ObsDrop):
- Throughput (Vazão): Sob alta concorrência (16 agentes), o ObsDrop alcança um throughput de 2,45× a 2,85× maior com FlashInfer e até 5,37× com o backend Triton comparado à ausência de compactação.
- Latência: O ObsDrop reduz significativamente a latência de cauda (p95 TTFT) sob pressão de memória, evitando a evacuação do cache e os subsequentes ciclos de re-prefill que assolam os cenários de "sem compactação".
- Eficiência: O ObsDrop reduz o volume de tokens atendidos em 19–44% em diferentes modelos e motores, reduzindo diretamente os custos computacionais.
- Qualidade: As taxas de sucesso das tarefas permanecem próximas à linha de base de "sem compactação", ao contrário das abordagens agressivas de sumarização ou janela deslizante, que degradam o desempenho.

Significância e Alegações

O artigo argumenta que a gestão de contexto eficaz para agentes de codificação deve considerar não apenas quais tokens são retidos, mas como a compactação interage com os mecanismos de cache do sistema de serviço.

O Trade-off: Os autores alegam que o conflito entre compactação e cache de prefixo é fundamental; edições de prompt inevitavelmente quebram a reutilização do cache, enquanto o ObsDrop resolve isso operando no nível de KV.
Impacto Sistêmico: O ObsDrop fornece um primitivo que permite aos motores de serviço recuperar memória sem quebrar o histórico lógico necessário para o cache de prefixo. Isso é particularmente crítico em cargas de trabalho concorrentes onde a pressão de memória causa evacuações de cache, levando a aumentos acentuados na latência de cauda.
Alegações Modestas: Os autores reconhecem que o intervalo de loteamento ideal ( $k'$ ) pode variar por trajetória e que sua implementação no vLLM requer um desacoplamento adicional da identidade do bloco da residência de KV. Eles posicionam o ObsDrop não como um substituto universal para todas as técnicas de compressão, mas como uma solução específica para a carga de trabalho única de "apenas adição e pesada em observações" dos agentes de codificação.

Em resumo, o artigo demonstra que, ao preservar o prefixo lógico enquanto descarta fisicamente os dados de observação obsoletos, os agentes podem alcançar melhorias significativas de desempenho e custo sem sacrificar a qualidade da tarefa.