🤖 AI

Parallel Context Compaction for Long-Horizon LLM Agent Serving

Este artigo introduz a compactação de contexto paralela, um método que substitui a sumarização sequencial, perdedora e imprevisível, por uma abordagem paralelizada para fornecer controle granular sobre o volume do resumo, reduzindo significativamente o tempo de parede e melhorando o rendimento para agentes de LLM de longo horizonte.

Autores originais: Musa Cim, Burak Topcu, Chita Das, Mahmut Taylan Kandemir

Publicado 2026-05-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Musa Cim, Burak Topcu, Chita Das, Mahmut Taylan Kandemir

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive brilhante (o Agente de IA) resolvendo um mistério massivo e multipartido. Toda vez que você faz uma pergunta ou recebe uma pista, você anota isso em um caderno gigante. À medida que o caso avança, o caderno fica cada vez mais grosso.

Eventualmente, o caderno se torna tão enorme que:

É muito pesado para carregar: O detetive fica cansado apenas lendo o início do livro antes de chegar às novas pistas (isso é chamado de "apodrecimento do contexto").
Não cabe na pasta: O caderno é maior que o limite de tamanho da pasta que o detetive tem permissão para usar (a "janela de contexto").

Para corrigir isso, o detetive geralmente para e pede a um escriba (o LLM) que resuma todo o caderno em uma pequena folha de cola de 1 página. Mas o artigo que você forneceu aponta três grandes problemas com esse método tradicional e, em seguida, oferece uma nova solução inteligente chamada Compactação Paralela.

Aqui está a explicação em termos simples:

O Problema: O Resumo "Tamanho Único"

Os autores descobriram que a maneira tradicional de resumir está quebrada de três maneiras específicas:

O "Caixa Preta" do Comprimento: Você pode dizer ao escriba: "Faça este resumo super detalhado!" ou "Faça-o super curto!" Mas o escriba ignora você. Não importa o quão longo seja o caderno original (2 páginas ou 200 páginas), o escriba sempre escreve um resumo que é aproximadamente do mesmo tamanho (cerca de meia página). Eles têm uma "regra mental" de seu treinamento que diz: "Um resumo é sempre deste tamanho", e eles não vão mudar isso.
O Gargalo do "Tempo de Espera": Como o escriba precisa ler todo o caderno gigante antes de escrever uma única palavra, o detetive precisa ficar parado e esperar. Em uma investigação de ritmo acelerado, esse tempo de espera acumula-se em minutos ou até horas de produtividade perdida.
A Instabilidade do "Jogo de Dados": Se você pedir ao escriba para resumir o mesmo caderno duas vezes, ele pode fornecer dois resumos completamente diferentes. Uma vez, ele mantém a pista sobre o carro vermelho; na próxima, ele esquece isso e mantém a pista sobre o chapéu azul. Isso torna o desempenho do detetive imprevisível.

A Solução: A "Linha de Montagem" (Compactação Paralela)

Em vez de pedir a um escriba que leia todo o livro e escreva um resumo, os autores sugerem contratar uma equipe de escribas e dividir o trabalho.

Imagine que o caderno gigante é um trem longo.

Método Antigo: Uma pessoa percorre todo o comprimento do trem, lê cada vagão e escreve um relatório.
Novo Método (Compactação Paralela): Você corta o trem em vagões menores e de tamanho igual (blocos). Você entrega um vagão ao Escriba A, o próximo ao Escriba B, e assim por diante.

Aqui está o toque inteligente:
Quando o Escriba A resume seu vagão, ele também tem permissão para ver os vagões anteriores (o histórico) para entender o contexto. O Escriba B vê os vagões 1 e 2, o Escriba C vê os vagões 1, 2 e 3, e assim por diante. Todos trabalham ao mesmo tempo (em paralelo).

Por Que Isso Funciona Melhor

O artigo afirma que essa abordagem de "Linha de Montagem" resolve os três problemas acima:

Controle Total (O Botão de Volume): Como você decide quantos vagões (blocos) cortar o trem, você controla o tamanho final. Se você quer um resumo enorme, usa blocos minúsculos (mais escribas, mais detalhes). Se quer um resumo minúsculo, usa blocos grandes (menos escribas, menos detalhes). Você não precisa implorar à IA para seguir instruções; basta mudar o número de trabalhadores.
Velocidade (O Engarrafamento): Como todos os escribas estão trabalhando ao mesmo tempo, o tempo total para finalizar o resumo é muito mais rápido. É como ter 10 pessoas lavando um carro ao mesmo tempo em vez de uma pessoa fazendo isso sozinha.
Estabilidade (A Receita Consistente): Como cada escriba é responsável apenas por um pequeno pedaço focado da história, é menos provável que eles fiquem confusos ou esqueçam coisas. O resumo torna-se muito mais consistente, execução após execução.

A Conclusão

O artigo mostra que, para tarefas de IA longas e complexas, você não deve confiar em uma única IA para resumir um histórico massivo. Em vez disso, você deve cortar esse histórico em pequenas peças, resumi-las todas ao mesmo tempo usando um layout inteligente que mantém o contexto conectado e unir os resultados.

Isso dá ao operador (o humano responsável) um "botão de volume" preciso para decidir exatamente quanto informação manter, enquanto torna todo o processo mais rápido e confiável.

Resumo Técnico: Compactação de Contexto Paralela para Atendimento de Agentes LLM de Longo Alcance

1. Declaração do Problema

Agentes de Modelo de Linguagem (LLM) de longo alcance operam em sessões onde os históricos de conversa crescem continuamente, eventualmente excedendo as janelas de contexto do modelo. Embora a compactação de contexto via sumarização baseada em LLM seja o remédio padrão, os autores identificam três limitações críticas na abordagem síncrona sequencial atual:

Saída Perda e Imprevisível: A sumarização é inerentemente com perda. Crucialmente, o volume do resumo é largamente invariante ao comprimento de entrada e às instruções do prompt. À medida que o contexto de entrada cresce de 2k para 96k tokens, o modelo auto-limita sua saída, retendo apenas uma pequena fração (caindo de ~48% para ~3% dos tokens) da informação original.
Instabilidade entre Execuções: Mesmo com entradas e prompts idênticos, o comprimento e o conteúdo semântico dos resumos flutuam significativamente entre execuções. Essa instabilidade torna o comportamento do agente não reprodutível e complica o orçamento de memória.
Gargalos de Latência: A compactação sequencial requer uma chamada bloqueante que paralisa a inferência do agente. Em fluxos de longo alcance, essa sobrecarga pode consumir até 62% do tempo total de parede de ponta a ponta (E2E), particularmente quando a compactação é acionada frequentemente em limites mais baixos.

Além disso, o artigo observa que a engenharia de prompts (por exemplo, pedir resumos "concisos" versus "detalhados") falha em fornecer controle fino sobre o volume do resumo, pois os modelos tendem a recorrer a priores internalizados sobre o comprimento do resumo derivados dos dados de treinamento.

2. Metodologia

Configuração Experimental

Os autores avaliaram sua abordagem em quatro modelos base abrangendo diferentes escalas e arquiteturas:

Llama-3.1-8B (Pequeno, Denso)
gpt-oss-20B (Médio, MoE, Raciocínio)
Llama-3.3-70B (Grande, Denso)
gpt-oss-120B (Grande, MoE, Raciocínio)

A avaliação foi conduzida em dois benchmarks:

HotpotQA: Resposta a perguntas multi-hop sobre evidências acumuladas.
LoCoMo: Diálogo multi-sessão de longo contexto com múltiplas QAs por sessão.

Solução Proposta: Compactação Paralela

O artigo introduz a Compactação Paralela, um design baseado em blocos que substitui a única chamada de sumarização bloqueante por processamento concorrente. O fluxo de trabalho consiste em três fases:

Snapshot & Partição: O histórico de conversa é copiado e particionado em $N$ blocos contíguos de tamanho $B$ tokens.
Disparo: Cada bloco $k$ $k$ é processado por um trabalhador separado. Crucialmente, o prompt para o trabalhador $k$ $k$ inclui o histórico completo da conversa até o bloco $k$ , com o próprio bloco $k$ $k$ envolto em um marcador <TARGET_BLOCK>.
- Layout Alvo no Final Sensível ao Prefixo: Este design garante que cada trabalhador veja o histórico causal que precede seu bloco alvo (preservando o contexto entre blocos), enquanto o bloco alvo fica no final do prompt, onde a atenção é mais forte. Este layout também permite a reutilização de cache de prefixo entre trabalhadores no servidor vLLM.
Mesclagem: Uma vez que todos os trabalhadores concluem, os $N$ resumos por bloco são concatenados para formar o histórico compactado.

3. Contribuições Principais e Caracterização

Caracterização da Compactação Sequencial

Os autores demonstraram empiricamente que a compactação sequencial sofre de:

Invariância de Entrada/Prompt: As contagens de tokens de saída permanecem quase planas (crescendo apenas ~3x) apesar de um aumento de 48x no comprimento de entrada. Instruções de prompt sobre comprimento têm impacto negligenciável.
Instabilidade: À medida que o comprimento do contexto aumenta, o Coeficiente de Variação (CV) no comprimento de saída e a queda na similaridade de cosseno (consistência semântica) aumentam, tornando os resultados imprevisíveis.
Tamanho de Bloco Otimizado: A análise revelou que 4k tokens é o tamanho de entrada mais estável para sumarização, oferecendo o melhor compromisso entre retenção de contexto e consistência de saída.

Caracterização da Compactação Paralela

A compactação paralela aborda as limitações da linha de base sequencial através de:

Controle Fino: O operador ganha controle direto sobre o volume do resumo via tamanho do bloco ( $B$ ). Blocos menores resultam em mais trabalhadores paralelos e maior total de tokens de saída, preservando mais contexto.
Sensibilidade ao Prompt Restaurada: Diferentemente da linha de base sequencial, a compactação paralela permite que instruções de prompt (por exemplo, "muito detalhado") ajustem efetivamente o volume de saída dentro de cada bloco, fornecendo um mecanismo de controle de dois eixos (tamanho do bloco + detalhe do prompt).
Melhorias de Vazão: Ao paralelizar a carga de trabalho e aproveitar o cache de prefixo, o sistema alcança maior vazão de compactação.

4. Resultados

Precisão e Retenção de Informação

Ganhos de Precisão: Em ambos HotpotQA e LoCoMo, reduzir o tamanho do bloco (aumentando o paralelismo) levou a um aumento monótono na precisão de QA a jusante. O tamanho de bloco de 16k (menos trabalhadores) produziu os menores tokens e a menor precisão, enquanto blocos menores (por exemplo, 2k) preservaram mais contexto e melhoraram a precisão.
Preservação de Contexto: A compactação paralela permite que o sistema retenha uma porcentagem significativamente maior do contexto original (até ~~50% com blocos pequenos e prompts detalhados) em comparação com a linha de base sequencial (~~3%).

Desempenho do Sistema (Tempo de Parede e Vazão)

Aceleração de Ponta a Ponta: A compactação paralela reduziu o tempo de parede E2E na maioria das configurações. Por exemplo, no modelo de 120B com HotpotQA, a compactação paralela (blocos de 2k) alcançou uma aceleração de 1,28x sobre a sequência.
Vazão: Em volumes de decodificação de compactação correspondidos, a compactação paralela consistentemente superou a linha de base sequencial. Por exemplo, o modelo de 70B mostrou uma melhoria de vazão de 2,13x em contagens de tokens correspondidas.
Sobrecarga de Preenchimento (Prefill): O artigo observa que tamanhos de bloco muito grandes (por exemplo, 16k) podem sofrer com sobrecarga de preenchimento porque a parte única do prompt por trabalhador é grande e não armazenada em cache, negando alguns ganhos de paralelismo. Blocos menores (2k–4k) otimizam esse equilíbrio.

5. Significância e Alegações

O artigo alega que a Compactação Paralela oferece uma solução prática e agnóstica à infraestrutura para atendimento de agentes de longo alcance sem exigir treinamento offline, infraestrutura de recuperação ou acesso a modelos de caixa branca.

Previsibilidade: Transforma a compactação de contexto de um processo imprevisível e com perda em um sistema ajustável onde os operadores podem controlar precisamente o compromisso entre retenção de contexto e volume do resumo via contagem de blocos e engenharia de prompts.
Eficiência: Mitiga o gargalo de latência da compactação síncrona, permitindo maior vazão e ciclos de inferência de agentes mais rápidos.
Estabilidade: Ao operar em blocos menores e estáveis de 4k, reduz a variância entre execuções inerente à sumarização de contextos massivos, levando a um comportamento de agente mais reprodutível.

Os autores concluem que o ponto de operação ótimo não é necessariamente a retenção máxima de contexto, mas o conjunto "mínimo suficiente" de tokens de alto sinal necessários para a tarefa, um alvo que a compactação paralela permite que os operadores atinjam com precisão.