Resumo Técnico: Teoria de Compactação de Contexto

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) possuem uma janela de contexto limitada, o que restringe a quantidade de entrada que podem processar em uma única inferência. Agentes de IA, que operam chamando LLMs iterativamente e acumulando estado (consultas do usuário, respostas do LLM e resultados de ferramentas), inevitavelmente excedem esse limite durante sessões de longa duração. Para continuar operando, os agentes devem empregar compactação de contexto: um processo que resume o estado do agente ou seleciona um subconjunto dele para caber na janela de contexto.

Embora a compactação de contexto seja onipresente em agentes de produção (ex: Claude Code, Codex, Cursor), ela recebeu essencialmente nenhuma análise formal. O trabalho existente baseia-se em avaliações empíricas da precisão de tarefas subsequentes, carecendo de garantias formais sobre quais informações são preservadas ou perdidas. Além disso, os agentes enfrentam uma restrição secundária conhecida como "deterioração de contexto" (context rot), onde a qualidade do raciocínio degrada à medida que o comprimento da entrada cresce, necessitando de compactação mesmo antes de atingir o limite rígido da janela de contexto. O problema central é que a informação descartada durante a compactação é permanentemente perdida para o LLM em etapas futuras, podendo fazer com que o agente tome decisões inconsistentes com o histórico original da conversa.

Metodologia

Os autores iniciam um estudo formal da compactação de contexto introduzindo um framework teórico baseado em jogos de dois jogadores. Este framework abstrai o estado interno do agente como um conjunto de itens de informação discretos, em vez de uma sequência de tokens.

1. Framework Teórico: Dois Jogos

O artigo define dois jogos distintos para modelar as duas principais estratégias algorítmicas utilizadas por agentes contemporâneos:

• O Jogo de Seleção de Contexto: Modela algoritmos que selecionam um subconjunto do estado acumulado do agente para retenção.

  • Jogadores: Um seletor (o algoritmo de compactação) e um adversário (representando necessidades de informação futuras).
  • Mecanismo: O adversário fixa um universo de itens $X$. O seletor escolhe um subconjunto $S \subseteq X$ sujeito a um orçamento de tamanho $B$. O adversário então emite uma consulta $q$, e o seletor deve respondê-la usando apenas $S$.
  • Regimes de Consulta: O estudo considera tanto regimes estocásticos (consultas extraídas de uma distribuição conhecida) quanto regimes de adversário cego (o adversário escolhe a pior consulta possível sem ver o subconjunto selecionado).

• O Jogo de Geração de Contexto: Modela algoritmos que resumem o estado emitindo uma mensagem arbitrária de comprimento limitado.

  • Mecanismo: Um gerador (condensador) mapeia o universo de itens $X$ para uma mensagem $m$ de comprimento no máximo $B$. Um intérprete então usa $m$ e a consulta $q$ para produzir uma resposta.
  • Escopo: Esta classe inclui a sumarização baseada em LLM, onde o condensador gera novos tokens (um resumo) e o intérprete é a chamada subsequente do LLM. Esta classe é estritamente mais poderosa que a seleção, pois permite reordenar, gerar novos tokens e codificar informações de forma mais eficiente do que simplesmente reter um subconjunto.

2. Conexão com a Complexidade de Comunicação

Os autores estabelecem uma equivalência rigorosa entre o Jogo de Geração de Contexto e a complexidade de comunicação unidirecional.

• A Equivalência: O gerador atua como "Alice" (remetente) e o intérprete atua como "Bob" (receptor). O orçamento mínimo necessário para um algoritmo de geração responder a um conjunto de consultas com erro $\le \epsilon$ é exatamente igual à complexidade de comunicação unidirecional randomizada do problema de comunicação induzido com erro $\epsilon$.
• Seleção como Comunicação Restrita: O Jogo de Seleção de Contexto corresponde a uma subclasse restrita de protocolos unidirecionais onde a mensagem deve identificar explicitamente um subconjunto de itens, e a resposta é uma função apenas desse subconjunto.

3. Estudo de Caso Empírico

Para validar o framework teórico, os autores apresentam um estudo de caso avaliando um endpoint de compactação de contexto implantado em produção (detalhado no Apêndice A).

• Configuração: O estudo registra um conjunto de itens no contexto do endpoint e o tarefa de responder a consultas de pertinência de conjunto.
• Benchmark: A taxa de erro do endpoint é comparada contra um filtro de Bloom, que é teoricamente próximo do ideal para pertinência de conjunto dentro de um orçamento fixo.
• Resultado: O endpoint avaliado responde a consultas de pertinência com uma taxa de erro substancialmente maior do que um filtro de Bloom do mesmo tamanho. Os autores demonstram via um experimento de controle que a informação perdida durante a compactação de contexto é a causa deste erro.

Principais Contribuições e Resultados

1. Framework Formal: O artigo fornece a primeira definição formal de compactação de contexto, distinguindo entre seleção (manter um subconjunto do histórico) e geração (criar um resumo).
2. Teorema de Equivalência (Teorema 1): Os autores provam que o orçamento mínimo de compactação de contexto para geração é equivalente à complexidade de comunicação unidirecional do problema induzido. Isso permite a transferência direta de limites conhecidos da complexidade de comunicação para a compactação de contexto.
3. Lacuna entre Seleção e Geração (Teorema 3): O artigo prova que existe um conjunto de consultas onde a geração requer estritamente menos orçamento do que a seleção. Especificamente, para um conjunto de $n$ itens (onde $n=2^k$), um algoritmo de geração pode responder a uma consulta específica com erro zero usando um orçamento de $n$ bits, enquanto qualquer algoritmo de seleção que alcance erro zero requer um orçamento de $n \log_2 n$ bits. Consequentemente, a lacuna entre as duas estratégias é de um fator de $\Theta(\log n)$.
4. Limites Inferiores para Problemas Específicos:
   • Pertinência de Conjunto: Os autores mostram que um filtro de Bloom é próximo do ideal para consultas de pertinência de conjunto.
   • Disjunção de Conjuntos: Para consultas de disjunção de conjuntos (ex: verificar se um conjunto de dependências intersecta um conjunto de vulnerabilidades conhecidas), o orçamento necessário é de $\Omega(Nm)$ bits (onde $N$ é o número de itens e $m$ é o comprimento de bits de um item). Isso implica que, para tais consultas, a compactação de contexto não oferece vantagem sobre o armazenamento dos dados sem compressão, pois o limite inferior da teoria da informação é alto demais para comprimir efetivamente sem perder a correção.
5. Validação Empírica: O estudo de caso demonstra que os sistemas de produção atuais (especificamente o endpoint de compactação de contexto avaliado) performam significativamente pior do que os ótimos teóricos (filtros de Bloom) em tarefas de pertinência de conjunto, sugerindo que as estratégias atuais de sumarização baseadas em LLM não estão otimizadas para a retenção de informação.

Significância e Alegações

O artigo afirma iniciar o estudo formal da compactação de contexto, movendo o campo das heurísticas empíricas para as garantias da teoria da informação.

• Orientação de Design: A equivalência com a complexidade de comunicação fornece aos designers de agentes um método para calcular o orçamento mínimo necessário para um conjunto específico de consultas futuras. Se um problema possui alta complexidade de comunicação unidirecional (como a disjunção de conjuntos), o artigo argumenta que a compactação de contexto não pode reduzir o orçamento de forma eficaz sem incorrer em alto erro.
• Seleção de Estratégia: A lacuna identificada entre seleção e geração sugere que, para certas tarefas, os agentes devem priorizar a compactação baseada em geração (sumarização) em vez da compactação baseada em seleção (truncamento/poda) para alcançar melhor precisão dentro do mesmo orçamento de tokens.
• Limitações de Sistemas Atuais: O estudo de caso destaca uma lacuna significativa de desempenho entre a compactação de contexto baseada em LLM implantada e as estruturas de dados ótimas, sugerindo que as implementações atuais descartam informações críticas.

Os autores mantêm-se modestos quanto ao escopo de suas descobertas, observando que seus limites são informacionais e não abordam a viabilidade computacional de atingir esses limites (ex: se um LLM pode realmente computar o condensador ideal). Eles também identificam a compactação de contexto repetida (onde um agente compacta um estado que já é um resumo) e adversários adaptativos (onde a consulta depende do resumo) como problemas abertos para pesquisas futuras.