Resumo Técnico: Agentes de Modelo de Linguagem Autocompactáveis

Problema: Decomposição de Contexto e Compactação Rígida

À medida que os agentes de modelos de linguagem (LM) enfrentam tarefas de longo horizonte — variando de matemática competitiva que exige dezenas de milhares de tokens a buscas agênticas que orquestram centenas de chamadas de ferramentas — suas trajetórias geradas acumulam "conteúdo obsoleto". Este fenômeno, denominado decomposição de contexto (context rot), ocorre quando o raciocínio inicial falho, resultados de busca desatualizados ou programas candidatos abandonados ancoram gerações subsequentes, degradando o desempenho.

As soluções existentes gerenciam isso via compactação de intervalo fixo, disparando a sumarização quando um limite de tokens (ex: 30% da janela de contexto) é atingido. O artigo argumenta que essa abordagem é fundamentalmente falha porque ignora a estrutura da trajetória. Um gatilho fixo não consegue distinguir entre um modelo que acabou de resolver um subproblema (um momento seguro para sumarizar) e um que está no meio de uma derivação ou travado (um momento perigoso para sumarizar). Como ilustrado na Figura 1 do artigo, uma sumarização mal cronometrada pode apagar fatos verificados no meio do raciocínio, forçando o modelo a rediscutir informações ou adivinhar, o que desperdiça o orçamento computacional e reduz a precisão.

Metodologia: SELFCOMPACT

Os autores propõem o SELFCOMPACT, um arcabouço (scaffold) livre de treinamento que permite ao agente de LM decidir quando e como compactar seu próprio contexto. O sistema opera sem ajuste fino (fine-tuning) ou supervisão externa, baseando-se em dois elementos de inferência combinados:

1. A Ferramenta de Compactação: Uma ferramenta de sumarização inline ($S$) que o modelo pode invocar para resumir o contexto acumulado ($x, y_{1:t}$) em uma versão condensada ($\tilde{y}$). A geração então retoma a partir do novo contexto $(x, \tilde{y})$.
2. A Rubrica Leve: Um conjunto de critérios específicos da tarefa que controla a invocação da ferramenta. Em intervalos de sondagem periódicos (a cada $N$ tokens ou chamadas de ferramenta), o modelo é solicitado a avaliar seu estado atual em relação à rubrica.
   • Quando Disparar (COMPRESS): Quando um subobjetivo é resolvido (ex: uma resposta final é colocada em um quadro em matemática, ou uma unidade de busca é fechada com fatos verificados) ou quando a trajetória está convergindo.
   • Quando Suprimir (CONTINUE): Quando o modelo está no meio de uma derivação, no meio de uma busca ou travado em um loop.

Detalhes de Implementação:

• Reuso de KV Cache: Para minimizar o custo, a sonda da rubrica e os prompts do sumarizador são anexados ao contexto existente em vez de substituí-lo. Isso preserva o cache de Chave-Valor (KV) da trajetória ($y_{1:t}$), o que significa que o modelo paga apenas pelo prefill da nova instrução, não por todo o histórico.
• Fluxo de Trabalho: O arcabouço executa um loop onde o modelo gera, pausa em intervalos, avalia a rubrica e aciona condicionalmente a sumarização. Se a rubrica retornar COMPRESS, o sumarizador é disparado; caso contrário, a sonda é descartada e a geração continua.

Principais Contribuições

1. Novo Arcabouço: Introdução do SELFCOMPACT, que expõe a sumarização como uma ferramenta inline pareada com uma rubrica que dita o tempo de invocação. Isso não requer atualizações de parâmetros.
2. Validação Empírica: Demonstração através de sete modelos (quatro variantes Qwen para matemática; três agentes implantados para busca) e seis benchmarks (IMO-Answerbench, HMMT, BrowseComp, etc.).
3. Insights de Ablação: Prova de que a rubrica é essencial. Fornecer apenas a ferramenta leva a um uso desigual e frequentemente inútil (modelos chamando-a em momentos errados ou não chamando-a de forma alguma). A rubrica fecha essa "lacuna metacognitiva", permitindo uma compactação adaptativa confiável.

Resultados

O artigo relata que o SELFCOMPACT iguala ou supera a sumarização de intervalo fixo, reduzindo significamente os custos de tokens.

• Matemática de Competição: Em benchmarks como IMO-Answerbench e HMMT, o SELFCOMPACT melhorou a precisão em relação à linha de base de sem compactação em até 18,1 pontos. Superou a sumarização de intervalo fixo em 11 de 12 configurações de benchmark/modelo.
• Busca Agêntica: No BrowseComp e DeepSearch QA, o SELFCOMPACT adicionou de 5 a 9 pontos de precisão sobre a linha de base.
• Eficiência de Custo: Apesar do overhead de uma chamada extra de LLM para a sonda da rubrica, o SELFCOMPACT alcançou de 30 a 70% menos custos de tokens por pergunta em comparação com a linha de base sem compactação. Isso ocorre porque evita o custo massivo de processar contexto obsoleto e não sumarizado em turnos posteriores.
• Análise de Tempo: Diferente dos métodos de intervalo fixo que comprimem estritamente em um limite de 30%, a rubrica do SELFCOMPACT dispara a compressão mais cedo (frequentemente quando um subobjetivo é resolvido), evitando o acúmulo de "decomposição" antes que ela se torne prejudicial.

Significância e Alegações

O artigo afirma ser o primeiro a introduzir e avaliar o tempo de compactação adaptativa baseado em rubrica em um cenário livre de treinamento. Sua principal significância reside em reformular o "quando compactar" não como uma capacidade que deve ser incorporada nos pesos do modelo via ajuste fino ou aprendizado por reforço, mas como uma capacidade metacognitiva que pode ser fornecida via um arcabouço leve.

Os autores destacam uma "lacuna metacognitiva": enquanto modelos sem indução não conseguem detectar de forma confiável quando seu próprio contexto está apodrecendo, uma rubrica simples preenche essa lacuna. Isso sugere que estratégias complexas de gerenciamento de contexto podem ser elicitadas de modelos prontos para uso sem o custo computacional do treinamento, oferecendo uma solução prática para implantar agentes de longo horizonte sob restrições de hardware atuais.

O trabalho permanece modesto em seu escopo, focando em intervenções livres de treinamento e reconhecendo que modelos de fronteira com introspecção inerente mais forte poderiam eventualmente exigir menos arcabouço. No entanto, para a geração atual de agentes de pesos abertos e implantados, o SELFCOMPACT oferece um mecanismo robusto e de baixo custo para sustentar o desempenho ao longo de horizontes de raciocínio estendidos.