Resumo Técnico: Diagnóstico e Mitigação de "Context Rot" em Busca de Longo Horizonte

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em tarefas agentes de longo horizonte, como busca profunda na web, eles acumulam um contexto extenso que compreende tanto o feedback do ambiente quanto o raciocínio interno. Este artigo identifica uma degradação crítica no desempenho do modelo conhecida como context rot (deterioração de contexto). Especificamente, em cenários de busca profunda onde os agentes executam dezenas ou centenas de chamadas de ferramentas, o contexto extenso faz com que os modelos ou desistam diretamente (afirmando que não podem resolver o problema) ou forneçam respostas incertas prematuramente (fornecendo uma resposta clara enquanto explicitamente reconhecem a incerteza não resolvida em seu raciocínio).

Ao contrário de pesquisas anteriores focadas em entradas longas de turno único (ex: testes "needle-in-a-haystack") ou conversas humanas de múltiplos turnos, este trabalho investiga o context rot em tarefas de busca agentes de múltiplos turnos, múltiplas fontes e acumulação progressiva. Os autores observam que, conforme a extensão da trajetória aumenta, os modelos não apenas perdem precisão; eles mudam seu comportamento em direção a esses dois modos de falha específicos, frequentemente ficando presos em "padrões de luta" (tentativas repetidas sem sucesso ou falta de progresso).

Metodologia

1. Diagnóstico e Taxonomia

Os autores desenvolveram uma taxonomia detalhada de estados terminais para diagnosticar a deterioração, categorizando os resultados dos agentes em:

• Desistir (Give Up): O agente afirma explicitamente que não pode resolver o problema.
• Resposta Incerta (Uncertain Answer): O agente fornece uma resposta clara, mas o raciocínio indica explicitamente uma incerteza não resolvida.
• Resposta Confiante (Confident Answer): O agente fornece uma resposta clara com o raciocínio indicando a satisfação de todos os critérios.
• Sem Resposta (No Answer): O agente falha em fornecer uma resposta devido a limites de contexto ou orçamento de turnos.

Usando um LLM-como-juiz (validado contra especialistas humanos com 98,7% de concordância), os autores avaliaram quatro modelos de código aberto de destaque (Qwen3.5-397B-A17B, GLM-4.7, GLM-5.0, MiniMax-M2.5) através de três benchmarks: BrowseComp, BrowseComp-Plus (corpus local) e xbench-DeepSearch.

2. Análise de Poda (Pruning)

Para entender a relação entre o contexto acumulado e a deterioração, os autores realizaram experimentos de poda de contexto. Eles descartaram sistematicamente diferentes partes do histórico acumulado (respostas de ferramentas, conteúdo de raciocínio ou todo o contexto) enquanto mantinham a janela de interação mais recente. Isso permitiu isolar se o rot era causado pela extensão da trajetória, turnos de interação ou pelo conteúdo específico do contexto acumulado.

3. Estratégias de Mitigação

O artigo avalia duas abordagens principais para mitigar o context rot:

A. Gestão de Contexto (In-Process)
Os autores avaliaram sistematicamente sete métodos em três categorias, modificando o framework ReAct:

1. Compactação de Contexto (Context Compaction): Reescrever periodicamente o histórico acumulado em um resumo compacto. Os gatilhos incluíram extensão da trajetória, turnos de interação e um "escore de luta" (detecção semântica de falha).
2. Poda de Contexto (Context Trimming): Descartar o conteúdo anterior sem reescrevê-lo. As variantes incluíram descartar todas as respostas de ferramentas exceto a última, manter apenas os turnos de interação mais recentes e combinar a poda com a sumarização.
3. Isolamento de Contexto (Context Isolation): Usar sub-agentes (ex: FoldAgent) para executar tarefas e retornar apenas resultados sumarizados, mantendo a janela de contexto do agente principal limpa.

B. Rejeição de Amostragem Post-Hoc (Post-Hoc Rejection Sampling)
Os autores desenvolveram uma estratégia de filtragem consciente do rot. Múltiplas trajetórias são geradas para uma única consulta usando o ReAct padrão (sem gestão de contexto). Um filtro então exclui trajetórias que terminam em estados de "Desistir" ou "Resposta Incerta", retendo apenas "Respostas Confiantes" para agregação (via votação majoritária, comprimento mínimo ou menor número de turnos).

Principais Resultados

1. Características do Context Rot

• Prevalência: O contexto extenso faz com que os modelos desistam ou forneçam respostas incertas, um fenômeno que piora à medida que o contexto cresce.
• Não é Apenas Extensão: O rot não depende exclusivamente da extensão da trajetória ou do número de turnos. Experimentos de poda mostraram que remover o contexto acumulado quase elimina o rot, mas remover apenas o raciocínio ou apenas as respostas das ferramentas (mantendo o outro) ainda reduz o rot, indicando que o conteúdo da acumulação importa.
• Correlação com Luta (Struggle): Trajetórias que terminam em estados de rot exibem escores de luta significativamente mais altos (falhas repetidas, falta de progresso) em comparação com trajetias bem-sucedidas.
• Tamanho da Janela vs. Desempenho: O tamanho da janela de contexto em si não é o gargalo primário; os modelos conseguem resolver problemas dentro da janela, mas o desempenho degrada devido à forma como o modelo processa o contexto acumulado.

2. Eficácia da Gestão de Contexto

• Estratégia Mista é a Ótima: Uma abordagem híbrida combinando Poda de Contexto (mantendo os turnos mais recentes) e Compactação de Contexto (resumindo o conteúdo antigo) alcançou o melhor equilíbrio entre custo (chamadas de ferramenta) e mitigação de rot. A compactação pura reduziu o rot significativamente, mas acarretou altos custos e trajetórias inacabadas; a poda pura foi eficiente, mas menos eficaz na redução do rot.
• Dependência de Modelo: O isolamento de contexto (sub-agentes) mostrou alta variância. Teve um desempenho excepcional com bases fortes (ex: Qwen3.5), mas desempenho pobre com modelos mais fracos (ex: GLM-4.7), sugerindo que requer um backbone de LLM robusto para ser eficaz.
• Frequência de Gatilho: Aumentar a frequência da gestão passiva (ex: sumarizar em limiares de comprimento mais curtos) mitigou o rot, mas aumentou os custos e a taxa de trajetórias inacabadas.

3. Eficácia da Rejeição de Amostragem

• Ganhos de Desempenho: Aplicar a filtragem consciente do rot a múltiplas trajetórias amostradas rendeu um ganho médio de desempenho de 2,6% a 4,9% entre os métodos de agregação.
• Sinergia: Combinar a rejeição de amostragem com métodos de gestão de contexto melhorou ainda mais o desempenho. Em conjuntos de dados com rot severo (BrowseComp, BrowseComp-Plus), o melhor método de gestão de contexto combinado com a rejeição de amostragem superou o ReAct padrão. Em conjuntos de dados com menos rot severo (xbench-DeepSearch), o ReAct padrão com rejeição de amostragem às vezes igualou ou excedeu os métodos de gestão de contexto.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Diagnóstico: Revela um fenômeno de deterioração prevalente, mas anteriormente não percebido, na busca de longo horizonte, caracterizado por desistências diretas e respostas incertas prematuras, que é exacerbado pelo crescimento do contexto.
2. Análise Causal: Através de experimentos de poda, demonstra que o rot é causado diretamente pelo conteúdo do contexto acumulado, não meramente por estatísticas de trajetória como extensão ou contagem de turnos.
3. Avaliação Sistemática: Fornece uma avaliação abrangente de sete métodos de gestão de contexto em três categorias, oferecendo orientação clara sobre a seleção de estratégia baseada no equilíbrio entre desempenho, custo e severidade do rot.
4. Mitigação Inovadora: Introduz uma estratégia de filtragem consciente do rot para rejeição de amostragem, demonstrando sua eficácia em melhorar a confiabilidade do agente sem modificar o framework do agente subjacente.

Os autores concluem que esses insights fornecem uma base para construir agentes autônomos mais robustos, capazes de lidar com desafios de longo horizonte cada vez mais complexos e reais, gerenciando efetivamente os compromissos entre retenção de contexto e degradação do modelo.