When Does Context Compaction Pay in Long-Horizon Agents?

Imagine um assistente digital que pode trabalhar por horas, resolvendo problemas complexos ao ler arquivos, executar código e verificar seu próprio progresso. Para fazer isso, o assistente deve se lembrar de tudo o que fez até agora, mantendo um registro contínuo de suas ações e dos resultados que observa. Esse registro é chamado de "contexto". À medida que o trabalho continua, esse registro cresce cada vez mais, tornando-se tão grande que retarda o assistente e custa uma quantia significativa de dinheiro para ser processado. Para gerenciar isso, engenheiros de software desenvolveram um truque chamado "compactação de contexto". Em vez de carregar todo o histórico adiante, o sistema pede ao assistente que escreva um pequeno resumo do que aconteceu, descarta os detalhes antigos e continua o trabalho usando apenas esse resumo. É um pouco como um viajante que, após caminhar cem milhas, escreve um cartão-postal para seu eu futuro descrevendo a jornada, e então queima o diário detalhado para economizar espaço em sua mochila. A esperança é que esse resumo seja suficiente para manter o viajante no caminho certo, enquanto economiza tempo e recursos.

Um novo estudo do pesquisador Yuyao Wang investiga se essa estratégia realmente funciona para tarefas de longo prazo. O pesquisador testou essa ideia em nove problemas difíceis de múltiplas etapas usando dois modelos de linguagem avançados diferentes. Eles configuraram um experimento controlado onde salvaram o estado dos agentes em momentos específicos e depois os deixaram continuar até a linha de chegada usando dois métodos diferentes. Em um método, os agentes mantiveram seu histórico completo, servindo como uma linha de base. No outro, os agentes passaram a usar resumos sempre que seu histórico ficava muito longo. O pesquisador mediu não apenas o custo final, mas também como a mudança de estratégia afetou o comportamento do agente, o número de etapas que ele realizou e o tempo que passou esperando pelos resumos serem escritos.

Os resultados revelaram uma reviravolta surpreendente. Embora a matemática sugerisse que mudar para um resumo deveria economizar dinheiro, a realidade era frequentemente o oposto. Para um dos modelos testados, os agentes que mudaram para resumos acabaram custando mais dinheiro do que aqueles que mantiveram seu histórico completo. O motivo não foi que os resumos eram ruins, mas sim que o ato de resumir mudou o comportamento do agente de uma forma que criou trabalho extra. Quando o agente recebia um resumo em vez do histórico completo, ele frequentemente sentia a necessidade de reler arquivos ou verificar informações que já havia visto, levando a uma cascata de solicitações extras. Essas etapas extras, que o pesquisador chamou de ações de "apenas leitura", somavam-se rapidamente. Em muitos casos, o dinheiro economizado ao ter um histórico mais curto era completamente anulado pelo custo dessas verificações extras e desnecessárias. De fato, para o modelo principal testado, a estratégia aumentou os custos em 20 de 21 estados diferentes quando continuada até o fim da tarefa.

O estudo também observou quanto tempo esses agentes tiveram que trabalhar após a mudança para determinar se a estratégia poderia algum dia valer a pena. O pesquisador descobriu que a compactação de contexto só se torna uma vitória financeira se houver uma grande quantidade de trabalho restante para ser feito após a escrita do resumo. Se a tarefa estiver quase terminando, o custo de escrever o resumo e as etapas extras que o agente toma para se ajustar a ele não valem a economia. No entanto, para tarefas com um longo caminho pela frente, a estratégia pode funcionar, mas apenas sob condições específicas. O preço da tecnologia importa muito; para um dos modelos, a estratégia só economizou dinheiro se o custo de leitura da memória do computador fosse extremamente alto, muito superior ao que é cobrado atualmente pela maioria dos provedores. Para o outro modelo testado, a estratégia foi muito mais eficaz, economizando dinheiro mesmo com os preços atuais, mas isso se deveu em grande parte ao fato de que o comportamento desse modelo mudou menos drasticamente quando recebeu um resumo.

Além do custo, o pesquisador também examinou a velocidade com que os agentes trabalhavam. Eles simularam o processo em um único chip de computador para ver se históricos mais curtos tornariam o sistema mais rápido. Eles descobriram que, embora os históricos mais curtos tenham acelerado o processamento de etapas individuais, o tempo gasto escrevendo os resumos e as etapas extras que os agentes realizaram frequentemente tornaram o processo inteiro mais lento. Em alguns cenários, os agentes que usavam resumos levaram quase o dobro do tempo para terminar a mesma tarefa em comparação com aqueles com o histórico completo, embora nunca estivessem esperando em uma fila. Isso aconteceu porque o tempo economizado no processamento do histórico longo foi perdido no tempo gasto gerando o resumo e no trabalho extra que o agente realizou.

O estudo conclui que a compactação de contexto não é uma solução simples para tarefas de longa duração. É uma troca que depende fortemente do modelo específico sendo usado, do custo da tecnologia e de quanto trabalho resta. O pesquisador descobriu que simplesmente encurtar o histórico muitas vezes confunde o agente, fazendo com que ele repita trabalhos que já realizou. Para que essa estratégia funcione, os sistemas precisam ser projetados cuidadosamente para preservar as etapas mais recentes e garantir que o agente não sinta a necessidade de checar novamente seu próprio histórico. Até que essas condições sejam atendidas, manter o histórico completo, apesar de seu custo, continua sendo o caminho mais confiável e, às vezes, até o mais barato para agentes que enfrentam problemas longos e complexos.