Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

Imagine um assistente digital que pode trabalhar por horas em um único projeto complexo, lendo arquivos, executando ferramentas e conversando com um usuário humano. À medida que esta conversa cresce, ela eventualmente torna-se longa demais para a memória do computador conter tudo de uma vez. Para continuar trabalhando, o sistema deve comprimir o histórico, substituindo as partes iniciais do chat por um resumo curto que capture os pontos principais. Isso é um truque padrão em inteligência artificial, muito parecido com um humano tomando notas para se lembrar de uma reunião longa. Por anos, pesquisadores se preocuparam que esses resumos pudessem esquecer detalhes importantes, fazendo com que o assistente perdesse o rastro de regras específicas ou instruções de segurança de um usuário. O medo predominante era que a máquina simplesmente deixasse a peteca cair.

No entanto, um novo estudo sugere que o problema não é que a máquina esquece, mas que ela lembra bem demais. Na verdade, ela frequentemente lembra das coisas de uma forma que é ampla ou estrita demais. Os pesquisadores chamam isso de "inflação de restrição". Isso acontece quando um resumo transforma um pedido temporário e pontual em uma regra permanente. Por exemplo, se um usuário diz: "Pule os testes para este arquivo específico porque a internet caiu", um bom resumo anotaria que os testes foram pulados para aquele arquivo específico. Um resumo falho, contudo, registraria a instrução como "Sempre pule os testes quando a internet cair". A regra ainda está lá, mas seu significado mudou de um conserto temporário para uma política permanente. Essa mudança sutil pode fazer com o assistente cometer erros mais tarde, aplicando um conserto temporário a todas as tarefas futuras.

Para medir a frequência com que isso acontece, os pesquisadores construíram um ambiente de teste chamado InflateBench. Eles criaram 240 sessões de trabalho realistas em cinco áreas diferentes, como programação, análise de dados e trabalho de escritório. Em cada sessão, eles plantaram seis instruções específicas com um escopo conhecido, como uma tarefa única ou uma preferência temporária. Eles então rodaram essas sessões através de sete métodos diferentes de resumir a conversa, usando dois tipos diferentes de modelos de linguagem. O objetivo era ver se os resumos mantinham as instruções intactas, perdiam-nas inteiramente ou as expandiam acidentalmente. Eles também testaram se essas regras expandidas realmente mudavam o que o assistente digital fazia a seguir.

Os resultados foram surpreendentes. Os resumos quase nunca perdiam uma instrução; na verdade, eles mantiveram mais de 99 por cento delas. Mas, embora raramente esquecessem, eles frequentemente exageravam. Quando o sistema usava um resumo de texto livre, ele inflava cerca de 12 a 14 por cento dos itens elegíveis. Quando usava um modelo estruturado com seções específicas para regras e preferências, esse número saltava para quase 20 por cento. O erro mais comum era transformar uma preferência em um requisito, ou tratar uma tarefa de uma única vez como uma regra permanente. Por exemplo, um pedido para usar uma ferramenta específica apenas para o trabalho atual era frequentemente reescrito como uma regra de que a ferramenta deve sempre ser usada.

O estudo também testou duas correções populares que foram desenhadas para evitar a perda de instruções. Um método envolvia extrair as regras para uma lista separada, e o outro envolvia "fixar" (pinning) as regras para que aparecessem em cada resumo. Os pesquisadores descobriram que essas correções não ajudaram porque as instruções não estavam sendo perdidas, na verdade. Em vez disso, esses métodos tornaram o problema da inflação muito pior. O método de "fixação", em particular, fez a inflação disparar para mais de 50 por cento em alguns casos. Ao forçar o sistema a repetir as regras literalmente, os resumos perdiam o contexto que mostrava que aquelas regras eram temporárias. O sistema não conseguia mais distinguir entre uma regra permanente e um pedido pontual.

Finalmente, os pesquisadores verificaram se essas regras infladas realmente mudavam o comportamento do assistente digital. Eles descobriram que sim. Quando o resumo continha uma regra inflada, o assistente era significativamente mais propenso a aplicar essa regra a tarefas futuras onde ela não cabia. Embora os assistentes não seguissem as regras infladas em todos os casos, a taxa de erro era alta o suficiente para ser uma preocupação séria. O estudo conclui que a maneira atual de lidar com conversas longas precisa mudar. Simplesmente manter as regras não é o suficiente; o sistema também deve rastrear quanto tempo essas regras devem durar. Sem isso, o assistente digital corre o risco de se tornar um trabalhador rígido que segue instruções antigas e temporárias como se fossem leis eternas.