Imagine um assistente digital que pode ler bibliotecas inteiras, escrever softwares complexos ou gerenciar um projeto de pesquisa ao longo de semanas. Para fazer isso, o assistente mantém um registro contínuo de tudo o que viu e fez, um histórico que cresce a cada ação. Esse histórico é armazenado em um espaço de memória temporário chamado janela de contexto. Embora essas janelas sejam vastas, comportando centenas de milhares de palavras, elas não são infinitas. Quando uma tarefa se prolonga demais, a memória se enche e o assistente corre o risco de esquecer os detalhes mais importantes do início. Para resolver isso, engenheiros utilizam uma técnica chamada sumarização. A ideia é simples: antes que a memória fique muito cheia, o assistente condensa seu histórico longo em uma versão mais curta e densa, descartando o ruído enquanto mantém o sinal, e então continua seu trabalho a partir desse resumo. É uma forma digital de tomar notas para se lembrar de uma longa conversa.

No entanto, um novo estudo de pesquisadores da Universidade Estadual da Pensilvânia sugere que essa rede de segurança está falhando de uma maneira sutil, mas crítica. Os pesquisadores investigaram se esses modelos de inteligência artificial poderiam realmente ser instruídos a manter mais detalhes ao resumir. Eles queriam saber se, conforme o histórico crescesse, o resumo também poderia crescer, preservando uma fração constante da informação original. Em vez disso, descobriram que os modelos possuem um limite rígido. Não importa o quão longa a história se torne, o resumo permanece aproximadamente do mesmo tamanho, reduzindo a quantidade de informação retida a uma fração minúscula. Mesmo quando humanos pedem explicitamente ao computador para escrever um resumo mais longo, o computador se recusa a cumprir, mantendo seus próprios hábitos curtos. Os pesquisadores descobriram que a única maneira de mudar esse comportamento não é pedindo gentilmente, mas re-treinando o computador com exemplos de resumos mais longos.

A equipe testou esse comportamento em onze modelos de linguagem de grande escala diferentes, variando de assistentes de uso geral a ferramentas especializadas em codificação e raciocínio. Eles alimentaram esses modelos com entradas que cresciam de meras mil palavras até cem mil palavras, usando tanto documentos longos quanto registros reais de um agente resolvendo problemas de programação. Em um sistema perfeito, se a entrada crescesse cem vezes, o resumo deveria crescer proporcionalmente para manter o mesmo nível de detalhe. Em vez disso, os modelos se comportaram como se estivessem presos em um vício. À medida que a entrada inchava para cem mil palavras, os resumos mal cresciam. Na verdade, nessa escala massiva, menos de um por cento da entrada original sobreviveu no resumo. Para um documento desse tamanho, isso significa que, para cada cem frases no texto original, apenas cerca de uma frase chegou ao resumo final. O restante foi perdido. Esse padrão manteve-se verdadeiro independentemente de o modelo ter sido projetado para escrita de código, conversação geral ou raciocínio complexo. O tamanho do modelo em si não ajudou; mesmo os maiores e mais poderosos modelos produziram resumos que eram excessivamente curtos para a tarefa.

Os pesquisadores então tentaram uma abordagem mais direta. Eles suspeitaram que os modelos pudessem apenas precisar de uma instrução mais clara. Eles pegaram as mesmas entradas massivas e adicionaram comandos específicos ao prompt, dizendo aos modelos para escreverem resumos de um certo comprimento, medido em palavras, caracteres ou tokens. Eles pediram resumos que tivessem um quarto, um terço ou até metade do tamanho do texto original. Os resultados foram frustrantemente consistentes. Embora os modelos tenham escrito resumos ligeiramente mais longos quando solicitados, eles atingiram um teto rígido muito rapidamente. Se os pesquisadores pedissem um resumo de dezesseis mil palavras, os modelos paravam de escrever após alguns milhares, ignorando o restante do pedido. Os modelos pareciam incapazes de estender sua produção para corresponder à demanda, independentemente de como o comprimento era medido ou como o pedido era formulado. As instruções proporcionaram um pequeno aumento no comprimento, mas nada perto de suficiente para evitar a perda de detalhes críticos.

Isso levou os pesquisadores a uma conclusão surpreendente: o problema não está no prompt ou na entrada, mas nos dados de treinamento. Para provar isso, eles pegaram dois dos modelos e realizaram um re-treinamento leve, ou ajuste fino (fine-tuning), usando apenas resumos de diferentes comprimentos. Um grupo foi treinado em resumos muito curtos, e outro em resumos muito mais longos. Quando testaram esses modelos re-treinados com as mesmas instruções neutras, os resultados mudaram dramaticamente. O modelo treinado em resumos curtos escreveu textos ainda mais curtos, enquanto o treinado em resumos longos escreveu textos significativamente mais longos, mesmo que o prompt nunca mencionasse o comprimento. Isso sugere que os modelos aprenderam um hábito padrão de brevidade de seus dados de treinamento, um hábito que sobrepõe qualquer pedido para fazer o contrário. O comprimento do resumo não é um cálculo flexível baseado no tamanho da entrada; é um comportamento rígido incrustado no DNA do modelo.

As implicações para agentes autônomos são significativas. Esses sistemas dependem da sumarização para sobreviver a tarefas longas, mas se o resumo for curto demais, informações vitais como um caminho de arquivo, uma tentativa fracassada ou uma restrição específica são perdidas para sempre. Uma vez perdidas, o agente não pode recuperá-las e deve gastar tempo redescobrindo-as ou prosseguir cegamente. O estudo mostra que simplesmente pedir a um agente para "lembrar mais", solicitando um resumo mais longo, não é uma correção confiável. A solução não reside em melhores prompts, mas em mudar os dados usados para treinar os sumarizadores. Até que os dados de treinamento ensinem esses modelos a preservar mais detalhes conforme o contexto cresce, os assistentes digitais nos quais confiamos para tarefas de longo prazo continuarão a perder sua memória, um resumo pequeno e imutável de cada vez.