Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs

Imagine um grande modelo de linguagem como um assistente muito atento que consegue manter uma conversa, lembrar de detalhes e atualizar seu conhecimento conforme novas informações chegam. No mundo real, esses assistentes são frequentemente solicitados a rastrear fatos que mudam: um horário de reunião que muda das duas para as três e depois para as quatro horas, ou uma preferência de um usuário que evolui ao longo de um longo diálogo. Para que esses sistemas sejam úteis, eles devem não apenas lembrar da atualização mais recente, mas também ignorar as versões antigas e agora incorretas. Este fenômeno, conhecido como interferência proativa, é um modo de falha documentado onde o acúmulo de atualizações passadas torna mais difícil recordar a verdade presente, espelhando uma dificuldade semelhante encontrada na memória de trabalho humana.

À medida que esses modelos passam dos laboratórios de pesquisa para as aplicações cotidianas, os desenvolvedores enfrentam um desafio prático: como executá-los de forma eficiente em hardware padrão. Para economizar memória e acelerar o processamento, a indústria adotou amplamente uma técnica chamada quantização pós-treinamento. Esse processo comprime os números internos do modelo, reduzindo sua precisão de um formato de alta fidelidade para uma versão muito menor e mais grosseira. Uma crença comum surgiu de que essa compressão é segura, causando apenas uma perda negligenciável no desempenho geral. A suposição é que, embora os números sejam ligeiramente menos precisos, a inteligência central do modelo permanece intacta. Mas essa suposição nunca havia sido testada contra a tarefa específica e frágil de rastrear informações que mudam frequentemente.

Uma equipe de pesquisadores decidiu testar essa suposição diretamente. Eles pegaram três modelos de linguagem de código aberto populares e diferentes e os submeteram a um rigoroso teste de memória projetado para medir a interferência proativa. Neste teste, os modelos foram apresentados a um personagem cujos atributos, como cor favorita ou ocupação, eram atualizados repetidamente. O número de atualizações variou de apenas uma até o máximo de noventa e seis. Após a atualização final, os modelos foram solicitados a recordar apenas o valor mais recente. Os pesquisadores realizaram este mesmo teste em cada modelo usando três níveis diferentes de precisão: a versão original de alta fidelidade, uma versão comprimida de oito bits e uma versão altamente comprimida de quatro bits. Eles mantiveram a tarefa exatamente a mesma, alterando apenas a precisão dos números internos do modelo.

Os resultados revelaram um padrão claro e preocupante. Enquanto os modelos performavam quase perfeitamente quando utilizavam suas configurações originais de alta fidelidade, as versões altamente comprimidas de quatro bits tiveram dificuldades significativas quando o número de atualizações era alto. Em um dos modelos testados, a precisão caiu de oitenta e um por cento na versão de alta fidelidade para apenas sessenta e oito por cento na versão de quatro bits diante de um alto número de atualizações. Isso não foi uma flutuação menor; a análise estatística confirmou que a queda foi real e consistente em todos os três modelos diferentes testados. Os pesquisadores descobriram que os modelos comprimidos não estavam simplesmente cometendo erros aleatórios. Em vez disso, eles estavam especificamente confundindo a resposta atual com um dos valores antigos que haviam sido sobrescritos. Quando o modelo falhava, ele quase sempre escolhia um valor que fora verdadeiro anteriormente na conversa, mas que não era mais correto.

Crucialmente, o estudo mostrou que esse problema não foi causado por ruído geral ou uma simples perda de inteligência. A falha foi altamente específica ao tipo de informação sendo rastreada. Quando os pesquisadores testaram os modelos com valores numéricos, como preços de ações ou temperaturas, onde os números não compartilhavam significados semelhantes, a compressão de quatro bits quase não teve efeito negativo. Os modelos lidaram com as atualizações numéricas tão bem quanto as versões de alta fidelidade. Essa distinção é vital porque prova que a compressão não torna o modelo apenas "mais burro" de forma generalizada. Em vez disso, ela especificamente embaça as linhas entre coisas que são semanticamente semelhantes, tornando mais difícil para o modelo manter conceitos distintos separados quando são atualizados repetidamente.

Os pesquisadores também investigaram onde esse colapso ocorria no modelo. Eles descobriram que o problema se originava no corpo principal do modelo, a parte responsável por processar e manter informações, e não na camada final que produz a resposta. Isso sugere que o próprio processo de compressão está alterando a forma como o modelo representa ideias semelhantes, fazendo com que elas se sobreponham de uma maneira que leva à confusão. Além disso, o estudo desafiou a ideia de que um nível de compressão intermediário, usando oito bits, era completamente seguro. Embora a compressão de oito bits tenha tido um desempenho melhor do que a versão de quatro bits, os pesquisadores descobriram que ela ainda carregava uma penalidade pequena, mas mensurável, em dois dos três modelos testados. Isso indica que mesmo os níveis de compressão "mais seguros" não são inteiramente isentos de riscos para tarefas que envolvem atualizações frequentes.

Essas descobertas sugerem que a prática generalizada de comprimir modelos de linguagem para economizar recursos pode vir acompanhada de um custo oculto para aplicações que dependem do rastreamento de informações evolutivas e semanticamente densas. Para um chatbot gerenciando uma longa conversa ou um sistema rastreando as preferências em mudança de um usuário, os benchmarks padrão que mostram alta precisão geral podem estar escondendo uma vulnerabilidade específica. Os modelos podem parecer funcionar perfeitamente em testes gerais, mas, quando confrontados com um fluxo de atualizações onde o passado deve ser esquecido para se lembrar o presente, as versões comprimidas são mais propensas a tropeçar. O estudo conclui que, embora a compressão seja uma ferramenta poderosa para implantação, ela não é uma ferramenta neutra; ela erode seletivamente o mecanismo que permite a esses modelos resistir à confusão entre ideias semelhantes, uma falha que apenas testes direcionados podem revelar.