Can Scientific Claims Be Removed from Large Language Models? A Systematic Evaluation of Claim-Level Unlearning

Os sistemas modernos de inteligência artificial, frequentemente chamados de grandes modelos de linguagem, atuam como vastas bibliotecas do conhecimento humano. Eles são treinados ao ler coleções enormes de textos, incluindo artigos científicos, para aprender como responder perguntas e resolver problemas. No entanto, a ciência não é um arquivo estático; é um processo vivo e pulsante de revisão constante. Quando um novo estudo prova que uma ideia antiga está errada, ou quando um artigo é retratado devido a erros, o registro científico se atualiza. O problema é que esses modelos de IA não se atualizam automaticamente. Uma vez que aprenderam um fato, eles tendem a se apegar a ele, mesmo depois que a comunidade científica o declarou falso. Isso cria um risco onde uma IA pode repetir com confiança informações desatualizadas ou refutadas, potencialmente induzindo pesquisadores ao erro ou até causando danos em campos como a medicina.

Para enfrentar isso, pesquisadores desenvolveram uma técnica chamada desaprendizado de máquina (machine unlearning). O objetivo é ensinar um modelo a "esquecer" partes específicas de informação enquanto mantém sua capacidade de responder outras perguntas intacta. Imagine um bibliotecário que deve remover um livro específico e incorreto das prateleiras sem perturbar o restante da biblioteca ou perder a capacidade de encontrar outros livros. Embora isso tenha sido testado para remover dados pessoais ou material protegido por direitos autorais, os cientistas ainda não descobriram como remover efetivamente alegações científicas específicas. Essas alegações são complicadas porque são profundamente interconectadas; saber um fato muitas vezes depende da compreensão de muitos outros. Se você tentar remover um fato, o modelo pode simplesmente aprender a reformulá-lo ligeiramente para manter o conhecimento vivo, ou pode acidentalmente esquecer todo o resto.

Uma equipe de pesquisadores da TCS Research e da Universidade de Yale decidiu resolver esse problema específico. Eles criaram um novo ambiente de teste chamado SciUnlearn para ver se os modelos de IA atuais podiam realmente esquecer alegações científicas. Eles construíram um conjunto de dados usando artigos científicos reais de ciência da computação e medicina, incluindo um conjunto de artigos que foram oficialmente retratados. Para cada artigo, eles extraíram as alegações científicas centrais e as transformaram em vários tipos de perguntas, como múltipla escolha, verdadeiro ou falso e preenchimento de lacunas. Para garantir que o teste fosse justo, eles dividiram as perguntas em dois grupos: um grupo para ensinar o modelo a esquecer e outro grupo de perguntas reformuladas baseadas nos mesmos fatos subjacentes para ver se o modelo realmente havia esquecido o conceito ou apenas memorizou as perguntas específicas.

Os pesquisadores então pegaram métodos de desaprendizado existentes e os aplicaram a esses modelos. Eles pediram aos modelos que esquecessem o primeiro grupo de perguntas e, em seguida, testaram o desempenho deles nas perguntas reformuladas, bem como em perguntas de conhecimento geral, para garantir que os modelos não tivessem se tornado inúteis. Os resultados foram reveladores. Os métodos funcionaram bem ao fazer os modelos falharem nas perguntas específicas para as quais foram treinados para esquecer. No entanto, ao serem confrontados com as perguntas reformuladas que testavam a mesma alegação científica subjacente, os modelos frequentemente ainda acertavam as respostas. Isso sugere que os modelos não estavam realmente removendo o conhecimento, mas apenas suprimindo os padrões específicos de palavras usados nas perguntas de treinamento. Era como se o modelo tivesse aprendido a ignorar uma frase específica em vez de apagar o fato por trás dela.

O estudo também observou o quão bem os modelos lembravam de outras informações não relacionadas. Alguns métodos que tentavam esquecer as alegações alvo também degradaram acidentalmente a capacidade dos modelos de responder a perguntas gerais, enquanto outros conseguiram manter o restante do conhecimento intacto. Os pesquisadores descobriram que a dificuldade de esquecer uma alegação dependia de quão profundamente ela estava inserida na literatura científica. Alegações de artigos que eram citados frequentemente por muitos outros estudos eram muito mais difíceis de remover. Essas ideias altamente citadas eram reforçadas por uma ampla teia de textos relacionados, tornando-as resistentes a serem apagadas por uma única tentativa de desaprendizado. Em contrapartida, alegações de artigos menos citados eram mais fáceis de interromper, mas, mesmo assim, o esquecimento era frequentemente limitado à forma superficial exata da pergunta.

Em última análise, o estudo conclui que os métodos atuais ainda não são capazes de um verdadeiro desaprendizado de alegações científicas. Eles podem esconder instâncias específicas de conhecimento, mas lutam para remover a compreensão conceitual subjacente. Os pesquisadores sugerem que trabalhos futuros precisam focar em métodos que possam visar essas conexões estruturais mais profundas dentro do conhecimento do modelo, em vez de apenas suprimir padrões de superfície. Até lá, esses modelos de IA podem continuar carregando o peso da ciência obsoleta, mantendo fatos que o resto do mundo já deixou para trás.