💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

Este artigo apresenta o ScienceMeter, um framework para avaliar atualizações de conhecimento científico em Grandes Modelos de Linguagem por meio de três métricas — preservação, aquisição e projeção — revelando que os métodos de atualização atuais têm dificuldade em manter o conhecimento existente enquanto aprendem fatos novos e antecipam futuros avanços científicos.

Autores originais: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Publicado 2026-07-22✓ Author reviewed ⓘ

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô bibliotecário superinteligente que leu quase todos os livros já escritos até um determinado ano. Este bibliotecário é incrível em responder perguntas sobre história, ciência e cultura pop daquela época. Mas há um porém: o mundo não para de girar. Novos artigos científicos são publicados todos os dias, revelando descobertas inéditas que o bibliotecário ainda não viu. Se você perguntar a este robô sobre uma descoberta que aconteceu ontem, ele pode dizer com confiança algo errado, ou pode apenas dizer: "Eu não sei", porque seu cérebro está congelado no passado. Este é o problema do "conhecimento obsoleto" para a Inteligência Artificial. Cientistas estão tentando descobrir como alimentar esses robôs com novas informações sem fazer com que eles esqueçam o que já sabiam ou causem alucinações de fatos incorretos e absurdos. É como tentar ensinar um novo capítulo de um livro didático a um aluno sem que ele esqueça os capítulos anteriores ou invente seus próprios fatos falsos para preencher as lacunas.

Apresentamos o ScienceMeter, um novo framework criado por pesquisadores da Universidade de Washington para testar exatamente o quão bem podemos atualizar esses cérebros de IA com novos conhecimentos científicos. Pense nos pesquisadores como "mecânicos de conhecimento" tentando fazer a manutenção de um motor de alto desempenho. Eles não perguntaram apenas: "O robô aprendeu as coisas novas?". Em vez disso, construíram um teste de estresse de três partes para ver se o robô conseguia:

Lembrar das coisas antigas (Preservação): Ele esqueceu o básico que aprendeu anos atrás?
Aprender as coisas novas (Aquisição): Ele realmente entendeu os novos artigos que acabou de ler?
Supor as coisas futuras (Projeção): Ele conseguiria usar o que acabou de aprender para fazer um palpite inteligente sobre uma descoberta que ainda não aconteceu?

Para realizar este teste, eles criaram um conjunto de dados massivo cobrindo dez campos científicos diferentes, da ciência da computação à medicina. Eles trataram o conhecimento científico como uma linha do tempo: artigos do "Passado" (o que o robô já sabia), "Novos" artigos (o que tentaram ensinar a ele) e artigos do "Futuro" (o que eles esperavam que o robô pudesse prever). Eles então tentaram cinco métodos diferentes para atualizar o cérebro do robô, variando desde simplesmente ler os novos artigos durante uma conversa (inferência) até realmente treinar o cérebro do robô com os novos dados (treinamento).

Os resultados foram um choque de realidade. Mesmo os melhores métodos tiveram dificuldade em fazer as três coisas ao mesmo tempo. O método de atualização com melhor desempenho conseguiu manter 85,9% do conhecimento antigo seguro, aprendeu com sucesso 71,7% do novo conhecimento, mas só conseguiu projetar 37,7% do conhecimento futuro. Em outras palavras, o robô era muito bom em lembrar o passado, razoável em aprender o presente, mas ainda muito instável ao prever o futuro.

O estudo também descobriu que o tamanho do robô importava. Modelos maiores e mais poderosos eram surpreendentemente bons em aprender coisas novas apenas lendo-as durante uma conversa (inferência), quase como um aluno gênio que consegue aprender um novo assunto apenas lendo um livro didático uma única vez. No entanto, modelos menores precisavam ser "retreinados" do zero para aprender as novas coisas de forma eficaz; apenas mostrar a nova informação não era suficiente para eles.

Talvez a descoberta mais interessante seja que o tipo de ciência importava. Em campos onde o conhecimento muda lentamente, como a ciência política, os robôs se saíam muito bem ao lembrar e prever. Mas em campos de rápida evolução, como a ciência dos materiais, onde novas descobertas acontecem constantemente, os robôs ficavam confusos muito mais rápido. Os pesquisadores sugerem que, quanto mais volátil é um campo, mais difícil é para uma IA manter seu conhecimento atualizado sem misturar as coisas.

Em última análise, o artigo conclui que, embora estejamos melhorando na atualização de IAs, ainda não deciframos o código. Não existe um botão mágico que permita que uma IA aprenda ciência nova, mantenha todos os seus fatos antigos e preveja o futuro, tudo ao mesmo tempo. Os pesquisadores argumentam que desenvolver um método que possa verdadeiramente equilibrar esses três objetivos é um dos maiores desafios restantes para tornar a IA uma parceira confiável para a verdadeira descoberta científica. Eles alertam que, se não resolvermos isso, nossas ferramentas de IA podem se tornar especialistas confiantes na ciência de ontem, enquanto permanecem completamente perdidas em relação aos avanços de amanhã.

Resumo Técnico: SCIENCEMETER

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para apoiar a pesquisa científica, mas a sua natureza estática de pré-treinamento torna o seu conhecimento científico rapidamente desatualizado devido ao ritmo acelerado do avanço científico. Embora existam estratégias de atualização genéricas (por exemplo, pré-treinamento contínuo, ajuste de instrução, RAG), permanece incerto se estes métodos podem apoiar eficazmente os requisitos complexos da evolução do conhecimento científico. Especificamente, atualizações eficazes devem fazer mais do que meramente injetar nova informação; devem preservar o conhecimento existente, incorporar novas descobertas sem distorção e permitir a generalização para raciocinar sobre reivindicações científicas futuras ou não descobertas. Os atuais quadros de avaliação focam-se frequentemente em retenção de factos genéricos ou simples injeção de conhecimento, falhando em capturar as nuances do raciocínio científico, da confiança e da capacidade de projetar avanços futuros.

Metodologia: O Framework SCIENCEMETER

Os autores introduzem o SCIENCEMETER, um framework abrangente concebido para avaliar as atualizações de conhecimento científico através de três dimensões temporais: Passado (preservação), Presente (aquisição) e Futuro (projeção).

1. Construção do Dataset

O framework utiliza um dataset curado que abrange dez domínios científicos de rápida evolução (Ciência da Computação, Medicina, Biologia, Ciência dos Materiais, Psicologia, Negócios, Ciência Política, Ciência Ambiental, Ciências Agrárias e Alimentares, e Educação).

Coleção de Artigos: Para cada domínio, 1.000 artigos foram recuperados via Semantic Scholar. Os artigos são categorizados cronologicamente em:
- Anterior ( $P_{prior}$ ): Publicado antes do corte de treino do modelo.
- Novo ( $P_{new}$ ): Publicado após o corte, mas antes de um corte "recente".
- Futuro ( $P_{future}$ ): Publicado após o corte "recente", servindo como um proxy para o conhecimento que o modelo ainda não viu.
Geração de Reivindicações Sintéticas: Para cada artigo, o framework gera reivindicações científicas atómicas (declarações verificáveis sobre um único aspeto de uma entidade ou processo). Utilizando o GPT-4O, o sistema gera:
- Reivindicações de SUPORTE (SUPPORT): Unicamente suportadas pelo artigo específico.
- Reivindicações de REFUTAÇÃO (REFUTE): Relevantes para o tópico, mas não suportadas pelo artigo.
- A avaliação de especialistas por estudantes de doutoramento confirmou que ~90,2% das reivindicações geradas aderem estritamente a estas regras.

2. Tarefas de Avaliação

O conhecimento científico é avaliado através de duas tarefas, aferindo tanto a precisão factual como a confiança do modelo:

Julgamento de Reivindicação: O modelo verifica se uma reivindicação é suportada ou refutada por um determinado artigo (para Prior/New) ou prevê a validade de uma reivindicação com base no conhecimento interno (para Future).
Geração de Reivindicação: O modelo gera uma reivindicação de suporte dado o título de um artigo (Prior/New) ou um assunto de investigação (Future).
Categorização de Conhecimento: As respostas do modelo são classificadas como Corretas (precisas + confiantes), Incorretas (imprecisas + confiantes) ou Desconhecidas (baixa confiança).

3. Métricas Principais

O SCIENCEMETER define três métricas primárias para quantificar o desempenho da atualização:

Preservação de Conhecimento: A percentagem de reivindicações anteriormente corretas em $P_{prior}$ $P_{p r i or}$ que permanecem corretas após a atualização.
- Distorção: Reivindicações anteriormente corretas que se tornam incorretas (erro de alta confiança).
- Perda: Reivindicações anteriormente corretas que se tornam desconhecidas.
Aquisição de Conhecimento: A proporção de reivindicações desconhecidas em $P_{new}$ $P_{n e w}$ que se tornam corretas após a atualização.
- Distorção: Reivindicações desconhecidas que se tornam incorretas.
- Perda: Reivindicações desconhecidas que permanecem desconhecidas.
Projeção de Conhecimento: A percentagem de reivindicações desconhecidas em $P_{future}$ $P_{f u t u r e}$ que o modelo prevê corretamente após a atualização, demonstrando a capacidade de extrapolação.
- Perda: Reivindicações futuras que permanecem desconhecidas.

4. Configuração Experimental

O framework avaliou cinco métodos representativos de atualização de conhecimento através de modelos padrão (LLaMA3.1-8B) e de fronteira (OLMo2-32B) no domínio da Ciência da Computação:

Pré-treinamento Contínuo (CNT PRETRAIN): Treino autorregressivo em novos dados.
Ajuste de Instrução Padrão (INST TUNE): Fine-tuning em pares de QA derivados de novos dados.
Pré-ajuste de Instrução (PRE INST TUNE): Ajuste de instrução antes do pré-treinamento contínuo.
Inferência (INFER): Injeção de contexto estilo RAG (Retrieval-Augmented Generation) no momento da inferência.
Combinado (INST TUNE + INFER): Uma abordagem híbrida.

A confiança foi estimada usando uma votação majoritária de três métodos: prompting de "Mais Informação", consistência de resposta entre paráfrases e análise de confiança linguística via GPT-4O.

Resultados Principais

Os experimentos revelam que nenhum método individual alcança simultaneamente os três objetivos (Preservação, Aquisição e Projeção).

Teto de Desempenho: O método com melhor desempenho (Ajuste de Instrução Padrão) alcançou:
- 85,9% de Preservação de Conhecimento.
- 71,7% de Aquisição de Conhecimento.
- 37,7% de Projeção de Conhecimento.
Disparidade de Tamanho de Modelo: Métodos baseados em inferência (INFER) superaram significativamente os métodos baseados em treino para modelos maiores (OLMo2-32B), mostrando uma pontuação de preservação 10,9% superior. Inversamente, modelos menores (LLaMA-8B) exigiram abordagens baseadas em treino para alcançar um desempenho comparável, pois tiveram dificuldade em filtrar o ruído em configurações de apenas contexto.
Gravidade do Erro: Nas tarefas de geração, que são mais desafiadoras, a distorção (erros de alta confiança) foi significativamente superior à perda (incerteza), com uma média três vezes superior. Isto sugere que os métodos de atualização frequentemente introduzem alucinações confiantes em vez de simplesmente falharem na aprendizagem.
Correlação Cross-Domain: O desempenho variou por domínio. Domínios com alta volatilidade (medida pela média de citações), como Ciência dos Materiais e Ciência Ambiental, mostraram pontuações de preservação e projeção mais baixas. Por outro lado, domínios estáveis como Ciência Política mostraram um desempenho superior. A disponibilidade do corpus de pré-treinamento teve um impacto limitado nas capacidades de aquisição.
LLMs Científicos: Aplicar o framework a modelos específicos de domínio (ex: HoneyBee para Ciência dos Materiais) não trouxe melhorias significativas em relação aos modelos de propósito geral de tamanho semelhante, indicando que o pré-treinamento especializado por si só não resolve o desafio da atualização.

Significância e Alegações

O artigo postula que o desenvolvimento de mecanismos robustos de atualização de conhecimento científico é tanto crucial quanto desafiante. Os autores afirmam:

Novo Paradigma de Avaliação: O SCIENCEMETER é o primeiro framework a avaliar explicitamente a "projeção" de conhecimento científico futuro, indo além da retenção estática de factos para avaliar a capacidade de um modelo antecipar tendências emergentes e raciocinar sobre reivindicações não descobertas.
Limitações dos Métodos Atuais: As estratégias de atualização existentes são insuficientes para o domínio científico. Elas lutam para equilibrar o tríade de preservar o conhecimento antigo, adquirir novos factos e generalizar para conceitos futuros.
Importância da Confiança: Avaliar o conhecimento científico sem considerar a confiança do modelo é insuficiente. Erros de alta confiança (distorção) são particularmente perigosos em contextos científicos, podendo levar à propagação de hipóteses incorretas.
Volatilidade do Domínio: A dificuldade de atualizar LLMs está intrinsecamente ligada à volatilidade do domínio científico, sugerindo que uma estratégia de atualização "tamanho único" dificilmente terá sucesso em todos os campos científicos.

Os autores concluem que, embora os LLMs mostrem potencial para auxiliar a descoberta científica, a sua integração em fluxos de trabalho científicos requer novos mecanismos de atualização que possam lidar de forma fiável com a natureza dinâmica, contraditória e rapidamente evolutiva da literatura científica.