Predicting Replication from Domain-Stripped Fingerprints, Where Citations Fail

A ciência é construída sobre uma promessa simples: se você repetir um experimento, deve obter o mesmo resultado. No entanto, no mundo moderno da pesquisa, a forma mais famosa de julgar o valor de um estudo é contando quantas vezes outros cientistas o mencionam em seus próprios trabalhos. Essas menções, chamadas de citações, agem como um concurso de popularidade. Quanto mais um artigo é citado, mais valioso ele é presumido ser. Mas há uma suspeita crescente de que este sistema está quebrado. Um estudo pode ser extremamente popular e citado milhares de vezes simplesmente porque diz algo surpreendente ou novo, mesmo que essa descoberta desmorone quando alguém tenta repeti-la. De fato, algumas pesquisas sugerem que descobertas que não podem ser repetidas são frequentemente citadas até mais do que aquelas que podem. Isso cria um ponto cego perigoso onde a comunidade científica recompensa a atenção, mas ignora a verdade.

Um pesquisador da KU Leuven, Eryk Kulikowski, desenvolveu uma nova maneira de olhar para artigos científicos que separa essas duas ideias. Em vez de tentar reduzir o valor de um artigo a um único número, o estudo trata a qualidade da pesquisa como um perfil com dois lados distintos. Um lado é a novidade, que mede o quão surpreendente ou novo é um conceito. O outro é a verificabilidade, que mede a probabilidade de o resultado se manter se alguém repetir o experimento. O estudo argumenta que o atual sistema de citações vê apenas o primeiro lado. Ele recompensa a afirmação surpreendente, mas é quase cego para o fato de que essa afirmação é realmente sólida. Para corrigir isso, o pesquisador construiu uma ferramenta que pode ler o resumo de um artigo e prever se suas descobertas sobreviverão a um teste de repetição, sem precisar saber a condição médica ou a questão social específica que está sendo estudada.

O método funciona ao remover os detalhes específicos de um estudo para revelar sua estrutura subjacente. Imagine pegar uma máquina complexa, remover a pintura e as marcas para entender apenas as engrenagens e alavancas para compreender como ela funciona. O pesquisador usou um modelo de linguagem para ler milhares de resumos científicos e reescrevê-los em uma "impressão digital". Essa impressão digital descreve o design do estudo, o que foi medido e como os dados foram analisados, mas remove todo o jargão específico sobre doenças, populações ou produtos químicos. Isso permite que o computador compare um estudo sobre memória em humanos com um estudo sobre memória em ratos, ou um estudo sobre economia com um sobre psicologia, porque as impressões digitais focam na mecânica compartilhada de como a ciência foi feita.

Uma vez criadas essas impressões digitais, o pesquisador as testou contra um programa de computador simples e transparente. Este programa não utilizou algoritmos complexos e ocultos. Em vez disso, buscou palavras e frases específicas na impressão digital que tendiam a aparecer em estudos que foram repetidos com sucesso versus aqueles que falharam. Os resultados foram impressionantes. Quando a equipe testou este método em um banco de dados de quase quinhentos estudos de psicologia, ele previu corretamente se um estudo seria replicado cerca de sessenta e oito por cento das vezes. Isso é uma melhoria significativa em relação ao padrão atual, que depende da contagem de citações. De fato, quando a equipe verificou o quão bem as contagens de citações previam a replicação, o resultado não foi melhor do que um palpite aleatório. O sistema de citações foi completamente incapaz de dizer quais descobertas se sustentariam e quais não se sustentariam.

O estudo também provou que esta nova ferramenta não estava apenas aprendendo os nomes de diferentes campos científicos. Se o computador tivesse simplesmente aprendido que estudos de "psicologia social" falham com mais frequência do que estudos de "psicologia cognitiva", ele poderia ter tido uma boa pontuação sem realmente entender a ciência. Mas quando os pesquisadores testaram a ferramenta dentro de subcampos específicos, ela ainda funcionou tão bem quanto. Ela conseguiu distinguir entre um estudo sólido e um instável, mesmo quando ambos tratavam exatamente do mesmo tópico. Além disso, a ferramenta funcionou tão bem em um conjunto de dados completamente diferente de outro grande projeto de pesquisa, mostrando que o sinal encontrado era real e não um acaso de um conjunto de dados específico.

Talvez a descoberta mais importante tenha sido o que aconteceu quando os pesquisadores tentaram misturar os dois lados do valor da pesquisa. Eles pegaram sua medida de novidade e a adicionaram à ferramenta que prevê a replicação. O resultado foi que a previsão piorou. Isso confirmou que novidade e verificabilidade são coisas verdadeiramente separadas. Um estudo pode ser altamente inovador e altamente frágil, ou pode ser entediante e extremamente sólido. O sistema de citações atual falha porque carrega pesadamente no lado da novidade, recompensando o surpreendente e ignorando o sólido. Ao forçar esses dois conceitos em uma única pontuação, o sistema perde a capacidade de ver a parte mais importante: se a ciência é verdadeira.

Os pesquisadores também descobriram que esta nova abordagem não precisa ler o texto completo do artigo, que muitas vezes é inacessível. Funciona perfeitamente usando apenas o resumo, a breve síntese que aparece no início de cada artigo. Isso torna a ferramenta barata e fácil de usar para qualquer biblioteca ou banco de dados. Todo o processo é transparente; como o programa de computador é simples, os cientistas podem observar as palavras específicas que ele usou para tomar uma decisão e entender exatamente por que um artigo foi sinalizado como provável de replicar ou provável de falhar. Isso contrasta fortemente com outras ferramentas modernas que atuam como "caixas pretas", dando uma pontuação sem explicar como ela foi alcançada.

Fundamentalmente, este trabalho oferece uma nova maneira de pensar o valor científico. Sugere que devemos parar de tentar classificar cada artigo com um único número. Em vez disso, devemos olhar para um perfil que nos mostra tanto o quão nova é uma ideia quanto a probabilidade de ela ser verdadeira. A ferramenta desenvolvida neste estudo fornece uma maneira clara, honesta e transparente de medir a segunda parte dessa equação. Ela mostra que, embora não possamos sempre prever quais descobertas mudarão o mundo, podemos agora prever, com uma precisão razoável, quais descobertas resistirão ao teste do tempo. Essa mudança de perseguir a atenção para verificar a verdade pode ajudar cientistas, financiadores e o público a focar no trabalho que realmente se sustenta, em vez de apenas no trabalho que faz mais barulho.