Citation language changes little after findings fail to replicate: a longitudinal analysis
Uma análise longitudinal de mais de 15.000 sentenças de citação revela que artigos subsequentes raramente ajustam sua linguagem para refletir replicações falhas ou mencionam evidências conflitantes, oferecendo aos leitores pouca indicação de se os achados originais foram replicados com sucesso.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
A ciência é frequentemente imaginada como uma máquina autocorretiva, onde novas evidências atualizam automaticamente a nossa compreensão do mundo. Quando um estudo é repetido e falha em produzir o mesmo resultado, a expectativa é que a comunidade científica note, faça uma pausa e ajuste a forma como fala sobre esse achado original. Este processo depende da linguagem que os investigadores utilizam ao citar trabalhos anteriores. Se uma afirmação se mostrou instável, as frases que descrevem essa afirmação em novos artigos deveriam, idealmente, tornar-se mais cautelosas ou, pelo menos, mencionar que o resultado original não pôde ser confirmado. É assim que o conhecimento deve evoluir: não apagando o passado, mas refinando a descrição do que sabemos e do que não sabemos.
Uma equipa de investigadores propôs-se a testar se esta autocorreção acontece, de facto, da forma como esperamos. Eles focaram-se numa questão específica: quando uma tentativa importante e planeada de repetir um estudo famoso falha, os autores de artigos posteriores alteram as palavras que utilizam para descrever esse achado original? Para encontrar a resposta, analisaram uma grande coleção de afirmações científicas da psicologia, economia e ciências sociais. Identificaram 110 estudos originais que tinham feito parte de três grandes projetos de replicação. Para cada um destes estudos, reuniram milhares de frases de artigos posteriores que citavam o trabalho original. Utilizaram depois modelos computacionais avançados para ler estas frases e pontuá-las numa escala de certeza, medindo o quão decisivamente os autores afirmavam a reivindicação original. Compararam a linguagem utilizada para achados que falharam na replicação com a linguagem utilizada para achados que foram repetidos com sucesso.
Os resultados revelaram uma falta de mudança impressionante. Os investigadores descobriram que a redação utilizada para descrever achados que falharam permaneceu quase idêntica à redação utilizada para os bem-sucedidos. Mesmo anos após uma tentativa de replicação ter mostrado que um resultado original não podia ser reproduzido, artigos posteriores continuavam a apresentar esses achados com o mesmo nível de confiança. Os modelos computacionais não detetaram qualquer mudança significativa em direção a uma linguagem mais cautelosa. De facto, a diferença de certeza entre os dois grupos foi tão pequena que era estatisticamente indistinguível de zero. O estudo também procurou menções explícitas à falha. Descobriram que, na vasta maioria dos casos, os autores não mencionavam a falha de replicação. Apenas uma pequena fração das frases, cerca de três a cinco em cada cem, reconhecia que o achado original tinha sido desafiado ou contradito.
Este padrão manteve-se ao longo do tempo. Os investigadores acompanharam a linguagem utilizada nos oito a onze anos seguintes à publicação dos resultados da replicação. Não encontraram qualquer deriva gradual em direção à cautela. As frases que descreviam as afirmações falhadas não se tornaram mais suaves ou qualificadas à medida que o tempo passava. Os autores do estudo sugerem que isto pode dever-se ao facto de os investigadores reutilizarem frequentemente frases estabelecidas sem reler a evidência original ou verificar novos dados contraditórios. A descrição original de um achado pode tornar-se uma parte fixa do registo científico, sendo transmitida de artigo em artigo como uma referência padrão, independentemente de a evidência subjacente ter sido abalada.
O estudo não afirma que os cientistas estejam a ignorar a evidência propositadamente, mas sim que o sistema de como os achados são comunicados possui uma espécie de inércia. Mesmo quando um achado se mostra pouco fiável, a forma como ele é descrito em novas investigações permanece frequentemente inalterada. Isto tem implicações para a forma como lemos a ciência e para como podemos construir ferramentas para nos ajudar a compreendê-la. Se a linguagem da ciência não reflete automaticamente quando uma descoberta falhou, então leitores, editores e até sistemas de inteligência artificial podem ser induzidos em erro, pensando que uma afirmação é mais sólida do que realmente é. Os investigadores concluem que, para a ciência se autocorrigir verdadeiramente, poderemos precisar de melhores formas de ligar os estudos originais diretamente aos seus resultados de replicação, garantindo que a história de um achado inclua os seus fracassos, e não apenas o seu sucesso inicial.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.