Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

Imagine o mundo da pesquisa biomédica como uma cozinha gigantesca onde os cientistas estão constantemente cozinhando novas receitas (seus estudos). Por muito tempo, essas receitas só eram servidas ao público após um rigoroso "teste de sabor" por um painel de críticos especialistas (revisão por pares). Mas recentemente, os chefs começaram a postar suas receitas brutas e não testadas em um mural público chamado preprint (como o bioRxiv) para que todos possam vê-las imediatamente.

Algumas pessoas se preocupam porque, como essas receitas ainda não foram testadas, elas podem estar cheias de erros ou exageros. Este estudo decidiu resolver essa preocupação analisando 72.644 pares de receitas: a versão original postada no mural e a versão final, aprovada e servida no restaurante, após os críticos darem seu selo de aprovação.

Aqui está o que os pesquisadores descobriram, usando um assistente de IA superinteligente (como um editor muito cuidadoso) para comparar as duas versões:

1. A Mensagem Central Permanece a Mesma

Pense na afirmação principal de um estudo como a manchete de uma notícia. Os pesquisadores descobriram que, para quase 90% dos estudos, a manchete não mudou muito.

• 40% das vezes, a manchete era exatamente a mesma.
• 50% das vezes, a manchete recebeu um pouco de polimento ou um pequeno ajuste, como mudar de "Encontramos a cura" para "Encontramos um tratamento promissor".
• Apenas 10% das vezes a manchete passou por uma transformação completa.

Em outras palavras, a "alma" da pesquisa geralmente sobrevive à jornada do mural até a publicação final intacta.

2. Cientistas Tornam-se Mais Cautelosos, Não Mais Confiantes

Quando os cientistas postam um preprint, eles costumam estar entusiasmados e confiantes. Após os críticos revisarem seu trabalho, eles tendem a reduzir o entusiasmo ligeiramente.

• Imagine um cientista dizendo: "Este medicamento é um milagre!" no preprint.
• No artigo final, ele pode mudar para: "Este medicamento mostra resultados promissores".
• O estudo descobriu que os cientistas tinham duas vezes mais chances de se tornarem mais cuidadosos e cautelosos após a revisão do que de se tornarem mais confiantes. Eles raramente faziam com que suas afirmações soassem mais dramáticas depois que os críticos analisaram o trabalho.

3. O Tempo Importa, Mas as Tendências Estão Melhorando

• O Jogo da Espera: Se um estudo ficou na fila de revisão por muito tempo (na "pista lenta"), ele tinha mais chances de sofrer uma reescrita importante (14% de chance) em comparação com aqueles que foram revisados rapidamente (7% de chance). Parece que quanto mais tempo os críticos mastigarem uma receita, mais provável é que peçam uma mudança total na receita.
• Melhorando: Ao longo dos anos (de 2019 a 2024), a necessidade de reescritas importantes caiu significativamente. É como se os chefs estivessem ficando melhores em escrever suas receitas antes mesmo de enviá-las aos críticos.

4. A "Rede de Segurança do Preprint"

O estudo também notou algo interessante sobre os artigos que nunca passaram pelo mural. Esses artigos foram retratados (retirados dos registros por estarem errados) a uma taxa duas vezes maior do que os artigos que começaram como preprints. É como se postar uma receita antecipadamente e deixar o público vê-la primeiro funcionasse como uma verificação de segurança, capturando erros antes que eles se tornem permanentes.

A Conclusão

A principal lição é simples: Os preprints são uma fonte confiável de verdade.

Só porque um estudo científico ainda não foi "oficialmente" publicado, não significa que suas principais descobertas sejam palpites selvagens. A jornada do mural do preprint até a publicação final geralmente envolve apenas um pouco de polimento, não uma reescrita completa. As afirmações centrais da maioria das pesquisas biomédicas são sólidas, mesmo antes de os críticos finais darem sua aprovação.