📄 scientific communication and education

Estimating the replicability of Brazilian biomedical science

A Iniciativa de Reprodutibilidade Brasileira constatou que apenas 20–44% de 45 experimentos biomédicos selecionados foram replicados com sucesso, revelando tamanhos de efeito significativamente menores e maior variabilidade nas tentativas de replicação, ao mesmo tempo em que identificou desvios de protocolo, desafios de infraestrutura e taxas de publicação dos autores como fatores fundamentais que limitam a replicabilidade no Brasil.

Autores originais: Amaral, O. B., Carneiro, C. F. D., Neves, K., Sampaio, A. P. W., Gomes, B. V., Abreu, M. B. d., Tan, P. B., Mota, G. P. S., Goulart, R. N., Fernandes, N. R. d. S., Linhares, J. H., Ibelli, A. M. G., S

Publicado 2026-02-04

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Amaral, O. B., Carneiro, C. F. D., Neves, K., Sampaio, A. P. W., Gomes, B. V., Abreu, M. B. d., Tan, P. B., Mota, G. P. S., Goulart, R. N., Fernandes, N. R. d. S., Linhares, J. H., Ibelli, A. M. G., Sebollela, A., Andricopulo, A. D., Carvalho, A. A. V. d., Silva, A. P. e., Souza, A. S. O., Lima, A. C. C. d., Sousa, A. M. d., Birbrair, A., Borbely, A. U., Machado, A. M., Costa, A. d. C., Vasconcelos, A. P. d., Silva, A. H. B. d. L., Souza, A. d., Herrmann, A. P., Bastos, A. P. A., Nunes, A. C. C., Castrucci, A. M. d. L., Paula, A. B. R., Waltrick, A. P. F., Macedo, A. G. F. d., Mecawi, A. S., R

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine o mundo da pesquisa científica como uma cozinha enorme e movimentada, onde chefs (cientistas) constantemente publicam novas receitas (experimentos) alegando ter descoberto o segredo para o prato perfeito. Por anos, as pessoas se preocuparam: "Se eu tentar cozinhar esta receita na minha própria cozinha, terei o mesmo resultado delicioso ou será um desastre total?"

Este artigo é como um grande "Teste de Degustação" organizado pela Iniciativa Brasileira de Reprodutibilidade. Em vez de apenas confiar nos chefs originais, eles convidaram 56 cozinhas diferentes (laboratórios) em todo o Brasil para tentar cozinhar 56 receitas específicas que haviam sido publicadas anteriormente.

Veja como o experimento ocorreu:

O Menu: Eles focaram em três tipos muito comuns de técnicas culinárias: verificar a saúde celular (MTT), copiar instruções genéticas (RT-PCR) e testar a ansiedade em camundongos (Labirinto em Cruz Elevado).
O Desafio: 143 grupos diferentes tentaram recriar esses pratos. No entanto, assim como na vida real, algumas tentativas foram bagunçadas ou não seguiram as regras, então um painel independente de juízes descartou alguns dos resultados. Eles terminaram com 90 tentativas válidas cobrindo 45 receitas originais.
O Veredito: Os resultados foram mistos. Dependendo de quão rigorosos os juízes fossem, apenas 20% a 44% das replicações realmente combinaram com o "prato perfeito" original.
A Diferença de Sabor: Quando as cozinhas de replicação tiveram sucesso, os resultados foram frequentemente muito mais fracos do que o original. Em média, a "intensidade do sabor" (a diferença entre os grupos) foi 58% menor do que o originalmente reivindicado. Além disso, os resultados foram muito mais "salgados ou doces" dependendo de quem estava cozinhando (os resultados foram 82% mais variáveis).

Por que as receitas falharam ao replicar?

O artigo encontrou alguns padrões interessantes:

Os Pratos "Fáceis": As receitas que originalmente eram consideradas as mais difíceis de cozinhar foram, na verdade, as que melhor replicaram.
Os Chefs Famosos: Se a receita original foi escrita por um chef que havia publicado muitas receitas recentemente, a replicação era menos provável de funcionar. É como se o chef famoso estivesse tão ocupado que não escreveu as instruções com clareza suficiente.
O "Pressentimento": Curiosamente, os cientistas tentando replicar o trabalho eram frequentemente muito bons em adivinhar se sua tentativa teria sucesso ou falha.
O Caos na Cozinha: Uma razão importante para a falha não foi necessariamente a falta de habilidade culinária, mas o fato de que as instruções originais (protocolos) eram impossíveis de seguir exatamente. As cozinhas de replicação muitas vezes tiveram que mudar os passos porque seus equipamentos eram diferentes, seus camundongos eram diferentes ou a logística de seus edifícios não correspondia à configuração original.

A Conclusão

Este estudo não diz que a ciência brasileira é "ruim". Em vez disso, ele destaca que as "receitas" publicadas no passado muitas vezes dependiam de condições específicas que são difíceis de copiar em outros lugares. O artigo sugere que, para obter resultados melhores e mais confiáveis no futuro, os cientistas precisam escrever instruções mais claras e reconhecer que sua "cozinha" pode não funcionar exatamente como a de todos os outros. É um chamado para tornar a ciência mais transparente e robusta, para que, quando uma nova receita for publicada, qualquer um possa cozinhá-la e obter o mesmo sabor incrível.

Resumo Técnico: Estimando a Replicabilidade da Ciência Biomédica Brasileira

Problema
Apesar das crescentes preocupações globais em relação à replicabilidade e reprodutibilidade de pesquisas publicadas, os dados empíricos necessários para informar políticas permanecem escassos. Essa lacuna é particularmente aguda no contexto da pesquisa biomédica brasileira, que passou por uma rápida expansão nas últimas três décadas, mas carece de uma avaliação sistemática da confiabilidade de seus achados.

Metodologia
Para abordar essa questão, os autores estabeleceram a Iniciativa Brasileira de Reprodutibilidade, um projeto de replicação multicêntrico projetado para testar experimentos publicados da ciência brasileira. A iniciativa focou em três métodos experimentais comuns:

O ensaio MTT (viabilidade celular).
Reação em cadeia da polimerase com transcrição reversa (RT-PCR).
Labirinto em cruz elevado (EPM) (comportamento relacionado à ansiedade em roedores).

O estudo envolveu 56 laboratórios realizando um total de 143 replicações de 56 experimentos originais. Um comitê independente avaliou a qualidade dessas replicações, identificando 90 replicações válidas de 45 experimentos para análise final. O estudo utilizou cinco critérios predefinidos para determinar o sucesso da replicação e analisou vários fatores estatísticos e contextuais, incluindo tamanhos de efeito, coeficientes de variação, previsões dos pesquisadores e taxas de publicação dos autores originais.

Principais Resultados
A análise gerou vários achados críticos sobre o estado da replicabilidade na região:

Taxas de Replicação: As taxas de sucesso para os experimentos variaram entre 20% e 44%, dependendo dos critérios específicos aplicados.
Tamanho do Efeito e Variabilidade: Em termos medianos, as razões entre as médias dos grupos nas replicações foram 58% menores do que as relatadas nos experimentos originais. Por outro lado, os coeficientes de variação nas replicações foram 82% maiores.
Fatores Preditivos:
- As reduções no tamanho do efeito foram menos pronunciadas em experimentos de MTT, em resultados originais que exibiam menor variabilidade e em estudos originalmente considerados mais desafiadores de replicar.
- Os valores de $t$ nas replicações mostraram uma correlação positiva com as previsões dos pesquisadores em relação à replicabilidade.
- Os valores de $t$ mostraram uma correlação negativa com a taxa de publicação do último autor dos artigos originais.
Desvios de Protocolo: Desvios dos protocolos pré-registrados foram frequentes durante o processo de replicação. Estes foram atribuídos principalmente a fatores inerentes aos modelos experimentais ou a questões relacionadas à infraestrutura e logística, em vez de mudanças intencionais de protocolo.

Significância e Alegações
O artigo conclui que seus resultados destacam fatores específicos que limitam a replicabilidade dos achados publicados por pesquisadores no Brasil. Ao quantificar a discrepância entre os resultados originais e replicados e identificar os obstáculos logísticos e metodológicos envolvidos, o estudo sugere caminhos através dos quais esse cenário pode ser melhorado. O trabalho serve como uma base empírica para abordar as preocupações com a reprodutibilidade dentro da comunidade científica brasileira, visando promover um ambiente de pesquisa mais robusto sem extrapolar a universalidade dos achados além do contexto específico do estudo.

Mais como este