Estimating the replicability of Brazilian biomedical science

Imaginez le monde de la recherche scientifique comme une immense cuisine en pleine effervescence où des chefs (les scientifiques) publient constamment de nouvelles recettes (des expériences) affirmant avoir découvert le secret du plat parfait. Depuis des années, les gens s'inquiètent : « Si j'essaie de cuisiner cette recette dans ma propre cuisine, obtiendrai-je le même résultat délicieux, ou sera-ce un désastre total ? »

Ce document est comme un gigantesque « Test de Goût » organisé par l'Initiative Brésilienne pour la Reproductibilité. Au lieu de simplement faire confiance aux chefs originaux, ils ont invité 56 cuisines différentes (laboratoires) à travers le Brésil pour essayer de cuisiner 56 recettes spécifiques qui avaient été publiées auparavant.

Voici comment l'expérience s'est déroulée :

• Le Menu : Ils se sont concentrés sur trois types de techniques culinaires très courants : vérifier la santé des cellules (MTT), copier les instructions génétiques (RT-PCR) et tester l'anxiété chez les souris (Elevated Plus Maze).
• Le Défi : 143 groupes différents ont tenté de recréer ces plats. Cependant, comme dans la vraie vie, certaines tentatives étaient désordonnées ou ne respectaient pas les règles, donc un panel de juges indépendants a rejeté certains résultats. Ils se sont retrouvés avec 90 tentatives valides couvrant 45 recettes originales.
• Le Verdict : Les résultats étaient mitigés. Selon la sévérité des juges, seulement 20 % à 44 % des réplications correspondaient réellement au « plat parfait » d'origine.
• La Différence de Saveur : Lorsque les cuisines de réplication réussissaient, les résultats étaient souvent beaucoup moins intenses que l'original. En moyenne, l'« intensité de la saveur » (la différence entre les groupes) était 58 % plus faible que ce qui avait été initialement affirmé. De plus, les résultats étaient beaucoup plus « salés ou sucrés » selon la personne qui cuisinait (les résultats étaient 82 % plus variables).

Pourquoi les recettes n'ont-elles pas pu être reproduites ?

L'article a trouvé quelques schémas intéressants :

1. Les Plats « Faciles » : Les recettes qui étaient initialement considérées comme les plus difficiles à cuisiner étaient en fait celles qui se répliquaient le mieux.
2. Les Chefs Célèbres : Si la recette originale avait été écrite par un chef qui avait publié beaucoup de recettes récemment, la réplication était moins susceptible de fonctionner. C'est comme si le chef célèbre était si occupé qu'il n'avait pas écrit les instructions assez clairement.
3. L'« Intuition » : Curieusement, les scientifiques essayant de reproduire le travail étaient souvent assez doués pour deviner si leur tentative allait réussir ou échouer.
4. Le Chaos en Cuisine : Une raison majeure d'échec n'était pas nécessairement un manque de talent culinaire, mais le fait que les instructions originales (protocoles) étaient impossibles à suivre à l'identique. Les cuisines de réplication devaient souvent modifier les étapes car leur équipement était différent, leurs souris étaient différentes, ou la logistique de leur bâtiment ne correspondait pas à l'installation d'origine.

L'Essentiel

Cette étude ne dit pas que la science brésilienne est « mauvaise ». Au contraire, elle souligne que les « recettes » publiées par le passé reposaient souvent sur des conditions spécifiques qui sont difficiles à copier ailleurs. Le document suggère que pour obtenir des résultats meilleurs et plus fiables à l'avenir, les scientifiques doivent écrire des instructions plus claires et reconnaître que leur « cuisine » pourrait ne pas fonctionner exactement comme celle des autres. C'est un appel à rendre la science plus transparente et robuste, afin que lorsqu'une nouvelle recette est publiée, n'importe qui puisse la cuisiner et obtenir le même excellent goût.