Estimating the replicability of Brazilian biomedical science

Immaginate il mondo della ricerca scientifica come una cucina enorme e frenetica dove gli chef (gli scienziati) pubblicano costantemente nuove ricette (esperimenti) sostenendo di aver scoperto il segreto per il piatto perfetto. Per anni, la gente si è preoccupata: "Se provo a cucinare questa ricetta nella mia cucina, otterrò lo stesso risultato delizioso o sarà un disastro totale?"

Questo articolo è come una gigantesca e organizzata "Prova di Assaggio" organizzata dalla Brazilian Reproducibility Initiative. Invece di fidarsi ciecamente degli chef originali, hanno invitato 56 diverse cucine (laboratori) in tutto il Brasile a provare a cucinare 56 ricette specifiche che erano state pubblicate in precedenza.

Ecco come si è svolto l'esperimento:

• Il Menù: Si sono concentrati su tre tipi molto comuni di tecniche culinarie: controllare la salute delle cellule (MTT), copiare le istruzioni genetiche (RT-PCR) e testare l'ansia nei topi (Elevated Plus Maze).
• La Sfida: 143 gruppi diversi hanno cercato di ricreare questi piatti. Tuttavia, proprio come nella vita reale, alcuni tentativi sono stati disordinati o non hanno seguito le regole, quindi una giuria indipendente ha scartato alcuni dei risultati. Sono rimasti così 90 tentativi validi che coprivano 45 ricette originali.
• Il Verdetto: I risultati sono stati contrastanti. A seconda di quanto fossero severi i giudici, solo il 20% o il 44% delle repliche corrispondeva effettivamente al "piatto perfetto" originale.
• La Differenza di Sapore: Quando le cucine di replica avevano successo, i risultati erano spesso molto più deboli rispetto all'originale. In media, l' "intensità del sapore" (la differenza tra i gruppi) era inferiore del 58% rispetto a quanto dichiarato originariamente. Inoltre, i risultati erano molto più "salati o dolci" a seconda di chi cucinava (i risultati erano l'82% più variabili).

Perché le ricette non sono state replicate?

Il documento ha trovato alcuni schemi interessanti:

1. I Piatti "Facili": Le ricette che originariamente erano considerate le più difficili da cucinare erano in realtà quelle che si replicavano meglio.
2. Gli Chef Famosi: Se la ricetta originale era stata scritta da uno chef che aveva pubblicato molte ricette di recente, la replica era meno probabile che funzionasse. È come se lo chef famoso fosse stato così impegnato da non aver scritto le istruzioni con sufficiente chiarezza.
3. L' "Intuizione": Interessante notare che gli scienziati che cercavano di replicare il lavoro erano spesso piuttosto bravi a indovinare se il loro tentativo avrebbe avuto successo o fallito.
4. Il Caos in Cucina: Una ragione principale del fallimento non era necessariamente la scarsa abilità culinaria, ma il fatto che le istruzioni originali (i protocolli) erano impossibili da seguire esattamente. Le cucine di replica spesso dovevano cambiare i passaggi perché la loro attrezzatura era diversa, i loro topi erano diversi o la logistica del loro edificio non corrispondeva alla configurazione originale.

In Conclusione

Questo studio non dice che la scienza brasiliana sia "cattiva". Al contrario, evidenzia che le "ricette" pubblicate in passato spesso facevano affidamento su condizioni specifiche che sono difficili da copiare altrove. Il documento suggerisce che, per ottenere risultati migliori e più affidabili in futuro, gli scienziati devono scrivere istruzioni più chiare e riconoscere che la loro "cucina" potrebbe non funzionare esattamente come quella di tutti gli altri. È un invito a rendere la scienza più trasparente e robusta, affinché quando una nuova ricetta viene pubblicata, chiunque possa cucinarla e ottenere lo stesso ottimo sapore.