Estimating the replicability of Brazilian biomedical science

Stellen Sie sich die Welt der wissenschaftlichen Forschung wie eine riesige, geschäftige Küche vor, in der Köche (Wissenschaftler) ständig neue Rezepte (Experimente) veröffentlichen und behaupten, das Geheimnis für das perfekte Gericht entdeckt zu haben. Seit Jahren sorgen sich die Leute: „Wenn ich dieses Rezept in meiner eigenen Küche nachkoche, werde ich dann dasselbe köstliche Ergebnis erhalten oder wird es ein totales Desaster?“

Dieses Papier ist wie ein riesiger, organisierter „Geschmackstest“, organisiert von der Brazilian Reproducibility Initiative. Anstatt den ursprünglichen Köchen einfach nur zu vertrauen, luden sie 56 verschiedene Küchen (Labore) in ganz Brasilien ein, um 56 spezifische Rezepte nachzukochen, die zuvor veröffentlicht worden waren.

So verlief das Experiment:

• Das Menü: Sie konzentrierten sich auf drei sehr verbreitete Arten von Kochtechniken: die Überprüfung der Zellgesundheit (MTT), das Kopieren genetischer Anweisungen (RT-PCR) und das Testen von Angst bei Mäusen (Elevated Plus Maze).
• Die Herausforderung: 143 verschiedene Gruppen versuchten, diese Gerichte nachzukochen. Aber genau wie im echten Leben waren einige Versuche unordentlich oder folgten nicht den Regeln, sodass ein unabhängiges Gremium von Richtern einige der Ergebnisse aussortierte. Am Ende blieben 90 gültige Versuche, die 45 ursprüngliche Rezepte abdeckten.
• Das Urteil: Die Ergebnisse waren gemischt. Je nachdem, wie streng die Richter waren, entsprachen nur 20 % bis 44 % der Replikationen tatsächlich dem ursprünglichen „perfekten Gericht“.
• Der Geschmacksunterschied: Wenn die Replikationsküchen tatsächlich Erfolg hatten, waren die Ergebnisse oft viel schwächer als das Original. Im Durchschnitt war die „Geschmacksintensität“ (der Unterschied zwischen den Gruppen) um 58 % geringer als ursprünglich behauptet. Zudem waren die Ergebnisse viel stärker „salzig oder süß“, je nachdem, wer kochte (die Ergebnisse waren 82 % variabler).

Warum schlugen die Rezepte bei der Replikation fehl?

Das Papier fand einige interessante Muster:

1. Die „einfachen“ Gerichte: Die Rezepte, die ursprünglich als am schwierigsten zu kochen galten, waren tatsächlich diejenigen, die sich am besten replizieren ließen.
2. Die berühmten Köche: Wenn das ursprüngliche Rezept von einem Koch geschrieben wurde, der in letzter Zeit sehr viele Rezepte veröffentlicht hatte, war die Replikation weniger wahrscheinlich erfolgreich. Es ist, als ob der berühmte Koch so beschäftigt war, dass er die Anweisungen nicht klar genug aufgeschrieben hat.
3. Das „Bauchgefühl“: Interessanterweise waren die Wissenschaftler, die versuchten, die Arbeit zu replizieren, oft ziemlich gut darin, vorherzusagen, ob ihr Versuch erfolgreich sein würde oder nicht.
4. Das Küchenchaos: Ein Hauptgrund für das Scheitern war nicht unbedingt schlechte Kochkünste, sondern die Tatsache, dass die ursprünglichen Anweisungen (Protokolle) unmöglich exakt zu befolgen waren. Die Replikationsküchen mussten die Schritte oft ändern, weil ihre Ausrüstung anders war, ihre Mäuse anders waren oder die Logistik ihres Gebäudes nicht mit dem ursprünglichen Aufbau übereinpasste.

Das Fazzeit

Diese Studie sagt nicht, dass die brasilianische Wissenschaft „schlecht“ ist. Stattdessen hebt sie hervor, dass die in der Vergangenheit veröffentlichten „Rezepte“ oft auf spezifischen Bedingungen beruhten, die anderswo schwer zu kopieren sind. Das Papier legt nahe, dass Wissenschaftler, um in Zukunft bessere, zuverlässigere Ergebnisse zu erzielen, klarere Anweisungen schreiben und anerkennen müssen, dass ihre „Küche“ vielleicht nicht exakt so funktioniert wie die aller anderen. Es ist ein Aufruf dazu, die Wissenschaft transparenter und robuster zu machen, damit jeder, wenn ein neues Rezept veröffentlicht wird, es nachkochen und denselben großartigen Geschmack erhalten kann.