Estimating the replicability of Brazilian biomedical science

科学研究の世界を、シェフ（科学者）たちが完璧な料理の秘訣を発見したと主張しながら、次々と新しいレシピ（実験）を発表し続ける、巨大で活気あるキッチンだと想像してみてください。長年、人々はこう心配してきました。「もし自分のキッチンでこのレシピを試してみたら、同じ美味しい結果が得られるだろうか？ それとも、完全な大失敗に終わるのだろうか？」

この論文は、**ブラジル再現性イニシアチブ（Brazilian Reproducibility Initiative）**によって組織された、巨大で整理された「味のテスト」のようなものです。元のシェフをただ信じるのではなく、彼らはブラジル全土の56の異なるキッチン（研究所）を招待し、以前に発表された56の特定のレシピを実際に調理してみるよう依頼しました。

実験の様子は以下の通りです：

• メニュー： 彼らは、細胞の健康状態のチェック（MTT）、遺伝情報のコピー（RT-PCR）、マウスの不安テスト（高架式十字迷路）という、非常に一般的な3つの調理テクニックに焦点を当てました。
• 挑戦： 143の異なるグループがこれらの料理の再現を試みました。しかし、現実の世界と同じように、いくつかの試みは乱雑であったり、ルールに従っていなかったりしたため、独立した審査員パネルが一部の結果を破棄しました。最終的に、45の元のレシピをカバーする90の有効な試行が残りました。
• 判定： 結果はまちまちでした。審査員の厳格さにもよりますが、元の「完璧な料理」と実際に一致した再現は、わずか**20%から44%**でした。
• 味の違い： 再現キッチンが成功した場合でも、その結果は元のものよりもずっと弱いことが多々ありました。平均して、「味の強さ」（グループ間の差）は、元に主張されていたものよりも58%低くなっていました。また、結果は誰が料理するかによって「塩辛かったり甘かったり」と大きく変動しました（結果のばらつきが82%増加していました）。

なぜレシピは再現できなかったのか？

この論文は、いくつかの興味深いパターンを見出しました。

1. 「簡単な」料理： 元々最も調理が難しいと考えられていたレシピほど、実は再現性が高いという結果でした。
2. 有名なシェフ： もし元のレシピが、最近大量のレシピを発表しているシェフによって書かれたものであった場合、再現に失敗する可能性が低くなりました。まるで、その有名なシェフがあまりに忙しすぎて、指示を十分に明確に書けなかったかのようです。
3. 「直感」： 興味深いことに、研究を再現しようとしていた科学者たちは、自分の試みが成功するか失敗するかを予測するのがかなり得意でした。
4. キッチンの混乱： 失敗の主な理由は、必ずしも調理技術が悪いことではなく、元の指示（プロトコル）が正確に実行不可能であったことにありました。再現キッチンでは、設備が異なったり、マウスの種類が異なったり、建物の物流（ロジスティクス）が元のセットアップと一致しなかったりしたため、手順を変更せざるを得ないことがよくありました。

結論

この研究は、ブラジルの科学が「悪い」と言っているわけではありません。むしろ、過去に発表された「レシピ」の多くが、他では真似するのが難しい特定の条件に依存していたことを浮き彫りにしています。この論文は、将来より良く、より信頼できる結果を得るために、科学者がより明確な指示を書き、自分の「キッチン」が他の誰のキッチンとも全く同じにはならない可能性があることを認める必要があると示唆しています。これは、新しいレシピが発表されたとき、誰が作っても同じ素晴らしい味を楽しめるように、科学をより透明で堅牢なものにするための呼びかけなのです。