Estimating the replicability of Brazilian biomedical science

想象一下，科学研究的世界就像一个繁忙、喧闹的大厨房，厨师们（科学家）不断地发布新的食谱（实验），声称发现了制作完美佳肴的秘诀。多年来，人们一直担心：“如果我在自己的厨房里尝试做这道菜，我能得到同样美味的结果，还是会搞砸一场灾难？”

这篇论文就像是一场由**巴西复现性倡议（Brazilian Reproducibility Initiative）**组织的巨大且有组织的“味觉测试”。他们并没有仅仅信任原配方的厨师，而是邀请了巴西 56 个不同的厨房（实验室）去尝试烹饪 56 道之前已经发表过的特定食谱。

实验过程如下：

• 菜单： 他们专注于三种非常常见的烹饪技术：检查细胞健康（MTT）、复制遗传指令（RT-PCR）以及测试小鼠的焦虑程度（高架十字迷宫）。
• 挑战： 共有 143 个不同的团队尝试重现这些菜肴。然而，就像现实生活中一样，有些尝试过程很混乱或者没有遵守规则，因此一个独立的评审小组剔除了其中的一些结果。最终，他们得到了涵盖 45 道原始食谱 的 90 次有效尝试。
• 判决： 结果好坏参半。根据评审员严格程度的不同，只有 20% 到 44% 的复现实验真正匹配了最初的“完美佳肴”。
• 风味差异： 当复现厨房成功时，结果往往比原始结果要弱得多。平均而言，“风味强度”（组间差异）比最初声称的低了 58%。此外，结果也更加“咸或甜”，取决于谁在烹饪（结果的变异性增加了 82%）。

为什么食谱无法复现？

该论文发现了几个有趣的模式：

1. “简单”的菜肴： 原本被认为最难烹饪的食谱，实际上复现效果最好。
2. 名厨效应： 如果原始食谱是由一位近期发表了大量食谱的“名厨”编写的，那么复现成功的可能性就较低。就好像那位名厨因为太忙，导致他写的说明不够清晰。
3. “直觉”： 有趣的是，尝试复现工作的科学家们通常能相当准确地预判他们的尝试是会成功还是失败。
4. 厨房混乱： 失败的一个主要原因并不一定是烹饪技巧不好，而是原始指令（实验方案）根本无法被完全遵循。复现厨房经常不得不更改步骤，因为他们的设备不同、小鼠品种不同，或者建筑物的物流配套与原始设置不匹配。

底线

这项研究并不是说巴西的科学“很差”。相反，它强调了过去发表的“食谱”往往依赖于难以在其他地方复制的特定条件。论文建议，为了在未来获得更好、更可靠的结果，科学家需要写出更清晰的指令，并承认他们的“厨房”可能无法与其他人的厨房完全一致。这是在呼吁让科学变得更加透明和稳健，这样当一个新的食谱发表时，任何人都能烹饪它，并获得同样美妙的味道。