Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

想象一下，生物医学研究的世界就像一个巨大的厨房，科学家们在这里不断地烹饪新的食谱（他们的研究）。长期以来，这些食谱只有在经过专家评审团（同行评审）严格的“试吃”后，才会呈献给公众。但最近，厨师们开始将他们未经测试的原始食谱发布在一个名为“预印本”（如 bioRxiv）的公共公告板上，以便所有人能立即看到。

有些人担心，由于这些食谱尚未经过试吃，它们可能充满了错误或夸大其词。这项研究决定通过观察 72,644 对 食谱来解决这一担忧：即最初发布在公告板上的版本，以及在评论家给出认可后，最终呈现在餐厅里的定稿版本。

以下是研究人员的发现，他们使用了一个超级智能的 AI 助手（就像一位非常仔细的编辑）来对比这两个版本：

1. 核心信息保持不变

把一项研究的主要观点想象成新闻故事的标题。研究人员发现，对于近 90% 的研究，标题并没有发生太大变化。

• 40% 的情况下，标题完全相同。
• 50% 的情况下，标题经过了些许润色或微调，比如将“我们找到了治愈方法”改为“我们找到了具有前景的治疗方案”。
• 只有 10% 的情况下，标题经历了彻底的改版。

换句话说，研究的“灵魂”通常在从公告板到最终发表的旅程中得以完整保留。

2. 科学家变得更加谨慎，而非更加自信

当科学家发布预印本时，他们往往感到兴奋且充满信心。在评论家评审其工作后，他们往往会稍微收敛这种兴奋感。

• 想象一位科学家在预印本中说：“这种药物是奇迹！”
• 在最终的论文中，他们可能会将其改为：“这种药物显示出了有前景的结果。”
• 研究发现，科学家在评审后变得更加谨慎和小心，其概率是变得更加自信的两倍。他们很少在评论家看过之后，让自己的主张听起来比之前更具戏剧性。

3. 时间很重要，但趋势正在改善

• 等待的游戏： 如果一项研究在评审队列中停留了很长时间（“慢车道”），它更有可能经历重大改写（14% 的概率），相比之下，那些评审速度较快的研究改写概率较低（7%）。看起来，评论家咀嚼食谱的时间越长，就越有可能要求对食谱进行彻底改变。
• 正在进步： 随着时间的推移（从 2019 年到 2024 年），进行重大改写的需求显著下降。这似乎意味着厨师们在将食谱发送给评论家之前，写得越来越好了。

4. “预印本安全网”

研究还注意到了一些有趣的情况，即那些从未出现在公告板上的论文。这些论文被撤回（因为错误而被从记录中删除）的比例是那些曾以预印本形式出现的论文的 两倍。这似乎表明，尽早发布食谱并让公众先行查看，起到了某种安全检查的作用，在错误变成永久记录之前将其捕捉。

总结

核心结论很简单：预印本是可靠的真相来源。

仅仅因为一项科学研究尚未被“正式”发表，并不意味着其主要发现是荒诞的猜测。从预印本公告板到最终发表的旅程，通常涉及的是少许的润色，而非彻底的重写。大多数生物医学研究的核心主张即使在最终评论家给出批准之前，也是稳固可靠的。