Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

生物医学研究の世界を、科学者たちが常に新しいレシピ（彼らの研究）を考案している巨大なキッチンだと想像してみてください。長い間、これらのレシピは、専門家による審査パネル（査読）という厳格な「味見」を経てから初めて一般に提供されてきました。しかし最近、シェフたちは、未検証の生のレシピを「プレプリント（bioRxivのようなもの）」と呼ばれる公開掲示板に投稿し、誰もがすぐに閲覧できるようにしています。

人々の中には、これらのレシピはまだ味見が行われていないため、間違いや誇張に満ちているのではないかと心配する人もいます。この研究は、72,644組のレシピ、つまり掲示板に投稿されたオリジナルのバージョンと、批評家たちの承認を得てレストランで提供される最終的な完成版を比較することで、その懸念を解決しようと試みました。

研究者たちは、超高性能なAIアシスタント（非常に注意深い編集者のようなもの）を使って、これら2つのバージョンを比較し、以下の結果を見出しました。

1. 核となるメッセージは変わらない

研究の主要な主張を、ニュース記事の見出しだと考えてみください。研究者たちは、研究の**90%**近くにおいて、見出しが大きく変わらなかったことを発見しました。

• **40%**のケースでは、見出しは全く同じでした。
• **50%**のケースでは、見出しに少し磨きがかかったり、わずかな微調整が行われたりしました（例：「私たちは治療法を発見した」を「私たちは有望な治療法を発見した」に変更するなど）。
• 見出しが完全に作り直されたのは、わずか**10%**でした。

言い換えれば、研究の「魂」は、掲示板から最終的な出版物への道のりを、概ねそのままの形で生き残るのです。

2. 科学者は自信を深めるのではなく、より慎重になる

科学者がプレプリントを投稿する際、彼らは興奮し、自信に満ちていることがよくあります。しかし、批評家が彼らの研究をレビューした後、彼らは興奮を少し抑える傾向があります。

• 例えば、科学者がプレプリントで「この薬は奇跡だ！」と言っているとしましょう。
• 最終的な論文では、「この薬は有望な結果を示している」と表現を変えるかもしれません。
• この研究では、科学者がレビュー後に自信を深めるよりも、より慎なる慎重になる（控えめな表現にする）確率の方が2倍高かったことが分かりました。批評家が目を通した後、主張をよりドラマチックにすることは滅多にありませんでした。

3. 時間は影響するが、傾向は改善している

• 待ち時間の問題： もし研究がレビューの待ち行列の中で非常に長い時間（「スローレーン」）滞在した場合、迅速にレビューを受けた場合（7%）と比較して、大幅な書き直しが行われる可能性が高くなりました（14%）。批評家がレシピを長く咀嚼すればするほど、レシピの全面的な変更を求める可能性が高くなるようです。
• 向上している点： 年月を経て（2019年から2024年にかけて）、大幅な書き直しの必要性は著しく減少しています。これは、シェフたちが批評家に送る前に、レシピを書く技術が向上しているかのようです。

4. 「プレプリントというセーフティネット」

この研究では、掲示板に一度も掲載されなかった論文についても、興味深い事実に気づきました。それらの論文は、プレプリントとして始まった論文よりも、2倍の割合で撤回（間違いであるために記録から削除されること）されていました。これは、レシピを早期に公開し、まず公衆に見てもらうことが、エラーが定着してしまう前に間違いを捉える安全チェックとして機能しているかのようです。

結論

主な要点はシンプルです。プレプリントは信頼できる真実の源であるということです。

科学的な研究がまだ「公式に」出版されていないからといって、その主要な発見が単なる荒唐無稽な推測であるという意味ではありません。プレプリントの掲示板から最終的な出版物への道のりは、通常、完全な書き直しではなく、ほんの少しの磨き上げを伴うものです。ほとんどの生物医学研究の中心的な主張は、最終的な批評家による承認を得る前であっても、確かなものです。