Citation language changes little after findings fail to replicate: a longitudinal analysis
15,000件以上の引用文を対象とした縦断的分析により、後続の論文が再現の失敗を反映するように言語表現を調整したり、相反する証拠に言及したりすることは稀であり、読者に対して元の知見が正常に再現されたかどうかの指標をほとんど提供していないことが明らかになった。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
科学は、新しい証拠によって世界の理解が自動的に更新される、自己修正を行う機械としてしばしば想像されます。ある研究が繰り返され、同じ結果を生み出せなかったとき、科学界がそれに気づき、立ち止まり、その元の知見について語る方法を調整することが期待されます。このプロセスは、研究者が先行研究を引用する際に用いる言語に依存しています。もしある主張が揺らいでいることが示されたならば、新しい論文におけるその記述は、理想的にはより慎重なものになるか、少なくとも元の結果が確認できなかったことに触れるべきです。これが、知識が進化すべき姿です。過去を消し去ることによってではなく、私たちが何を知っており、何を知らないのかという記述を洗練させることによってです。
ある研究チームは、この自己修正が果たして私たちの期待通りに行われているかどうかを検証するために調査を開始しました。彼らは特定の問いに焦つきました。すなわち、有名な研究に対する大規模かつ計画的な再現試行が失敗した場合、その後の論文の著者は、その元の知見を記述する言葉を変えるのだろうか、という問いです。答えを見出すために、彼らは心理学、経済学、社会科学からの膨大な科学的主張のコレクションを調査しました。彼らは、3つの主要な再現プロジェクトの一部であった110の研究を特定しました。これらの各研究について、彼らは元の研究を引用している後の論文から数千の文章を集めました。そして、高度なコンピュータモデルを使用してこれらの文章を読み、確信度の尺度でスコアリングし、著者たちが元の主張をどれほど決定的に述べているかを測定しました。彼らは、再現に失敗した知見に対して用いられた言葉と、再現に成功した知見に対して用いられた言葉を比較しました。
結果は、驚くべき変化の欠如を明らかにしました。研究者たちは、失敗した知見を記述するために用いられる言い回しは、成功した知見に用いられる言い回しとほぼ同一であり続けることを発見しました。再現の試みが元の結果を再現できないことを示した後でさえ、数年が経過しても、後の論文ではそれらの知見がこれまでと同じレベルの自信を持って述べられ続けていました。コンピュータモデルは、確信度における有意な変化を検出しませんでした。実際、これら2つのグループ間の確信度の差は非常に小さく、統計的にゼロと区別がつかないほどでした。研究は、失敗への明示的な言及についても調査しました。その結果、大多数の場合において、著者は失敗について全く言及していないことが分かりました。元の知見が異議を唱えられた、あるいは矛盾していることを認めている文章は、わずか100文につき3〜5文程度という極めて少ない割合でした。
このパターンは時間の経過とともに維持されました。研究者たちは、再現結果の発表後8年から11年間の言語の変化を追跡しました。彼らは、慎重さへの緩やかな漂流は見られなかったことを発見しました。失敗した主張を記述する文章は、時間が経過しても、表現が和らいだり、限定的なものになったりすることはありませんでした。研究者たちは、これは研究者が新しい証拠や新しい矛盾するデータを再確認したり、元の証拠を読み直したりすることなく、確立されたフレーズを再利用することが多いためではないかと示唆しています。ある知見の元の記述は、基礎となる証拠が揺らいでいるかどうかにかかわらず、標準的な参照事項として論文から論文へと受け継がれる、科学的記録の固定された一部となってしまうのです。
この研究は、科学者が意図的に証拠を無視していると主張しているのではなく、むしろ、知見がどのように伝達されるかというシステムに一種の慣性が存在することを指摘しています。たとえある知見が信頼できないことが示されたとしても、新しい研究におけるその記述方法はしばしば変わらないままです。これには、私たちが科学をどのように読み、どのように理解を助けるためのツールを構築すべきかについての示唆が含まれています。もし科学の言語が、ある知見が失敗したことを自動的に反映しないのであれば、読者、編集者、さらには人工知能システムまでもが、ある主張が実際よりも強固であると誤解させられる可能性があります。研究者たちは、科学が真に自己修正するためには、元の研究をその再現結果に直接結びつけるより良い方法が必要であり、それによって、ある知見の物語に、初期の成功だけでなくその失敗も含まれるようにしなければならないと結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。