Peer Review Trajectories of Disruptive Research: Evidence from Reviewer Comments, Review Rounds and Author Responses
PLOS ONEの査読履歴を分析することにより、本研究は、破壊的な研究は著者の回答時間に起因して受理までの軌跡がわずかに長くなる傾向にあり、かつ明快さ、実質性、および独創性に関する否定的なコメントの割合が高いことを明らかにしており、出版前の評価における判読可能性への選択的な課題を示唆している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
科学とは、しばしば事後に行われる会話のように感じられる。新しいアイデアが分野の考え方を変えるとき、私たちは通常、他の科学者がその論文をどのように引用しているかを観察することによって、数年経ってからようやくそれに気づく。これらの「破壊的」な論文とは、単に既存の知識に何かを加えるだけでなく、将来の研究の経路を転換させ、古いアイデアを相対的に重要性を低く感じさせるものである。しかし、論文が認識されるという地点に到達する前に、それは必ず門番である「査読」を通過しなければならない。これは、専門家が原稿を読み、批判を行い、それが出版に値するかどうかを判断するプロセスである。何十年もの間、画期的なアイデアを見つけ出すことは困難であると分かってきたが、破壊的な論文が査読者のデスクに届いたとき、レビューの部屋の中で実際に何が起きているのかについての証拠はほとんど得られてこなかった。それらはより頻繁に却下されているのだろうか。批評家たちはそれを理解するのに苦労しているのだろうか。あるいは、そのプロセスは他の研究が行われるのと全く同じように見えるのだろうか。
南京理工大学の研究チームは、このブラックボックスの中を覗き見ることにした。彼らは、PLOS ONE誌の公開されたレビュー履歴というユニークなリソースに着目した。多くのジャーナルが著者と査読者の間のやり取りを非公開にしているのに対し、PLPS ONEは、初期のコメント、著者の回答、そしてあらゆるステップのタイムラインを含む完全な記録を公開している。研究者たちは、これら約19,000件の受理された論文を集め、それらを後にどのように引用されたかに基づく「破壊性」の指標に関連付けた。そして、高度な言語ソフトウェアを使用して、何十万ものコメントを読み解き、文章が明快であるか、手法が健全であるか、あるいはアイデアが真に新しいかといった、査読者が懸念していた事項ごとに分類した。また、著者たちがこれらの懸деに対する反応として、論文を修正したのか、説明を行ったのか、あるいは反論したのかについても調査した。
この膨大なデータセットから浮かび上がった物語は、驚くほど具体的であった。研究者たちは、破壊的になる可能性のある論文は出版までに少し時間がかかることを発見したが、それは編集者や査読者が遅かったからではない。追加の時間は、完全に著者自身によるものであった。破壊的な論文が査読中であったとき、著者たちは回答を書いたり修正を行ったりするのにより長い時間を要していた。このことは、遅延が判定者による拒絶や混乱の兆候ではなく、むしろ書き手が、難解なアイデアを標準的な科学論文の形式に適合させるために、より懸命に作業しなければならなかった期間であったことを示唆している。
研究者が査読内容を調べたところ、破壊的な論文が全体としてより多くの批判を受けているわけではないことが判明した。コメントの総数は、他の論文とほぼ同じであった。しかし、「批判の種類」が異なっていたのである。査読者は、文章の明快さ、内容の深さ、およびアイデアの独創性について不満を述べる傾向が強かった。一方で、研究が再現可能であるか、あるいはデータが技術的に正しいかといった点については、疑問を呈する傾向が低かった。これは特定の種類の葛藤を示している。査読者は科学が間違っていると言っていたのではなく、その内容が理解しにくい、あるいは既存の知識の風景の中に位置づけるのが難しいと言っていたのである。作品の破壊的な性質が、科学を評価するための標準的な方法に対して、その論文を「判読不能（イレジブル）」なものにしてしまい、著者にメッセージを明確にするための多大な時間を強いたのである。
レビュープロセスが複数のラウンドを経て進むにつれ、これらの懸念は興味深い挙動を示した。「研究が再現可能か」という懸念はすぐに消失する傾向があり、これはデータがチェックされれば問題が解決することを示唆していた。しかし、明快さと内容の深さに関する懸念は、わずかに長く残り、最終的に消え去るまで、より多くのレビューラウンドにわたって現れた。これは、破壊的なアイデアを明快かつ実体のあるものにすることは、正解に辿り着くために数回の試行錯誤を必要とする持続的な課題であることを示している。
おそらく最も啓発的な発見は、著者たちがどのように抵抗したかという点にあった。批判に直面したとき、破壊的な論文の著者たちは、より頻繁に議論を展開したわけではなかった。彼らは問題を言葉で切り抜けようとはしなかった。代わりに、彼らは単に論文を修正するという選択をした。彼らは査読者のメモを受け取り、元のバージョンがなぜ適切であったかを説明するのではなく、テキストに具体的な変更を加えた。このパターンは、破壊的なアイデアを出版するための道筋は、査読者との議論に勝つことではなく、新しいアイデアが科学界にとって明確で受け入れ可能なものになるまで、忍耐強く原稿を再構築することにあることを示唆している。
結局のところ、この研究は、破壊的な論文の旅路が、事実をめぐる戦いではなく、明快さを求める葛藤によって定義されることを示している。これらの論文を出版するために必要な追加の時間と労力は、急進的な新しいアイデアを、査読者が即座に理解できる言語へと翻訳する必要性から来ているのである。プロセスは、正しさのためのフィルターではなく、判読可能性（レジビリティ）のためのフィルターとして機能している。これらの論文が受理される頃には、それらは再構成され、安定しており、最終的にその分野を変える準備が整っている。この研究は、破壊的な科学が数年後にその影響によって認識される一方で、その影響の種は、論文が公開されるずっと前に行われる、静かで、しばしば困難な修正作業の中に蒔かれていることを裏付けている。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。