Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It

科学は、ある単純で古くからある約束に依拠しています。それは、新しい発見が発表される前に、独立した専門家たちがその研究を読み、実験が正しく行われたか、数学的な計算が合っているか、そして結論が証拠から導き出されているかを確認するという約束です。査読として知られるこのプロセスは、医学や生物学における真実の門番となっています。数十年にわたり、このシステムは現代の生命に関する理解を築き上げるのに十分なほど機能してきました。しかし、科学論文の量は爆発的に増加しています。1991年以降、生物医学分野の論文数は毎年11倍以上に成長しており、それらを読むために利用可能な人間の専門家の数をはるかに上回っています。新しい研究の奔流が人間の査読能力を超えると、出版されるものの質が低下する可能性があります。統計の誤り、コントロール（対照群）の欠如、あるいは論理の破綻などが、隙間から滑り込んでしまうのです。こうした間違いはしばしば微細であるため、気づかれないまま数年間放置され、他の科学者を誤った道へと導いてしまうことがあります。

この深刻化する危機に対処するため、ある研究チームが新しい種類のレフェリーを構築しました。それは、誰が書いたのか、どこに掲載されたのかを知ることなく科学論文を読み解くように設計された人工知能システムです。彼らはこのシステムを、盲検化されたAI査読システム「BARS（Blinded AI Review System）」と呼んでいます。その理念は、読者にバイアスを与えるあらゆる要素――有名な著者、ジャーナルの威信、出版日――を剥ぎ取り、論文が科学の質のみに基づいて判断されるようにすることです。研究者たちは、このシステムに4つの特定の事項をチェックするよう訓練しました。すなわち、手法と統計が妥当であるか、データが主張を実際に裏付けているか、生物学的なアイデアが現実的であるか、そしてデータとコードがオープンに共有されているか、という点です。彼らは各論文に0から10までのスコアを付け、5未満のものは、その研究の根底を揺るがす根本的な欠陥があることを示しました。

チームはまず、このシステムが名声に惑わされることなく、良い科学と悪い科学を区別できるかどうかをテストしました。彼らは、すでに誤りであると証明され撤回された論文のセットと、検証済みの高品質な研究のセットをAIに読み込ませました。AIが著者の名前やジャーナルのタイトルを見ることができる状態では、有名な論文に対してわずかに高いスコアを付け、機械であっても威信に影響を受けることを示しました。しかし、システムがこれらの情報を遮断（ブラインド化）されると、鋭く客観的な審判者となりました。AIは、欠陥のある論文のほとんどを正確に特定し、健全な論文には満点を付け、誤検知はゼロでした。また、人間による査読よりもはるかに一貫していることも証明されました。同じ論文をAIが複数回査読した場合、スコらはおよそ同一でしたが、人間の査読者はしばしば意見が分かれるものです。

研究者たちがこのブラインド化されたシステムを、生物学の8つの異なる分野における320編の最新論文に適用したところ、その結果は深刻なものでした。半数以上の論文がテストに失敗し、基本的な科学的厳密さの閾値を下回りました。失敗率は一律ではありませんでした。分子進化のように厳格な数学モデルに依存する分野は、スコアが高い傾向にありました。一方で、シングルセル遺伝学やマイクロバイオーム研究のように、複雑なデータマイニングや汚染しやすいアッセイに依存する分野は、スコアが大幅に低くなりました。ジャーナルの種類も深く関わっていました。非常に選別的な伝統的ジャーナルに掲載された論文は、掲載料を徴収しながら技術的な妥当性のみを判断すると謳う大規模なオープンアクセス・ジャーナルの論文よりも、有意に高いスコアを記録しました。実際、トップクラスの学会誌における平均的な論文は、商業的なメガジャーナルの論文よりも質においてほぼ1ポイント高く、この差は査読プロセス自体が違いを生んでいることを示唆しています。

研究者たちはさらに、査読が実際に論文をどの程度改善するかについても調査しました。彼らは、オンラインに投稿された査読前の論文の初稿と、ジャーナルに掲載された最終版を比較しました。厳格で選別的なジャーナルに受理された論文については、最終版は明らかに改善されており、手法はより明確になり、証拠もより強固になっていました。しかし、商業的なメガジャーナルに掲載された論文については、最終版は初稿とほとんど差がなく、場合によっては、改訂プロセスによって新たなエラーが導入され、論文が悪化しているケースさえありました。この研究は、ブラインド化されたAIシステムが、数学的な誤りや不可能な生物学的主張を含め、人間の査読者が逃した批判のほとんどを捉えることができ、さらに人間の査読者が完全に見落としていた欠陥をも特定できることを明らかにしました。

35年間にわたる科学文献を振り返ると、チームは明確な質の低下の傾向を見出しました。論文の平均スコアは1990年代以降、着実に低下しています。この低下は、既存のジャーナルが基準を下げたためではなく、出版される研究の構成が変わったことによるものです。分野は、ウェットラボで行われる一次実験から、公開データベースの既存データを単に再解析する研究へとシフトしており、それらは特定の問いに適合しない定型的なテンプレートを使用することがよくあります。これらのデータベース研究は安価で迅速に作成できますが、根本的な誤りを含む可能性がはるかに高いのです。研究によれば、潤沢な資金を持つ研究チームが自動的に優れた科学を生み出すわけではありません。一定の資金レベルに達すると、資金を増やしても論文の質は向上しませんでした。同様に、最も高価なジャーナルが必ずしも最も厳格な科学を掲載しているわけでもありません。

この研究の中で最も衝撃的だったのは、研究者たちが自分たちのキャリアを監査するために、自分たちのシステムを使用したことです。彼らは、自身が発表した238編の論文をブラインド化されたシステムに入力しました。AIは、表のコピー＆ペーストのミス、ラベル付けの誤り、統計的な欠陥など、著者と元の人間による査読の両方をすり抜けてしまった実在のエラーを発見しました。システムは、この研究自体の草稿にある5つのエラーをも、出版前に検出しました。この自己監査は、いかなる科学者も間違いを免れることはできず、客観的な自動チェックが、人間の疲労やバイアスが見逃してしまうエラーを捉えられることを実証しました。

研究者たちは、現在の科学出版システムが負荷にさらされていると結論付けていますが、同時に現実的な解決策も提示しています。彼らは、論文を人間の査読者に送る前に、単純な自動チェックを実行することを提案しています。このチェックにかかる費用は1報あたり数セントであり、人間の労働コストのほんの一部ですが、これによって、そのままでは見過ごされてしまうであろう何千ものエラーを捉えることができます。名声や威信の影響を取り除き、テキスト内の論理と証拠に焦点を当てることで、このようなシステムは科学文献の信頼性を回復させる助けとなるでしょう。目標は、人間の専門家に取って代わることではなく、彼らに、より強固な基盤を提供することです。これにより、私たちが読む科学が、それが主張する通りに確かなものであることを保証することができるのです。