Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping

科学は、新しいアイデアが誰にでも見られ、テストされ、議論できるという単純な約束に基づいています。数十年にわたり、研究者が初期の研究成果を共有する主な方法は、プレプリントサーバー（論文が正式な査読を受ける前に科学者が投稿できるデジタル・ライブラリ）を通じてでした。これらのプラットフォームは、発見のための高速道路として機能し、伝統的な査読という数ヶ月から数年かかる遅いプロセスを待つことなく、主張や手法が書かれた瞬間に世界に公開することを可能にします。しかし、これらのサーバーは単なるオープンなファイル保管庫ではありません。それらは精査された空間です。論文が公開リストに掲載される前に、ボランティアのチームがそれを読み、掲載に値するかどうかを判断します。もし論文に独創性が欠けている、科学的に重要ではない、あるいは内容が不完全すぎて役に立たないと判断された場合、彼らは投稿を拒否することができます。このゲートキーピング（門番）の役割は、図書館がナンセンスな内容で溢れるのを防ぐために必要ですが、同時に困難な問題も生み出します。ゲートキーパーが「ノー」と言ったとき、その決定が正しかったことをどうすれば知ることができるのでしょうか。もし論文が隠蔽され、著者がそれを他の場所に発表しなかった場合、世界はその結果を知ることはありません。その論文は、誤って埋もれてしまった素晴らしい発見だったのかもしれませんし、正しく阻止された行き止まりだったのかもしれません。拒否された論文の山を振り返る方法がなければ、システムは間違いと成功の区別をつけることができないのです。

これが、独立系研究者の大塚敦氏が新しい研究で取り組んでいる中心的なパズルです。彼は現在のシステムが壊れているとか、ボランティアに偏りがあるとは主張していません。むしろ、彼はより根本的な問い、すなわち「システムは自らのエラーを可視化する方法を持っているか」という測定に関する問いを投げかけています。大塚氏は、最大かつ最も有名なプレプリントサーバーであるarXivの規則と公開レポートを調査し、拒否された論文がその後どうなったかを追跡することが可能かどうかを検証しています。彼の調査によれば、サーバーは受け取った論文の数や拒否した論文の数を伝えることには非常に長けていますが、拒否された論文がその後どうなったかについては教えてくれないことが分かりました。サーバーは自らの拒否率を知っていますが、拒否された論文が後に他のジャーナルに掲載されたのか、他の科学者に引用されたのか、あるいは著者がそれらを改善して再挑戦したのかどうかまでは追跡していません。このフォローアップ情報がなければ、システムは自分がどれくらいの頻度で間違いを犯しているかを算出することができません。これは、入り口で何人の人を止めたかは正確に把握しているが、止めた人の中に、実は不当に追い返された無実の訪問者がいたかどうかについての記録を持っていない警備員のようなものです。

大塚氏の研究は、伝統的な学術ジャーナルの世界における同様の研究の長い歴史に基づいています。長年、研究者たちは拒否されたジャーナル原稿を追跡し、それらが最終的に他の場所で出版されたのか、あるいは非常に引用される重要な著作となったのかを調べてきました。これらの研究は、最高のジャーナルであっても時として素晴らしい論文を見逃すことがあること、そして拒否というプロセス自体が、おそらくは研究を完成させる意欲を削ぐことで、著者の行動を変えてしまう可能性があることを示してきました。大塚氏は、この同じ論理をプレプリントサーバーに適用しています。彼は、これらの決定を判断する際の決定的な非対称性を指摘しています。もし拒否された論文が後にトップジャーナルに掲載されたなら、それはプレプリントサーバーが間違いを犯した強力な証拠となります。しかし、拒否された論文が一度も出版されなかったとしても、それはサーバーが正しかったことを証明するものではありません。拒否そのものが著者に諦めさせてしまった可能性や、あるいは論文が実際には間違った理由で拒否された可能性もあります。拒否が論文の未来を変えてしまうため、単に最終的な結果を見て最初の「ノー」が正しかったかどうかを判断することはできないのです。

これを解決するために、大塚氏は科学的なゲートキーピングを「監査可能（オーディタブル）」にするための新しい枠組みを提案しています。彼は問題を3つのレベルに分解しています。第1レベルは「決定の透明性」であり、これは単に何本の論文がなぜ拒否されたかを報告することを意味します。第2は「結果の観測可能性」であり、これは拒否された論文が後にどうなったかを追跡することを意味します。第3、かつ最も重要なレベルは「エラーの監査可能性」です。これには、プラットフォームが事前に、決定が間違いであったかどうかをどのように判断するかを宣言しておく必要があります。例えば、論文が「大幅な修正が必要」という理由で拒否された場合、プラットフォームは、著者が実際に他の場所で出版する前にそれらの修正を行ったかどうかを後でチェックするための明確なルールを持っていなければなりません。arXivの現在の公開記録に対する大塚氏の監査によれば、同サーバーは第1レベルには強いものの、他のレベルには弱いことが示されています。サーバーは総数や一般的な方針は報告していますが、特定の拒否と後の結果を結びつけるデータは公開しておらず、また、拒否された論文が実際に間違いであったかどうかを確認する方法も提供していません。

この研究は、arXivが優れた科学を拒否していると主張しているわけでも、ボランティアがエラーを犯していると主張しているわけでもありません。単に、現在の公開情報では不十分であると述べているのです。サーバーは完璧である可能性もあれば、多くの間違いを犯している可能性もありますが、現在のデータ構造ではそれを判別できません。大塚氏は、システムが真に信頼されるためには、自らの正確性を測定できなければならないと示唆しています。彼は、プラットフォームが具体的なデータを収集し共有すべきだと推奨しています。具体的には、拒否された論文が後にどの程度ジャーナルに登場したか、著者がどれくらいの頻度で異議を申し立てて認められたか、そして拒否の理由が最終的な論文の運命と一致しているかどうかです。また、著者の過去の実績や所属大学を拒否の理由として使用することについては、それが不当なエラーにつながらないことを証明できない限り、注意すべきであるとも提案しています。目的は、すべての拒否をなくすこと（それは不可能です）ではなく、エラーの発生率が見え、研究できるシステムを作ることです。

結局のところ、この研究は、ゲートキーピングが良いか悪いかという議論から、その質をどのように測定するかという議論へと対話をシフトさせています。論文は、もしシステムが世界の科学的成果を隠す力を持つのであれば、その決定がどれほど頻繁に間違っているかを私たちに示す責任がある、と主張しています。拒否された論文を追いかけ、それらの後の人生と結びつけることで、科学界はゲートキーパーの質を推測する段階から、実際に知る段階へと進むことができます。このアプローチは、「優れた科学」の完璧な定義を必要としません。ただ、一つの「ノー」が告げられた後に何が起こったのかという、明確で正直な記録を必要とするだけです。もしシステムがその記録を示すことができるなら、それは意図通りに機能していることを証明できます。もし示せないのなら、そのシステムはブラックボックスであり、決定は暗闇の中で下され、その決定の代償は、作品が一度も見られることのない科学者たちによって支払われることになるのです。