Towards A Sustainable Future for Peer Review in Software Engineering
本論文は、新たな査読者の獲得と育成、コミュニティ参加へのインセンティブ付与、そしてAIツールの慎重な統合を実現するスケーラブルな戦略を実装することによって、投稿数と査読者の間の増大する不均衡に対処する、ソフトウェア工学におけるピアレビューの持続可能な未来へのビジョンを提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ソフトウェアエンジニアリング研究の世界を、科学者たちが新しいアイデア（「論文」と呼ばれます）を出版するために取引する、巨大で賑やかな市場であると想像してみてください。この市場の誠実さと品質を維持するために、厳格なルールがあります。それは、すべての新しいアイデアは、販売される前に専門家によるパネルの検査を受けなければならないというルールです。この検査プロセスは「査読（ピアレビュー）」と呼ばれます。
しかし、パラと共同研究者による論文は、この市場が危機に瀕していると主張しています。提出されるアイデアの数は、それらを検査するための専門家の数よりも速いスピードで増加しています。これは、空腹の客の列が毎日長くなっているのに、料理を作るための厨房スタッフが増えていないレストランのようなものです。その結果、シェフ（査読者）たちは疲れ果て、夜遅くまで、あるいは週末も働き、料理（研究）の質が低下し始めてしまうかもしれません。
以下は、問題の概要と著者らが提案する解決策を、簡単な比喩を用いて説明したものです。
問題：ティッピング・ポイント（転換点）
著者らは、「厨房」が圧倒されていると指摘しています。
- 過負荷： ここ数年で、主要なカンファレンスに提出される論文の数はほぼ3倍になりましたが、査読者の数は2倍にしかなりませんでした。これは、各査読者がチェックすべき皿（論文）をより多く抱え込まされていることを意味します。
- 見えない労働： 査読者になることは、ボランティアの消防士になるようなものです。彼らには科学者や教師としてのフルタイムの仕事がありますが、その後、無料で行われる他人の仕事の検査のために、週末や夜中を費やします。現在の「出版か死か（Publish or Perish）」の文化（キャリアがどれだけ多くの論文を出版できるかに依存する文化）において、このボランティア活動はキャリアアップには役立ちません。昇給やテニュア（終身在職権）を決定する際に、大学側から無視されることも多いのです。
- AIの罠： 査読者が疲れ切っているため、一部の人は仕事を代行させるために人工知能（AI）を利用しています。著者らは、これが危険であると警告しています。それは、複雑な料理の味見をロボットに頼むようなものです。ロボットは存在しない材料を捏造したり、「これは美味しい」といった、なぜ美味しいのかという理由を欠いた曖昧なアドバイスを与えたりする可能性があります。最近、あるトップクラスのAIカンファレンスでは、15,000件以上のレビューが完全にAIによって書かれたものであることが判明しており、これは研究の質に対する重大な警告信号となっています。
何が機能しているのか（良いニュース）
論文は、すでに助けとなっている要素についても認めています。
- 「殿堂入り」： 一部のカンファレンスでは、最も熱心に働いた人に「優秀査読者賞（Distinguished Reviewer Awards）」を授与しています。これは「今月の優秀社員」の盾のようなものです。素晴らしいことではありますが、通常は経験豊富な人々が繰り返し受賞するため、新しい人々をチームに引き入れる強力な動機付けにはなっていません。
- 「シャドー」プログラム： 一部のカンファレンスでは、「ジュニアPC（プログラム委員会員）」や「シャドーPC」プログラムを開始しています。これは、シャドーイング・インターンシップのようなものです。新人（博士課程の学生など）が経験豊富な査読者の隣に座り、その人がどのように論文を検査するかを見学し、その後、自分自身でも試してみます。専門家は彼らにフィードバックを与えます。これは新しい検査員を訓練するための素晴らしい方法ですが、今のところ、これは一部のカンファレンスでのみ実施されており、どこでも行われているわけではありません。
ビジョン：持続可能な未来
著者らは、システムを修正し、長期的に持続可能にするための3部構成の計画を提案しています。
1. 査読者のための「運転免許証」（スケーラブルなトレーニング）
現在、誰でも査読のボランティアが可能ですが、彼らがどのように上手く行うべきかを知っているとは限りません。著者らは、オンライン・トレーニング・コース（資格取得プログラムのようなもの）を作成することを提案しています。
- 仕組み： 新規参加者は専門家によるビデオを視聴し、優れた査読のルールを学び、クイズを受けます。
- 報酬： 合格すると、デジタル証明書が得られます。彼らはこれをプロフィール（LinkedInのバッジのようなもの）に掲載し、カンファレンスの主催者に「私は訓練を受けており、準備ができている」と示すことができます。これにより、資格があり、即戦力となる検査員の層を拡大することができます。
2. AIは「パイロット」ではなく「副操縦士」として（責任あるAI利用）
著者らはAIを禁止したいのではなく、慎重に使用したいと考えています。
- ルール： AIは誤字脱字のチェックやデータの要約を助けることはできますが、最終的なレビューを書いたり、人間の判断に取って代わったりすることはできません。
- セーフティネット： エディター（編集者）は、レビューがロボットによって書かれたかどうかを検出するツールを使用すべきです。もし誰かが偽のAIレビューを忍び込ませようとした場合、罰則を受けるべきです。
- ヘルパー： AIは、人間が作業を行った後に、人間が見落とした可能性のある事項をダブルチェックするために使用できますが、それは人間がすでに独自の意見を形成した後に限られます。
3. より良い報酬（インセンティブ）
より多くの人にボランティアに参加してもらうためには、彼らの時間をより適切に評価する必要があります。著者らは以下の提案をしています。
- 「ペイ・トゥ・プレイ（参加するための条件）」ルール： カンファレンスに論文を提出したい場合は、そのカンファレンスの論文を査読することにも同意しなければなりません。これは「お互いに恩を返す」という取引です。
- 割引とバッジ： 査読者にカンファレンスの参加登録料の割引を与えたり、名札に特別なバッジを付けて、周囲に助けていることを知らせたりします。
- 新人賞： 新しい査読者のための特定の賞を作り、彼らがキャリアの初期段階から、20年の経験を経てではなく、認められていると感じられるようにします。
まとめ
論文は、もし今これを修正しなければ、システム全体が崩壊する可能性があると結論づけています。「厨房」は忙しすぎ、「料理（研究）」の質は低くなり、最高の専門家たちは燃え尽きてしまうでしょう。より多くの人々を訓練し、AIをヘルパーとして責任を持って使い、査読者に優れた認識を与えることで、ソフトウェアエンジニアリング・コミュニティは、そのアイデアの市場が健康的で公平であり続け、将来に向けて成長していくことを確実にできるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。