The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

巨大でハイステークスな「査読（ピアレビュー）」のゲームを想像してみてください。科学者たちは、自分たちの最高の成果を審査員パネルに提出します。ソフトウェアエンジニアリングの世界では、これが新しいアイデアがテストされ、承認される仕組みです。しかし、ここには落とし穴があります。ほとんどの審査員は、働きながら学んでいる最中なのです。彼らにはトレーニングマニュアルがなく、ただメンターから良いアドバイスをもらえることを願うか、他人のレビューを読むことで学ぼうとするだけです。それは、料理がなぜ美味しいのか、あるいはなぜまずいのかを一度も教わることなく、ただ他の人が料理しているのを見ているだけでプロのシェフになろうとするようなものです。大きな疑問は、「完全な初心者を熟練した審査員へと変える、真に構造化されたトレーニングプログラムを構築できるのか？ そして、それを一度に大量の人に対して行うことができるのか？」ということです。

この論文は、科学論文の査読方法を教えるための大規模な実験である、ICSE 2026 Shadow PCの物語を伝えています。主催者は単にチェックリストを配ったのではありませんでした。彼らは査読を、**「意図的な練習（デリバレート・プラクティス）」**を必要とするスポーツとして扱いました。それは、単に週に一度試合をするだけでなく、数週間にわたってドリルを行い、試合のビデオを見直し、コーチから即座にフィードバックを受け、さらにはお互いの動きを批判し合うスポーツチームのようなものです。チームは「シャドウ（影）」システムを使用しました。つまり、訓練生たちは本物の審査員と全く同じ論文をレビューしましたが、彼らの意見が最終決定に影響を与えることはありませんでした。これにより、間違いが許され、学習こそが唯一の目的となる、安全な「練習場」が作られました。

結果は驚くほど成功しました。183人がプログラムを開始し、そのうち102人が最後までやり遂げ、117本の論文をレビューしました。訓練生たちはこれを非常に高く評価しており、**97%**がこの経験を他人に勧めたいと答えました。レビューされた論文の著者たちでさえ、**67%**がフィードバックが役に立ったと感じています。この研究は、試行錯誤し、失敗し、修正を受け、再び挑戦するという、多段階の構造化されたアプローチを用いることで、大人数の人々を有能な査閲者に育て上げることができることを示唆しています。しかし、論文では、長期間にわたって全員の関与を維持することは困難であったことも指摘しており、将来のプログラムには、流れを管理し活力を維持するための「チームキャプテン（エリアチェアと呼ばれる）」が必要になる可能性があると示唆しています。

問題点：偶然に判断を学ぶこと

ソフトウェア研究の世界において、査読はゲートキーパー（門番）です。それは、専門家が新しい論文を読み、それが出版に値するかどうかを決定するプロセスです。しかし、これらの専門家はどうやってその技術を学ぶのでしょうか？ 通常、彼らは学びません。彼らは「暗黙的に」学びます。これは、彼らが osmosis（浸透）によって理解していくことを意味する専門的な言い回しです。博士課程の学生は、シニア教授から厳しいレビューを受け、「なるほど、もっと批判的になる必要があるのだな」と考えたり、あるいは曖昧なレビューを受け取って混乱したりします。幸運な学生は直接的なコーチングを受けられますが、多くの人にとって、それは推測のゲームなのです。

論文の投稿数が増えるにつれ、システムはより多くの審査員を求める要求に溺れています。優れたアイデアと欠陥のあるアイデアを見分けることができる人がもっと必要ですが、そこに至る明確な道筋が存在しません。それは、街が1,000人の新しい消防士を雇おうとしているのに、ホースの持ち方を教える代わりに、ただ燃えている建物の中に彼らを投げ込み、学習することを期待しているようなものです。

解決策：「シャドウ」ジム

この論文の著者たちは、Shadow PC（プログラム委員会）を作成することで、この問題を解決することに決めました。メインのPCを公式のオリンピック審査員だとすると、Shadow PCはそのすぐ隣にある「トレーニングキャンプ」です。訓練生（主に博士課程の学生や新任の教授などの初期キャリアの研究者）は、本物の審査員と全く同じ論文をレビューしましたが、それは別個の安全な空間で行われました。彼らのレビューが採用の可否を決めることはなく、あくまで練習のためのものでした。

ここでの鍵となる革新は、**「意図的な練習（デリバレート・プラクティス）」**でした。単に「ここに論文があります、レビューを書いてください」と言うのではなく、プログラムはビデオゲームのレベルのように設計されました。それは、「何かを試し、それが下手であることに気づき、具体的なフィードバックを受け、再び挑戦する」ときに最もよく学ぶという考えに基づいています。

トレーニングキャンプの仕組み

プログラムは、特定のスキルを教えるように設計されたいくつかのフェーズに分かれていました。

1. 「まずやってみる」フェーズ（指導前の生成）：
   通常、教師はルールを教えてから始めさせます。しかし、このプログラムはその逆を行いました。参加者は、チェックリストやガイドを受け取る前に、レビューを書くよう求められました。なぜでしょうか？ 何が足りていないのかを知らなければ、学習は難しいからです。最初に試行することで、彼らは「ああ、こんなことを確認する必要があるなんて、そもそも知らなかった！」と気づきました。これにより、彼らの「無意識の無能（自分が何を知らないかを知らない状態）」が、「意識的な無能（学ぶべきことが何であるかを知っている状態）」へと変わりました。

2. 「対比」フェーズ（キャリブレーション）：
   「良い」論文とはどのようなものかを教えるために、彼らは2つの特別な論文を与えられました。一つはトップカンファレンスにすでに採択された論文であり、もう一つは、明らかな欠陥を持つように密かに編集された、却下された論文です。訓練生は両方をレビューしなければなりませんでした。その後、彼らは専門家がそれらをどのようにレビューしたかを見ました。これにより、「欠陥はあるが優れた」論文と「壊れた」論文の違いを見極め、判断力を研ぎ澄ませることができました。

3. 「フィードバック・ループ」（レビューのレビュー）：
   一人の教師が全員を採点するには人数が多すぎるため、訓練生たちはお互いのレビューを採点しました。これは「教えることは最高の学習法である」という考えに基づいています。誰かのレビューを批判することで、彼らは何が良いレビューを作るのかについて深く考えざるを得ず、それが自身の改善につながりました。

4. 「本番」フェーズ：
   すべてのドリルが終わった後、彼らは自分でレビューするための3本の実際の論文を割り当てられました。その後、グループでこれらの論文について議論し、実際の審査員が行うのと同様に、「メタレビュー（グループの意見の要約）」を作成しました。

5. 「デブリーフィング（振り返り）」（公開）：
   最後に、彼らは同じ論文について本物の審査員がどう考えたかを知ることができました。彼らは自分のレビューを公式のレビューと比較し、どこで一致し、どこで見当違いだったのかを確認できました。

結果：うまくいったのか？

実験は成功しましたが、いくつかの成長痛もありました。

• 規模: 183人が参加し、102人がプログラムを最後まで完了しました。これほど多くの人が同時に学んでいるのです！
• レビュー: これらの訓練生は117本の論文をレビューしました。
• 判定: 参加者の**97%**が、この経験を他人に推奨すると答えました。彼らは多くを学び、新しい視点を得たと感じています。
• 著者からのフィードバック: 論文の著者は、訓練生のレビューが役に立ったかどうか尋ねられました。**67%**が「はい」と答えました。さらに興味深いことに、**63%**の著者が、訓練生のレビューが公式の審査員の意見と一致していることに気づいており、これはトレーニングが思考を専門家と一致させることに実際に成功したことを意味しています。
• 「保守的」なバイアス: 訓練生は本物の審査員よりも慎重でした。彼らは論文を却下する傾向が強く、「大幅な修正」を求める頻度が高かったです。著者らは、訓練生は修正された論文を後で再読する手間を考慮する必要がないため、より厳格になったのではないかと示唆しています。

課題と今後の計画

完璧ではありませんでした。最大の課題は、人々の関与を維持することでした。プログラムは約3ヶ月間続き、終了間際になると、特に議論のフェーズにおいて、参加をやめてしまう人が現れました。グループが行き詰まったため、主催者が介入して最終的な要約を一部執筆する必要がありました。

著者らは次回のための修正案を提示しています：

• 「チームキャプテン」の導入: 彼らは「シャドウPCエリアチェア」と呼ばれる新しい役割を提案しています。これは、経験豊富な訓練生が小さなレビューグループを管理し、議論を進め、サポートを行う役割です。これにより、「訓練生 $\rightarrow$ チームキャプテン $\rightarrow$ 本物の審査員」というキャリアパスが生まれます。
• 同期の改善: ライブミーティングは素晴らしかったものの、時間が短すぎました。彼らは、時間を長く設定し、異なるタイムゾーンのために録画することを提案しています。
• コミュニティー: 彼らは、これを過去の参加者が次のグループを訓練するために戻ってくるような、永続的なクラブへと発展させ、自律的なコミュニティにしたいと考えています。

まとめ

ICSE 2026 Shadow PCは、たとえ初心者の状態からスタートしたとしても、人々がいかに優れた科学的審査員になれるかを証明しました。試行、失敗、フィードバック、そして再挑戦という、構造化された実践重視のアプローチを用いることで、大人数を高い水準まで訓練できるのです。これは単にレビューアーを増やすことではなく、品質を判断できるリーダーのパイプラインを構築し、ソフトウェア研究の未来が強固で公正であり続けるようにするためのものです。論文は、もしこの「トレーニングキャンプ」モデルを洗練し続けていけば、品質を損なうことなく、優れたレビューアーの不足という問題を解決できることを示唆しています。