Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review

大いなるスコアカードの謎

世界規模の巨大な科学フェアを想像してみてください。そこでは、毎年何千人もの優秀な学生たちがプロジェクトを提出しています。誰が最終発表の場に選ばれるかを決めるために、審査員チームは各プロジェクトに対して、1から10までの評価のような単純な数値スコアを付けます。フェアのルールは本来、単純で公平であるはずです。例えば、スコアの「7」は、プロジェクトの内容が何であれ「素晴らしい成果」を意味すべきです。踊るロボットを作ったとしても、天気を予測するプログラムを作ったとしても、あるいはコンピュータに文字を読ませる新しい方法を開発したとしても、「7」という数字は同じ意味を持つべきなのです。

しかし、もし「ロボティクス」部門の審査員が非常に厳格で、完璧なロボットにしか「7」を与えない一方で、「気象学」部門の審査員は非常に興奮しやすく、雲のようなものさえあれば何にでも「7」を与えてしまうとしたらどうでしょう？ もしあなたがどのセクションに属しているかを知らないとしたのであれば、その単一の数字は混乱を招きます。ある分野での「7」は黄金のチケットかもしれませんが、別の分野での「7」は丁寧な拒絶かもしれません。これは、機械学習の分野の研究者たちが解決しようとしているパズルです。彼らは、コンピュータがいかにしてパターンを認識し、意思決定を行い、問題を解決することを学ぶのかを研究しており、恐ろしい問いを投げかけています。「私たちが論文を評価するために使っている『スコア』は、本当に公平なのか？ それとも、自分がどのクラブに所属しているかに完全に依存しているのか？」

論文の大きな発見：スコアカードは壊れている

ある研究チームによって書かれたこの論文は、主要な機械学習の国際会議であるICLRのデータに基づき、深く掘り下げた調査を行っています。彼らは2021年から2026年までに提出された5万件以上の論文を分析し、「スコア」が本当に全員に対して同じ意味を持っているのかを確認しました。彼らの結論は衝撃的です。**「スコアは比較可能ではない」**のです。

これは、異なるレベル（ステージ）でプレイしているプレイヤーたちが、それぞれ異なるコントローラーを使っているビデオゲームのようなものです。「トレンド（流行）」のレベル（AIのホットな新トピックなど）では、コントローラーの感度が非常に高いです。わずかなタップでも高いスコアが得られます。一方、「オールドスクール（伝統的）」なレベル（確立された古いトピックなど）では、コントローラーは硬く、押すのが大変です。もし「トレンド」のレベルでスコア5.0を取ったなら、あなたはスーパースターかもしれません。しかし、「オールドスクール」のレベルで5.0を取ったなら、あなたは苦戦している可能性があります。論文によると、全く同じ査読者スコアであっても、その論文が採択される確率は、トピックによって最大8倍も変わることが分かりました。

例えば、「思考」や「推論」に関する論文は、スコア5.0で52.6%の採択率がありました。しかし、「画像認識」や「敵対的攻撃」に関する論文は、全く同じスコア5.0であっても、採択率はわずか6.6%でした。これは8倍もの差です！ 研究者たちはこれを「測定設計の失敗（measurement design failure）」と呼んでいます。これは、査読者が意地悪だったり、エリアチェア（領域議長）に偏見があったりするからではなく、根本的に異なるものを測るために、単一の定規を使おうとしているシステム自体が壊れているからです。

それではないもの（レッド・ヘリング：紛らわしい情報）

著者たちは、この格差が生じる他の理由を排除するために、非常に慎重に検証を行いました。彼らはこう問いかけました。「『トレンド』のトピックは、単に質が高いからではないのか？」 答えは**「ノー」**です。もしそうであれば、それらのホットなトピックで採択された論文はより高いスコアを得ているはずです。しかし、データは逆を示しています。ホットなトピックは、冷遇されているトピックよりも低いスコアの論文を採択しているのです。

また、「オールドスクール」なトピックには、非常に専門的で、満足させるのが難しい査読者がいるのではないかとも確認しました。データは再び**「ノー」**と言っています。要求水準の高い分野の査読者は、実際には他の査読者よりも自信に満ちていたり、専門家であったりしたわけではなく、他の人たちと同じくらい熱心だったのです。

最後に、トレンドのトピックは、投稿数が多すぎるために質の低い仕事を受け入れているのではないか（「品質の希薄化」）とも考えました。しかし、データは、トピックの成長速度と品質低下の間に関連性がないことを示しました。実際、急速に成長しているトピックの中には、採択率を一定に保っているものもあれば、急落しているものもありました。

真の犯人：「ハイプ・サイクル（熱狂の周期）」と「パッチ（継ぎ当て）」

では、なぜこのようなことが起きているのでしょうか？ 論文は、これが構造的な問題であると主張しています。あるトピックが「ホット（熱狂的）」になると（新しい刺激的なトレンドのように）、多くの新しい、ジュニアレベルの査読者を惹きつけ、彼らは興奮しており、おそらく寛容です。一方で、あるトピックが「成熟」していると（確立された古い分野のように）、シニアレベルの専門家を惹きつけ、彼らはより批判的になります。システムは「誰が」スコアを付けているのかを知らないため、「熱狂的なジュニアによる6」と「不機嫌なシニアによる6」を同じものとして扱ってしまうのです。

これを修正するために、エリアチェア（最終的な採否を決める人々）は「推測」を行わなければなりません。彼らは自身の「コミュニティ・プライア（共同体の先入観）」、つまり、特定のトピックにおいて論文が採択される難易度についての直感的な感覚を使っています。彼らは本質的に、壊れたシステムを自分たちの直感で「パッチ（継ぎ当て）」しているのです。これは、境界線上にある（ボーダーラインの）論文にとって、その運命が「作品がいかに優れているか」ではなく、そのトピックが現在「流行しているか」によって決まってしまうことを意味します。

私たちは何をすべきか？

この論文は単に問題を指摘するだけでなく、システム全体を再構築することなく、それを修正するための3段階のプランを提案しています。

1. 透明性を確保する： カンファレンスの主催者は、スコアごとの採択率をトピック別に示したレポートを公開すべきです。もし論文が5.0を取ったなら、誰もが「ああ、トピックAでの5.0は50%の確率で採択されるが、トピックBでの5.0は6%しか採択されないのだな」と理解できるようにすべきです。これにより、隠れたバイアスが可視化されます。
2. カスタム・ルールブック（独自の規則）を作る： すべてに対して汎用的な「1から10」のスケールを使うのではなく、各研究コミュニティが、何が良い論文であるかについての具体的なチェックリスト（ルーブリック）を作成すべきです。「良い」理論論文と「良い」エンジニアリング論文は姿が異なります。ルールもそれを反映すべきです。
3. より優れたシグナルを使用する： 論文は「較正されたシグナル（calibrated signals）」の使用を提案しています。例えば、単なる生の数値を見るのではなく、査読者の履歴（その人が普段高く付けているか、低く付けているか）に基づいてスコアを調整する方法です。また、著者が複数の論文を提出する場合に、自分の論文をランク付けできるようにすることも提案されています。これにより、システムは生の数値よりも、相対的な質の高さをより正確に理解できるようになります。

結論

この論文の結論は、現在のシステムは、異なるレーンを走るランナーたちが異なる路面を走っているのに、全員が同じストップウォッチで判定されているレースのようなものであるということです。「ホット」なレーンのランナーは、足が速いからではなく、トラックが走りやすいからスタートダッシュを切れているのです。著者たちは、トラックを直し、すべてのレーンでスコアリングを公平にするまで、最高の論文であっても、単に現在「クール」ではないトピックに取り組んでいるという理由だけで、不採用になる可能性があると主張しています。解決策は、審査員を責めることではなく、私たちが使っている定規が、その仕事に対して適切なサイズではないと認めることなのです。