Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

トップクラスのコンピュータサイエンス研究（特に人工知能）の世界を、巨大で混沌とした音楽フェスティバルだと想像してみてください。毎年、何千ものバンド（研究者）がメインステージで演奏したい（論文を出版したい）と願っています。しかし、彼らに耳を傾ける審査員（査読者）は数百人しかおらず、フェスティバルは急速に成長しているため、審査員は申請の洪水に溺れつつあります。

この論文の著者たちは、統計学者とコンピュータ科学者のチームであり、このフェスティバルを単純な人気投票として扱うのをやめ、統計的パズルとして扱うべきだと主張しています。以下に、彼らのアイデアを日常的なアナロジーを用いて解説します。

1. 問題：チケットは多すぎるが、審査員は足りない

フェスティバルは爆発的に拡大しています。2026 年には、審査のために 26,000 曲以上の楽曲が寄せられました。審査員は疲れ果てており、すべての楽曲を完璧に聴き取ることはできません。時には審査員が機嫌が悪い日だったり、特定のジャンルが理解できなかったり、あるいは楽曲が良すぎたり悪すぎたりして、公平に判断できなくなったりします。

著者たちはこう述べています。「『いいね』を数えるソーシャルメディアのように、大衆に判断を任せることはできません。なぜなら大衆は専門的ではないからです。どの楽曲が本当に最良なのかを突き止める、より良い方法が必要です。」

2. 解決策：「著者のプレイリスト」（等方性メカニズム）

著者たちは、等方性メカニズムと呼ばれる巧妙なトリックを提案しています。

アナロジー： あなたが料理コンテストの審査員だと想像してください。100 品の料理を評価する必要があります。あなたはスパイシーな料理に対しては少し厳しく、デザートに対しては少し甘くなってしまうかもしれません。あなたのスコアは「ノイズ」を含んでいます（少し乱雑です）。
ここで、その料理を作ったシェフ（著者）がすぐそばに立っていると想像してください。シェフは誰よりも自分の料理を知っています。10 品の料理が互いにどう比較されるか、正確に知っています。

• 古い方法： シェフは単に「私の料理は 10 点満点中 9 点です」と言うだけです。（これは嘘をつきやすいです。誰もが 10 点を目指します）
• 新しい方法： シェフは自分の 10 品の料理を、ベストからワーストへと順位付けするように求められます。「料理 A は料理 B より優れており、料理 B は料理 C より優れています」といった具合です。

なぜこれが機能するか： 自分の作品の順位付けについて、バレずに嘘をつくのは非常に困難です。「料理 C」が最高だと主張しながら、「料理 A」が実際にはひどいものであれば、数学的に嘘を見抜くことができます。著者たちに自分の投稿を順位付けさせることで、システムは審査員からの乱雑なスコアを「浄化」できます。これは、シェフ自身の知識を使って、審査員の聴覚の欠陥を補正するようなものです。

3. 「不公平」への懸念への対応

一部の人は懸念しています。「50 品の料理を持つ有名なシェフが、たった 2 品の料理を持つ新人シェフに対して巨大な優位性を得ることはないのか？順位付けシステムは、より多くのアイテムを持つ人にとって有利に働くのではないか？」

著者たちの対策： 1 人がすべてを順位付けさせるだけでは不公平だと気づいたため、彼らは「グループ化」戦略を提案しています。

• アナロジー： 有名なシェフに 50 品の料理を 1 本の巨大な列で順位付けさせる代わりに、それらを小さな「テイスティングメニュー」（例：「スープメニュー」、「デザートメニュー」）にグループ化するように求めます。スープ同士を互いに、デザート同士を互いに順位付けさせます。
• 結果： これにより競争の土俵が整います。数学的には、このグループ化を行っても、システムはスコアをより正確にする一方で、エントリー数が多いという理由だけで有名なシェフが結果を支配することを防ぎます。

4. 「戦略」の問題：シェフは不正を働くか？

著者たちは、この順位付けが実際にメインステージへの出演権を決定するならば、シェフがシステムを悪用しようとする可能性を認めています。

• リスク： シェフは、受理されるためにひどい料理を「素晴らしい」と順位付けしたり、来年のために自分の最高傑作を低く評価したりするかもしれません。
• 現実的なチェック： 著者たちは、「すべての不正を止めることはできないが、ルールを設計して不正を難しくすることはできる」と述べています。まずは小さく始め（受理・却下を即座に行うのではなく、再検討が必要な論文を特定するために順位付けのみを使用する）、高リスクなゲームにする前に人々の行動を学ぶことを提案しています。

5. 未来：人間と AI、AI 対 人間ではない

この論文は、大きな視点で締めくくられています。人工知能は研究の執筆や査読のあり方を変えています。AI はコードを書き、数学を検証し、査読の草案さえ作成できます。

著者たちの立場：

• 人間を置き換えるな。 AI は、超高性能な電卓のようなツールです。データを整理し、パターンを見つけることはできますが、最終的な審判役になるべきではありません。
• 「人間の関与」： AI を、照明をセットアップし楽器を整理するステージスタッフだと考えてください。人間が審査員であり、音楽が実際に良いかどうかを決定するのは彼らです。
• なぜか？ 科学はデータだけでなく、創造性、倫理、そして「感性」についてのものであるからです。AI は論文の微妙な魂を見逃したり、幻覚（事実を捏造すること）を起こしたりする可能性があります。最終的な決定は人間が管理し続ける必要があります。

まとめ

この論文は、AI 研究の査読システムが過剰に負担されている問題を解決するために、それを数学的な問題として扱うべきだと主張しています。著者たちに自らの作品を正直に順位付けさせることで、審査員のスコアからノイズを取り除き、より正確に最良の論文を見つけることができます。しかし、システムが悪用されないよう注意し、AI が混沌を整理するのを助けつつも、最終的な決定権を握る锤（ハンマー）を持つのは人間であることを保証しなければなりません。