Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

機械学習、すなわちコンピュータにデータから学習する方法を教えることに捧げられた分野の、広大かつ急速に拡大する世界において、技術そのものではなく、それを検証するために用いられる人間のプロセスに重大なボトルネックが生じている。新しい発見が世界と共有される前に、それは査読というプロセスを経なければならない。これは、専門家が同僚の著作を読み、評価し、それが出版に値するかどうかを判断するシステムである。数十年にわたり、このプロセスは単純な社会的契約に依存してきた。つまり、自分の研究を出版したいのであれば、他者の研究を査読することに同意しなければならないというものだ。しかし、主要な会議一つに対して研究論文の数が数万件へと爆発的に増加したため、この礼儀正しい合意は綻びを見せ始めている。提出物の膨大な量が利用可能な専門家を圧倒しており、それが拙速な評価、一貫性のない基準、そしてシステムが意図した通りに機能していないと感じる科学者たちの間に広がる不満感につながっている。コミュニティが直面している核心的な問いは、もはや単にワークロードをいかに管理するかではなく、単なる「チェックボックスを埋める作業」ではなく、いかにして高品質で思慮深いフィードバックを実際に促すシステムを構築するかである。

ライス大学のシャオチェン（ヘンリー）・ジョングによる最近のポジションペーパーは、研究者に対してより注意深くあることや、より良いガイドラインに従うよう求める現在のアプローチは不十分であると論じている。著者は、機械学習コミュニティは、丁寧な依頼や楽観的なガイドラインでは、投稿量の危機と査読の質の低下を解決できない段階に達していると示唆している。代わりに、この論文は、査読を一種の「通貨」として扱うシステムへの急進的な転換を提案している。中心となるアイデアは、現在の「名誉制度」を、研究者が査読プロセスへの貢献によってポイントを獲得し、それらのポイントを使って特定の特権を得ることができる「具体的なクレジット経済」に置き換えることである。このアプローチは、善意に頼ることから、良い振る舞いが報われ、悪い振る舞いに測定可能なコストが伴う構造へと移行するものである。

この論文は、現在の機能不全の主な要因を二つ特定している。第一に、主要な会議への論文提出数が膨大になりすぎており、利用可能な専門家がそれぞれの論文に相応の注意を払うことが物理的に不可能になっていることである。一部の会議では2万件を超える投稿を受けており、プロセスを進行させるために、システムは迅速で、しばしば恣意的な決定を強いられている。第二に、不適切な振る舞いに対するペナルティが欠如していることである。査閲者は、何の報いを受けることもなく、無視的な、あるいは努力の足りない、さらには意味不明な批判を提出することができる一方で、詳細で建設的なフィードバックを提供するためにさらなる労力を払う査閲者は、具体的な認識を得ることができない。著者は、いくつかの会議が投稿数を制限するために著者による投稿数の上限を設定しようと試みてきたが、これらの措置は根本的な原因に対処できていないため、しばしば失敗すると指摘している。その根本的な原因とは、準備不足の論文を提出することに対するデメリットの欠如、あるいは質の高い査読を行うための報酬の欠如である。

これらの問題に対処するため、著者は「OpenReviewポイント」と呼ばれるシステムを提案している。このモデルでは、研究者は標準的な査読を行う、緊急の査読を支援する、あるいは優れた査読者として認められるといった特定のタスクを実行することでポイントを獲得する。これらのポイントは、異なる主要な会議間で利用可能な柔軟な通貨として機能する。例えば、研究者はポイントを消費して、査読義務の免除を求めたり、議論のある論文に対して追加の専門家の意見を求めたり、あるいは会議の参加費を無料にするためにポイントを使用したりすることができる。このシステムは、粒度が高く強制力のあるものとして設計されており、主催者が、現在の一律的な「全か無か」のアプローチよりも微細な方法で、良い振る舞いを報い、悪い振る舞いを罰することを可能にする。

論文は、コミュニティがこれまで試みてきたいくつかの既存の解決策に対して、明確に反対している。単に査閲者に対してより親切に、あるいはより徹底するように求めることは、現在のシステムがサポートしていない動機付けに依存しているため、効果的ではないと示唆している。また、著者は、著者が論文を提出できる数に厳格なハードリミットを設けるという考えについても批判しており、そのようなルールは、実際の投稿数を減らすのではなく、上限に収まるようにチームが論文から名前を外すだけの結果を招くと指摘している。さらに、著者は、査閲者が低努力であったために論文を却下するといった厳しい罰則は、幅広い質の低い査読行動を扱うにはあまりに鈍重な道具であると警告している。代わりに、提案されているクレジットシステムは、中間の道を提供し、低品質な査読に対してポイントを差し引くといった、研究者のキャリアを破壊することなく抑止力として機能する比例的な罰則を可能にする。

提案の鍵となる要素は、「きめ細かな手続き上の安全策」という考え方である。著者は、システムが悪用されるのを防ぐための4つの具体的なメカニプトを概説している。第一に、システムは特定の行動を特定の役割に限定し、論文の筆頭著者がのみが追加の助けを求めるためにポイントを消費できるようにすることで、責任の所在を明確にし、負担が責任の低いメンバーに移ることを防ぐ。第二に、特定の行動が取られる頻度に上限を設け、大量の低努力な査読を提出することでポイントを「稼ぐ」行為を防ぐ。第三に、動的な価格設定を採用し、研究者が特定の特権を使用すればするほど、より多くのポイントが必要になるようにすることで、希少なリソースが最も重要なニーズのために確保されるようにする。最後に、システムは査読の質を判断するためにピア投票（仲間による投票）に依存し、コミュニティが共同で悪質な行為者を特定し、罰することができると同時に、例外的なフィードバックを提供する人々を報いることができるようにする。

著者は、このシステムが課題や潜在的なデメリットを抱えていることも認めている。クレジット制度が、すでに時間とリソースを持っている研究者に有利に働き、彼らが責任を「買い取る」ことを可能にするのではないかという懸念がある。しかし、論文は、ポイントは金銭で購入されるのではなく労働を通じて獲得されるため、このシステムは富ではなく努力を報いるものであると論じている。また、システムが操作されたり、現実の経済におけるインフレのようにポイントの価値が時間の経過とともに失われたりするリスクもある。これに対抗するため、著者はポイントに有効期限を設け、既存の特典（無料の会議登録など）から始めて、より複雑な機能へと段階的に展開することを提案している。

論文は、目標は完璧なシステムを作ることではなく、現在のシステムをより持続可能で責任あるものにすることであると強調して締めくくっている。著者は、このシステムを採用する最初の会議は、まず小規模に始め、より複雑な範囲へと拡大する前に、既存の報酬を用いて様子を見るべきであると示唆している。キーとなる指標を追跡し、異なる会議間でデータを共有することで、コミュニティは何が機能し何が機能しないのかを学び、最終的には全員に利益をもたらす共有の枠組みを構築できる。究極のビジョンは、良い振る舞いが認識され報われ、研究者がシステムの質に対して当事者意識を持ち、現在の時代のフラストレーションが、より機能的で公平なアイデアの交換に置き換わる査読プロセスである。この提案は、研究者が正しいことを行うよう期待することから、正しいことを行うことが最も論理的で有益な選択となるような構造を作り出すことへの転換を表している。