How Closely Do LLM Reviews Align with Human Peer Review?
本研究は、ICLR 2026への投稿論文に対する人間の査読結果と比較して3つの主要な大規模言語モデルを評価し、LLMは採択論文と却下論文を概括的に区別できる一方で、オーラル発表とポスター発表の間の人間による区別を再現できず、プロバイダー固有のスコアリングの偏りや、弱点を特定する際のテーマ的な相違を示すことを見出した。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あらゆる新しい科学的アイデアが、世界に共有される前に門番を通らなければならない世界を想像してみてください。何十年もの間、この門番は人間の専門家、すなわち査読者でした。彼らは論文を読み、その強みと弱みを熟考し、スコアを付けます。それはまるで、歌の代わりに複雑な数学やコンピュータコードを審査する、タレントショーの審査員のようなものです。最近、このアリーナに新しいタイプの審査員が登場しました。人工知能（AI）、具体的には大規模言語モデル（LLM）です。これらは膨大な量のテキストで学習された非常にスマートなコンピュータプログラムであり、論文を読み、人間と同じようにレビューを書くことができます。しかし、ここで大きな疑問が生じます。これらのAI審査員は、本当に人間の審査員のように「考えて」いるのでしょうか、それとも単に言葉を模倣しているだけなのでしょうか？もしAIが論文を「良い」と言ったとき、それは人間が「良い」と言うときと同じ意味なのでしょうか？これが、科学者たちが解明しようとしている謎です。なぜなら、どの科学論文を出版するかを決めるためにAIを使い始めるのであれば、AIが自分たちの取って代わる人間と同じルールに従っているかどうかを知っておく必要があるからです。
この論文は、研究者たちが「レビューの対決」を設定した、巨大で制御された実験のようなものです。彼らは、主要なコンピュータサイエンスのカンファレンス（ICLR 2026）から300編の実際の科学論文を取り上げ、OpenAIのGPT-5.4、GoogleのGemini 3.1 Pro、AnthropicのClaude Opus 4.6という3つの異なるAIモデルに、それらをレビューさせました。公平な戦いにするために、研究者たちは論文をマッチングさせました。つまり、すべての「オーラル（口頭発表）」（トップティアの注目の論文）に対して、同様の「ポスター（ポスター発表）」（優秀だがトップティアではない論文）と「リジェクト（却下）」された論文が対応するようにしました。そして、AIによるレビューを、実際の人間によるレビューおよびカンファレンスによる最終決定と比較しました。
結果は、「悪くない」と「非常に異なる」が混在したものでした。まず、良いニュースがあります。3つのAIモデルすべてが、受理された論文と却下された論文の違いを見分けるほど賢かったことです。彼らは森を見ることができました。しかし、彼らは木々を見ることには完全に失敗しました。人間の査読者は、「オーラル」論文と「ポスター」論文に対して明確なスコアの差を付け（オーラル論文の方がわずかに優れていることを認識して）ましたが、AIモデルはそれらを全く同じものとして扱いました。彼らは「良い」論文と「素晴らしい」論文の違いを理解できなかったのです。
さらに、AIモデルはスコアが異なるだけでなく、それぞれ独自の個性を持っていました。GoogleのGeminiはこのグループの中の「優しい人」であり、人間が却下した論文に対しても高い点数を与えるなど、系統的に高いスコアを付けていました。OpenAIとClaudeは、特にトップティアのオーラル論文に関して、「厳しい批評家」のようであり、実際には人間よりも厳しく判定していました。
最後に、研究者たちは、レビューアーが「何を」不満としていたのかを調査しました。人間とAIは、「この実験は弱い」や「文章が不明瞭である」といった大局的な点では一致していました。しかし、細部に関しては、優先順位が異なっていました。AIモデルは、他の手法との比較（ベースライン）が欠けていることに執着していましたが、人間の査読者は、その研究にどれほどの計算資源や費用がかかるかをより懸念していました。
要するに、この論文は、AIは明らかな間違いを見つけるための「副次的で見守る目」としては役立つものの、人間の審査員に取って代わる準備はできていないことを示唆しています。AIは、論文が「合格」か「不合格」かを判断することはできますが、論文を真に優れたものにする微妙なニュアンスを理解することには苦労しており、人間とは異なる関心事を持っています。AIのスコアを人間のスコアと全く同じものとして扱うことは、ロボットが焦げたクッキーと焼きたてのクッキーの違いは判別できるものの、「グルメ」がどのような味であるかは全く理解していない状態で、料理コンテストの審査を任せるようなものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。