How Closely Do LLM Reviews Align with Human Peer Review?
Diese Studie bewertet drei führende große Sprachmodelle im Vergleich zu menschlichen Peer-Reviews für ICLR 2026-Einreichungen und stellt fest, dass LLMs zwar allgemein zwischen akzeptierten und abgelehnten Papieren unterscheiden können, es jedoch versäumen, die menschlichen Unterscheidungen zwischen Oral- und Poster-Präsentationen zu replizieren, und zudem anbieter-spezifische Scoring-Biases sowie thematische Unterschiede bei der Identifizierung von Schwachstellen aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der jede neue wissenschaftliche Idee erst durch einen Torwächter gehen muss, bevor sie mit dem Rest der Welt geteilt werden darf. Jahrzehntelang war dieser Torwächter ein menschlicher Experte, ein Peer-Reviewer, der ein Paper liest, über dessen Stärken und Schwächen nachdenkt und ihm eine Punktzahl gibt. Es ist ein wenig wie bei einem Talentwettbewerb-Juror, nur dass sie statt Gesang komplexe Mathematik und Computercode bewerten. Vor kurzem ist ein neuer Typ von Richter in die Arena getreten: Künstliche Intelligenz, speziell Large Language Models (LLMs). Dies sind supersmarte Computerprogramme, die auf riesigen Mengen an Text trainiert wurden und ein Paper lesen und eine Rezension schreiben können, genau wie ein Mensch. Aber hier liegt die große Frage: Denken diese KI-Richter tatsächlich wie menschliche Richter oder ahmen sie nur die Worte nach? Wenn eine KI sagt, ein Paper sei „gut“, bedeutet das dasselbe, wie wenn ein Mensch sagt, es sei „gut“? Dies ist das Rätsel, das Wissenschaftler zu lösen versuchen, denn wenn wir damit beginnen, KI zu nutzen, um zu entscheiden, welche wissenschaftlichen Paper veröffentlicht werden, müssen wir wissen, ob sie nach denselben Regeln spielen wie die Menschen, die sie ersetzen.
Dieses Paper ist wie ein riesiges, kontrolliertes Experiment, bei dem die Forscher einen „Reviewing-Showdown“ aufgebaut haben. Sie nahmen 300 echte wissenschaftliche Paper von einer großen Informatik-Konferenz (ICLR 2026) und baten drei verschiedene KI-Modelle – OpenAI's GPT-5.4, Google's Gemini 3.1 Pro und Anthropic's Claude Opus 4.6 – diese zu rezensieren. Um einen fairen Kampf zu gewährleisten, stellten die Forscher die Paper so zusammen, dass es für jedes „Oral“-Paper (die erstklassigen Spotlight-Paper) ein ähnliches „Poster“-Paper (gut, aber nicht erstklassig) und ein „abgelehntes“ Paper gab. Sie verglichen dann die KI-Rezensionen mit den tatsächlichen menschlichen Rezensionen und den endgültigen Entscheidungen der Konferenz.
Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „sehr unterschiedlich“. Erst einmal die guten Nachrichten: Alle drei KI-Modelle waren klug genug, den Unterschied zwischen einem angenommenen und einem abgelehnten Paper zu erkennen. Sie konnten den Wald sehen. Sie scheiterten jedoch völlig daran, die Bäume zu sehen. Während menschliche Reviewer unterschiedliche Bewertungen für die „Oral“-Paper im Vergleich zu den „Poster“-Papern vergaben (da sie erkannten, dass Oral-Paper etwas besser waren), behandelten die KI-Modelle sie exakt gleich. Sie konnten keinen Unterschied zwischen einem „guten“ und einem „großartigen“ Paper feststellen.
Darüber hinaus bewerteten die KI-Modelle nicht nur unterschiedlich; sie hatten auch ihre eigenen einzigartigen Persönlichkeiten. Googles Gemini war der „nette Kerl“ der Gruppe und vergab systematisch höhere Punktzahlen an alle, wobei es sogar Papern hohe Noten gab, die von Menschen abgelehnt worden waren. OpenAI und Claude waren eher die „harten Kritiker“, besonders wenn es um die erstklassigen Oral-Paper ging, wo sie tatsächlich strenger als die Menschen waren.
Schließlich untersuchten die Forscher, worüber die Reviewer sich beschwerten. Menschen und KI stimmten beim großen Ganzen überein, wie etwa „dieses Experiment ist schwach“ oder „die Schreibweise ist unklar“. Aber wenn es um die Details ging, hatten sie unterschiedliche Prioritäten. Die KI-Modelle waren besessen davon, dass Vergleiche mit anderen Methoden (Baselines) fehlten, während menschliche Reviewer viel besorgter darüber waren, wie viel Rechenleistung und Geld die Forschung kosten würde.
Zusammenfassend lässt sich sagen, dass das Paper darauf hindeutet, dass KI zwar ein hilfreiches zweites Paar Augen sein kann, um offensichtliche Fehler zu finden, aber nicht bereit ist, menschliche Richter zu ersetzen. Sie kann dir sagen, ob ein Paper ein „Bestanden“ oder ein „Nicht bestanden“ ist, aber sie hat Schwierigkeiten, die subtilen Nuancen zu verstehen, die ein Paper wirklich exzellent machen, und sie legt Wert auf andere Dinge als die Menschen. Ein KI-Score wäre genau so zu behandeln wie ein menschlicher Score, wenn man einem Roboter vertrauen würde, einen Kochwettbewerb zu bewerten, weil er den Unterschied zwischen einem verbrannten Keks und einem frischen Keks erkennen kann, obwohl er keine Ahnung hat, wie „Gourmet“ schmeckt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.