Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time
Indem dieses Paper das populäre Narrativ sinkender Standards herausfordert, führt es ein neues Framework zur Quantifizierung der Review-Qualität ein und demonstriert durch eine zeitübergreifende Analyse bedeutender KI- und Linguistik-Konferenzen, dass die mediane Review-Qualität über die Zeit stabil geblieben ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: Werden die Rezensionen schlechter?
Stellen Sie sich vor, Sie leiten eine riesige, weltweite Talentshow. Jedes Jahr reichen tausende Sänger (Forscher) ihre Lieder (Paper) ein, um von einem Gremium aus Experten (Reviewer) bewertet zu werden. In letzter Zeit gibt es viel Getratsche im Publikum: „Die Jury wird faul! Sie hören nicht mehr genau zu. Die Qualität des Feedbacks sinkt, weil es zu viele Sänger und zu wenige Jurors gibt.“
Diese Arbeit stellt eine einfache Frage: Ist dieses Getratsche wahr? Werden die Rezensionen tatsächlich mit der Zeit schlechter, oder ist das nur ein Gefühl?
Das Problem: Man kann Äpfel nicht mit Birnen vergleichen
Um dies zu beantworten, versuchten die Forscher, die „Qualität einer Rezension“ zu messen. Dabei stießen sie jedoch auf ein Hindernis. Stellen Sie sich vor, Sie versuchen, die Qualität eines Sandwiches aus dem Jahr 2018 mit einem Sandwich aus dem Jahr 2025 zu vergleichen.
- Im Jahr 2018 wurde das Sandwich vielleicht auf einer Serviette ohne Anweisungen serviert.
- Im Jahr 2025 kommt es in einer schicken Box mit einer Checkliste der Zutaten.
- Einige Jurors schreiben lange Absätze; andere schreiben Stichpunkte.
- Einige Jurors schreiben in einem bestimmten Format; andere schreiben frei.
Da sich die „Formulare“ und Stile über die Jahre und über verschiedene Konferenzen hinweg (wie ICLR, NeurIPS und ACL) so stark verändert haben, war es unmöglich, sie fair zu vergleichen. Es war, als würde man versuchen, die Körpergröße von Menschen mit einem Lineal für eine Gruppe und einem Maßband für eine andere Gruppe zu messen.
Die Lösung: Der „Rezensions-Übersetzer“
Um dies zu beheben, bauten die Autoren einen universellen Übersetzer für Rezensionen.
- Vereinfachung (Flattening): Sie nahmen alle verschiedenen Formate und ebneten sie zu einem einzigen langen, kontinuierlichen Textblock.
- Strukturierung (Itemization): Sie nutzten eine intelligente KI (ein Large Language Model), die wie ein professioneller Editor agierte. Diese KI nahm den ungeordneten Text und organisierte ihn in Standardabschnitte um: Zusammenfassung, Stärken, Schwächen und Sonstiges.
Man kann sich das so vorstellen, dass man jedes Sandwich, unabhängig davon, wie es serviert wurde, in Standardstücke schneidet, damit man Brot, Fleisch und Käse separat schmecken kann. Dies ermöglichte es ihnen, Rezensionen aus dem Jahr 2018 direkt mit denen aus dem Jahr 2025 zu vergleichen.
Wie sie „Qualität“ maßen
Soblich die Rezensionen standardisiert waren, untersuchte das Team sie anhand von drei Haupt-„Geschmackstests“:
Substanz (Ist genug Fleisch am Knochen?):
- Leichtgewichtig: Wie lang ist die Rezension? (Zählen von Zeichen).
- Tiefgründig: Wie viele verschiedene Punkte oder „Items“ hat der Rezensent angesprochen?
- Analogie: Eine kurze Rezension ist wie ein kleiner Keks; eine lange Rezension ist wie eine volle Mahlzeit. Sie zählten, wie viele „Bissen“ an Informationen in der Rezension enthalten waren.
Handlungsorientierung/Actionability (Kann der Sänger sein Lied tatsächlich verbessern?):
- Hat der Rezent spezifische Anweisungen gegeben? (z. B. „Ändern Sie Abbildung 3“ statt „Das ist schlecht“).
- Analogie: Eine gute Rezension ist wie ein Coach, der sagt: „Dein linker Fuß ist zu weit vorne.“ Eine schlechte Rezension ist nur ein Schreien: „Du bist daneben!“ Die Autoren maßen, wie viele spezifische „Verbesserungsanfragen“ im Text enthalten waren.
Fundierung/Grounding (Haben sie tatsächlich auf das Paper geschaut?):
- Hat der Rezent auf bestimmte Teile des Papers verwiesen? (z. B. „Siehe Seite 4, Zeile 10“).
- Analogie: Eine fundierte Rezension ist wie ein Detektiv, der auf Beweise auf dem Tisch zeigt. Eine unfundierte Rezension ist wie bloßes Raten, ohne nach den Hinweisen zu schauen.
Die Ergebnisse: Das Getratsche war falsch
Nach der Analyse tausender Rezensionen aus führenden Informatik-Konferenzen über mehrere Jahre hinweg, erzählten die Daten eine überraschende Geschichte:
Die mittlere Qualität der Rezensionen hat NICHT abgenommen.
Trotz der Angst, dass die Reviewer ausbrennen oder dass KI sie faul macht, ist die „durchschnittliche“ Rezension heute genauso hilfreich, detailliert und fundiert wie die Rezensionen von vor einigen Jahren. Das „Getratsche“ über einen Rückgang wurde durch die Zahlen nicht gestützt.
Warum fühlt es sich so an, als würde die Qualität sinken?
Wenn die Qualität gleich bleibt, warum fühlt es sich für alle so an, als würde sie schlechter werden? Die Autoren bieten einige Theorien (Hypothesen) an:
- Die „Mehr Leute, mehr Lärm“-Theorie: Selbst wenn die durchschnittliche Qualität gleich bleibt, steigt mit der Anzahl der Einreichungen auch die Gesamtzahl der schlechten Rezensionen. Wenn Sie 100 Rezensionen haben und 5 davon schlecht sind, sind das 5 %. Wenn Sie 10.000 Rezensionen haben und 500 davon schlecht sind, sind das immer noch 5 %, aber plötzlich sind 500 Menschen wütend. Das Volumen der schlechten Erfahrungen lässt alles kaputt erscheinen.
- Die „Das Schlechteste wurde noch schlechter“-Theorie: Vielleicht ist der Durchschnitt in Ordnung, aber die absolut schlechtesten Rezensionen werden sogar noch schlechter, und genau über diese wird in den sozialen Medien gesprochen.
- Die „Wir wissen es einfach nicht“-Theorie: Vielleicht ist die Qualität tatsächlich gesunken, und zwar in Bereichen, die die Autoren nicht messen konnten (wie die „Seele“ einer Rezension), aber ihre aktuellen Werkzeuge konnten dies nicht erfassen.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass wir nicht in Panik geraten sollten und nicht davon ausgehen müssen, dass das System zusammenbricht. Die „durchschnittliche“ Rezension hält stand. Da die Anzahl der Paper jedoch explodiert, müssen wir härter daran arbeiten, sicherzustellen, dass jeder eine gute Rezension erhält, nicht nur der Durchschnitt.
Die Autoren haben auch ein Toolkit (Code und Daten) erstellt, das andere Forscher nutzen können, um die „Gesundheit“ des Rezensionssystems auch in Zukunft zu überprüfen und sicherzustellen, dass wir Fakten statt nur Gefühle haben, die uns leiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.