← Neueste Arbeiten
📊 Statistik

Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?

Diese Studie analysiert Metadaten aus fast 160.000 Rezensionen über Konferenzen für maschinelles Lernen hinweg und findet keine statistischen Belege, die das „Reviewer 2“-Stereotyp einer inhärenten Härte oder Polarisierung stützen, was darauf hindeutet, dass das Phänomen eher ein Messartefakt oder ein institutionsabhängiger Bias ist als eine universelle Realität.

Ursprünglicher Autor: Muh. Akbar Idris

Veröffentlicht 2026-11-17✓ Author reviewed ⓘ
📖 6 Min. Lesezeit🧠 Tiefgang

Ursprünglicher Autor: Muh. Akbar Idris

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der akademischen Wissenschaft ist der Weg von einer neuen Idee bis hin zu einem veröffentlichten Paper durch einen Prozess gepflastert, der als Peer-Review bezeichnet wird. Bevor eine Studie das Licht der Welt erblickt, wird sie anderen Experten auf dem Gebiet zugesandt, die sie sorgfältig lesen und ihr Urteil abgeben. Diese Experten, bekannt als Reviewer, fungieren als Gatekeeper, die entscheiden, ob die Arbeit fundiert genug ist, um mit der Welt geteilt zu werden. Sie vergeben Bewertungen, schreiben detaillierte Kommentare und empfehlen oft, ob das Paper akzeptiert, abgelehnt oder zur Durchführung wesentlicher Änderungen zurückgesendet werden sollte. Dieses System soll Qualität sicherstellen, ist aber auch eine Quelle großer Angst für die Autoren. Ein einziger harter Kommentar kann eine Karriere ruinieren, und der Prozess ist oft von Geheimhaltung umgeben, wobei die Identitäten der Reviewer vor dem Autor, den sie beurteilen, verborgen bleiben.

Im Laufe der Zeit hat sich innerhalb dieses Systems eine spezifische kulturelle Erzählung entwickelt. Autoren und Wissenschaftler haben ein gemeinsames Misstrauen entwickelt, dass der zweite aufgeführte Reviewer auf einem Bericht besonders schwierig ist. Der „Reviewer 2“ ist zum Volksbösewicht in der wissenschaftlichen Gemeinschaft geworden, einer Figur, die als unverhältnismäßig hart, abweisend oder hinderlich im Vergleich zu ihrem Kollegen imaginiert wird. Dieses Stereotyp legt nahe, dass, wenn ein Paper einen zweiten Reviewer hat, diese Person diejenige ist, die wahrscheinlich das Projekt zerstört. Aber ist das ein echtes Muster im Verhalten von Menschen oder nur ein Gefühl, das aus Frustration geboren wurde? Um dies zu beantworten, musste ein Forscher über Anekdoten hinausgehen und sich die tatsächlichen Zahlen hinter tausenden von Reviews ansehen, um zu prüfen, ob die zweite Person auf der Liste wirklich anders agiert als die erste oder die dritte.

Ein Forscher unternahm den Versuch, diesen Mythos zu untersuchen, indem er eine massive Sammlung von Realdaten aus Open-Science-Konferenzen untersuchte. Er sammelte Informationen aus fast 63.000 Manuskripten und über 157.000 individuellen Reviews. Sein Ziel war es, die Emotionen und Geschichten rund um den Prozess wegzulassen und sich strikt auf die Scores und Entscheidungen zu konzentrieren. Er konzentrierte sich auf eine spezifische Frage: Geben die Personen, die als „Reviewer 2“ bezeichnet werden, tatsächlich niedrigere Punktzahlen, nutzen sie häufiger extreme Bewertungen oder stimmen sie stärker von ihren Kollegen ab, die dasselbe Paper bewerten? Der Forscher war sorgfältig dabei, zwischen der Nummer, die einem Reviewer zugewiesen wurde, und der tatsächlichen Reihenfolge, in der sie ihren Bericht verfassten, zu unterscheiden, da er wusste, dass diese beiden Dinge nicht immer dasselbe sind. Es ist jedoch wichtig anzumerken, dass die für diese Studie verwendeten Daten überwiegend in Machine-Learning-Konferenzen konzentriert waren, wobei speziell 7.966 Manuskripte von ICLR zwischen 2018 und 2021 herangezogen wurden. Dies bedeutet, dass die Ergebnisse am ehesten auf diese Open-Review-Settings anwendbar sind und sich möglicherweise nicht vollständig auf traditionelle, interdisziplinäre Fachzeitschriften verallgemeinern lassen.

Nachdem der Forscher die Daten mit strengen statistischen Methoden analysiert hatte, fand die Studie keine Beweise, die die Vorstellung stützen, dass Reviewer 2 eine besondere Art von Bösewicht ist. Als der Forscher die von dem zweiten Reviewer vergebenen Scores mit den Durchschnittswerten seiner Kollegen verglich, war der Unterschied so gering, dass er effektiv bei Null lag. Tatsächlich zeigten die Daten, dass der zweite Reviewer weder systematisch härter war, noch dass er wahrscheinlicher die extremsten „Ablehnen“- oder „Annehmen“-Bewertungen vergab. Die Angst, dass die zweite Person auf der Liste derjenige ist, der das Projekt wahrscheinlich tötet, scheint ein Mythos zu sein. Der Forscher untersuchte auch, ob die Meinung des zweiten Reviewers bei den Editoren, die die endgültige Entscheidung treffen, mehr Gewicht hatte. Während eine harte Bewertung von jedem Beteiligten zu einer Ablehnung führen konnte, gab es keinen speziellen „Multiplikator-Effekt“ für den zweiten Reviewer, der seine Meinung bedeutsamer gemacht hätte als die der anderen.

Die Studie deckte einige interessante Details darüber auf, wie der Prozess funktioniert, selbst wenn sie den Hauptmythos widerlegte. Der Forscher fand heraus, dass die Nummer, die ein Reviewer auf seinem Bildschirm sieht, oft nicht mit der Reihenfolge übereinstimmt, in der er seine Arbeit tatsächlich eingereicht hat. In dem untersuchten Datensatz stimmte das öffentliche Label „Reviewer 2“ nur in etwa 30 Prozent der Fälle mit der tatsächlichen zweiten Person überein, die einen Bericht einreichte. Das bedeutet, dass der „Bösewicht“, über den sich Autoren beschweren, vielleicht gar nicht die zweite Person war, die eine Bewertung schrieb; die Nummerierung ist oft nur eine zufällige Zuweisung oder eine Speicherreihenfolge, die nichts mit der Abfolge der Ereignisse zu tun hat. Darüber hinaus untersuchte der Forscher, ob Unstimmigkeiten zwischen den Reviewern nach der Einreichung eines Rebuttals (Widerspruchs) durch den Autor gelöst wurden, und stellte fest, dass die Gruppe als Ganzes dazu neigte, in ihren Meinungen näher zusammenzurücken, es gab jedoch keinen Hinweis darauf, dass der zweite Reviewer derjenige war, der seine Meinung änderte oder die Reibung verursachte.

Ein besonders aufschlussreicher Teil der Untersuchung bestand darin, zu testen, ob das Wissen darüber, welcher Reviewer welche Punktzahl gab, helfen könnte, das Endergebnis eines Papers vorherzusagen. Der Forscher baute Computermodelle, um zu sehen, ob die Behandlung des Scores des zweiten Reviewers als separater, spezieller Faktor die Fähigkeit verbesserte, vorherzusagen, ob ein Paper akzeptiert oder abgelehnt würde. Die Ergebnisse zeigten, dass ein einfacher Durchschnitt aller Scores genauso gut funktionierte und in einigen Fällen sogar etwas besser als ein Modell, das versuchte, dem zweiten Reviewer ein besonderes Gewicht beizumessen. Dies deutet darauf hin, dass die Editoren wahrscheinlich auf die kollektive Weisheit der Gruppe schauen, anstatt sich auf eine spezifische nummerierte Position zu fixieren. Die Daten deuten darauf hin, dass die Wahrnehmung eines schwierigen zweiten Reviewers eher ein Resultat dessen ist, wie Menschen negative Erfahrungen in Erinnerung behalten, als eine statistische Realität des Review-Systems selbst.

Die Studie untersuchte auch die Dynamik des Review-Prozesses im Zeitverlauf. In einer Teilmenge von Papern, bei denen der Autor die Möglichkeit hatte zu antworten, verfolgte der Forscher, wie sich die Scores veränderten. Er fand heraus, dass die Kluft zwischen den Meinungen der verschiedenen Reviewer nach der Rebuttal-Phase tendenziell schrumpfte, was bedeutet, dass die Reviewer oft einen gemeinsamen Nenner fanden. Diese Konvergenz geschah jedoch flächendeckend und wurde nicht durch eine spezifische Änderung im Verhalten des zweiten Reviewers angetrieben. Der Forscher kam zu dem Schluss, dass, obwohl die Erfahrung, es mit einem schwierigen Reviewer zu tun zu haben, für viele Autoren real und schmerzhaft ist, die Idee, dass die zweite Person auf der Liste in besonderem Maße die Schuld trägt, durch die Beweise nicht gestützt wird. Das System ist komplex, und Unstimmigkeiten treten auf, aber sie sind nicht das Ergebnis einer verborgenen Voreingenommenheit gegenüber einer spezifischen nummerierten Position.

Letztendlich dient diese groß angelegte Untersuchung als Erinnerung daran, dass unsere Intuitionen darüber, wie Systeme funktionieren, manchmal irreführend sein können. Das „Reviewer 2“-Phänomen ist eine kraftvolle Geschichte, die Resonanz findet, weil sie der Frustration über eine Ablehnung ein Gesicht gibt, aber die Daten zeigen, dass das Gesicht nicht an eine spezifische Nummer gebunden ist. Die Härte, die Uneinigkeit und der hohe Einsatz des Peer-Reviews sind über die gesamte Gruppe von Experten verteilt und nicht auf den zweiten Platz konzentriert. Indem der Forscher den Mythos durch Messung ersetzte, hat er gezeigt, dass die wissenschaftliche Gemeinschaft ihre eigenen Prozesse besser verstehen kann, indem sie sich auf die tatsächlichen Quellen der Variation in der Beurteilung konzentriert, anstatt einem Geist nachzujagen, der in den Zahlen nicht existiert.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →