Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review
Dieses Positionspapier argumentiert, dass die Annahmeergebnisse bei ML-Konferenzen durch Fehler im Messdesign als vielmehr durch individuelle Voreingenommenheit getrieben werden, was durch eine Analyse von über 50.000 Papieren demonstriert wird, wonach Reviewer-Scores über Forschungsbereiche hinweg grundlegend unvergleichbar sind, was dazu führt, dass die Akzeptanzwahrscheinlichkeiten für denselben Score je nach Thema um das bis zu 8-fache variieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Scorecard-Rätsel
Stellen Sie sich eine riesige, globale Wissenschaftsmesse vor, bei der jedes Jahr tausende brillante Studenten ihre Projekte einreichen. Um zu entscheiden, wer einen Platz im finalen Showcase erhält, gibt ein Team von Preisrichtern jedem Projekt eine einfache Zahl, etwa eine Bewertung von 1 bis 10. Die Regel der Messe soll einfach und fair sein: Eine 7 bedeutet „großartige Arbeit“, egal worum es in dem Projekt geht. Ob man nun einen tanzenden Roboter gebaut hat, ein Programm zur Wettervorhersage oder eine neue Methode entwickelt hat, wie Computer lernen zu lesen – eine 7 sollte dasselbe bedeuten.
Aber was wäre, wenn die Preisrichter in der Rubrik „Robotik“ super streng sind und nur 7 vergeben, wenn die Roboter perfekt sind, während die Preisrichter in der Rubrik „Wetter“ super begeistert sind und eine 7 für fast alles geben, was wie eine Wolke aussieht? Wenn man nicht weiß, zu welcher Rubrik ein Projekt gehört, wird diese einzelne Zahl verwirrend. Eine 7 in einem Bereich kann ein goldenes Ticket sein, während eine 7 in einem anderen Bereich eine höfliche Absage bedeutet. Dies ist das Rätsel, das Forscher im Bereich des Maschinellen Lernens zu lösen versuchen. Sie untersuchen, wie Computer lernen, Muster zu erkennen, Entscheidungen zu treffen und Probleme zu lösen, und sie stellen eine beunruhigende Frage: Ist der „Score“, den wir zur Bewertung dieser Arbeiten verwenden, tatsächlich fair, oder hängt er völlig davon ab, zu welchem Club man gehört?
Die große Entdeckung des Papers: Die Scorecard ist kaputt
Dieses Paper, geschrieben von einem Team von Forschern, analysiert die Daten einer bedeutenden Konferenz für Maschinelles Lernen namens ICLR. Sie untersuchten über 50.000 eingereichte Arbeiten zwischen 2021 und 2026, um zu sehen, ob der „Score“ wirklich für alle das Gleiche bedeutet. Ihr Fazit ist erschütternd: Die Scores sind nicht vergleichbar.
Stellen Sie sich das wie ein Videospiel vor, bei dem Spieler in verschiedenen Levels unterschiedliche Controller benutzen. In den „Trending“-Levels (wie den heißen neuen Themen der KI) sind die Controller super sensibel. Ein kleiner Tipp genügt für einen hohen Score. In den „Old School“-Levels (wie älteren, etablierten Themen) sind die Controller steif und schwer zu drücken. Wenn man in einem „Trending“-Level eine 5,0 bekommt, kann man ein Superstar sein. Aber wenn man in einem „Old School“-Level eine 5,0 bekommt, kämpft man vielleicht eher. Das Paper fand heraus, dass die Chance, mit einem identischen Reviewer-Score akzeptiert zu werden, je nach Thema um das bis zu Achtfache höher sein kann.
Zum Beispiel hatte eine Arbeit über „Denken“ oder „Schlussfolgern“ mit einem Score von 5,0 eine Akzeptanzchance von 52,6 %. Aber eine Arbeit über „Bilderkennung“ oder „Adversarial Attacks“ mit genau demselben Score von 5,0 hatte nur eine Chance von 6,6 %. Das ist ein achtfacher Unterschied! Die Forscher nennen dies ein „Measurement Design Failure“ (Versagen des Messdesigns). Es liegt nicht daran, dass die Reviewer gemein sind oder die Area Chairs voreingenommen sind; es ist vielmehr das System selbst, das kaputt ist, weil es versucht, ein einziges Lineal zu verwenden, um Dinge zu messen, die grundlegend unterschiedlich sind.
Was es NICHT ist (Die Ablenkungsmanöver)
Die Autoren waren sehr sorgfältig dabei, andere Gründe für diese Lücke auszuschließen. Sie fragten: „Liegt es daran, dass die ‚Trending‘-Themen einfach eine bessere Qualität haben?“ Die Antwort ist nein. Wäre das der Fall, hätten die akzeptierten Arbeiten in diesen heißen Themen höhere Scores. Stattdessen zeigen die Daten das Gegenteil: Die heißen Themen nehmen Arbeiten mit niedrigeren Scores an als die kalten Themen.
Sie prüften auch, ob es daran lag, dass die „Old School“-Themen über Super-Experten verfügen, die einfach schwerer zu begeistern sind. Die Daten sagen erneut nein. Die Reviewer in den schwer zu begeisternden Bereichen waren nicht unbedingt selbstbewusster oder kompetenter; sie waren genauso enthusiastisch wie alle anderen.
Schließlich fragten sie sich, ob die „Trending“-Themen vielleicht einfach qualitativ minderwertigere Arbeiten zulassen, weil es zu viele Einreichungen gab („Quality Dilution“). Die Daten zeigten keinen Zusammenhang zwischen der Geschwindigkeit, mit der ein Thema wachsen konnte, und dem Grad des Qualitätsabfalls. Tatsächlich behielten einige schnell wachsende Themen ihre Akzeptanzraten stabil, während andere einbrachen.
Der wahre Übeltäter: Der „Hype Cycle“ und der „Patch“
Warum passiert das also? Das Paper argumentiert, dass es sich um ein strukturelles Problem handelt. Wenn ein Thema „heiß“ ist (wie ein neuer, aufregender Trend), zieht es eine riesige Menge neuer, junioriger Reviewer an, die begeistert und vielleicht etwas nachsichtig sind. Wenn ein Thema „reif“ ist (wie ein altes, etabliertes Feld), zieht es erfahrene Experten an, die kritischer sind. Da das System nicht weiß, wer den Score vergibt, behandelt es eine „6“ von einem begeisterten Junior genauso wie eine „6“ von einem mürrischen Senior.
Um dies zu korrigieren, müssen die Area Chairs (die Personen, die die endgültige Ja/Nein-Entscheidung treffen) raten. Sie nutzen ihre „Community Priors“ – im Grunde ihr Bauchgefühl darüber, wie schwierig es ist, in einem spezifischen Thema ein Paper akzeptiert zu bekommen. Sie betreiben im Grunde eine „Patch“-Arbeit an einem kaputten System mit ihrer eigenen Intuition. Das bedeutet, dass das Schicksal eines Papers, das sich direkt an der Grenze befindet (ein „Borderline“-Paper), nicht von der Qualität der Arbeit abhängt, sondern davon, ob das Thema gerade „in Mode“ ist.
Was sollten wir tun?
Das Paper zeigt nicht nur das Problem auf, sondern bietet auch einen Drei-Schritte-Plan zur Lösung an, ohne das gesamte System komplett neu aufbauen zu müssen:
- Transparenz schaffen: Die Organisatoren der Konferenz sollten einen Bericht veröffentlichen, der die Akzeptanzraten für jedes Thema aufgeschlüsselt nach Score zeigt. Wenn ein Paper eine 5,0 erhält, sollte jeder sehen können: „Oh, eine 5,0 in Thema A führt zu 50 % Akzeptanz, aber eine 5,0 in Thema B führt nur zu 6 % Akzeptanz.“ Dies macht die verborgene Voreingenommenheit sichtbar.
- Maßgeschneiderte Regelwerke: Anstatt ein generisches „1 bis 10“-System für alles zu verwenden, sollte jede Forschungsgemeinschaft ihre eigene spezifische Checkliste (Rubrik) erstellen, was ein gutes Paper ausmacht. Eine gute Theoriearbeit sieht anders aus als eine gute Ingenieurleistung, und die Regeln sollten dies widerspiegeln.
- Bessere Signale nutzen: Das Paper schlägt die Verwendung von „kalibrierten Signalen“ vor. Beispielsweise könnte das System statt nur der Rohzahl den Score basierend auf der Historie des Reviewers anpassen (gab dieser normalerweise hohe oder niedrige Scores?). Es wird zudem vorgeschlagen, Autoren zu ermöglichen, ihre eigenen Arbeiten zu ranken, falls sie mehrere einreichen, was dem System hilft, die relative Qualität der Arbeit besser zu verstehen als eine bloße Zahl.
Das Fazit
Das Paper kommt zu dem Schluss, dass das aktuelle System wie ein Rennen ist, bei dem die Läufer in verschiedenen Bahnen auf unterschiedlichen Oberflächen laufen, aber alle von derselben Stoppuhr bewertet werden. Die Läufer in den „heißen“ Bahnen haben keinen Vorsprung, weil sie schneller sind, sondern weil die Strecke einfacher ist. Die Autoren argumentieren, dass wir die Strecke erst dann reparieren müssen und die Regeln für alle Bahnen fair gestalten müssen, da sonst die besten Arbeiten möglicherweise einfach deshalb abgelehnt werden, weil sie an einem Thema arbeiten, das derzeit nicht „cool“ ist. Die Lösung besteht nicht darin, die Preisrichter zu beschuldigen, sondern zuzugeben, dass das Lineal, das wir verwenden, die falsche Größe für die Aufgabe hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.