Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review
Diese Erwiderung nimmt auf das Feedback zum ICML-2023-Ranking-Experiment Bezug, indem sie ihre Antwort um vier zentrale Themen gruppiert: die Rahmung des Peer-Reviews als statistische Schätzung, die Minderung von Gerechtigkeits- und strategischen Problemen im Isotonischen Mechanismus, die Integration komplementärer Signale wie Reviewer-Rankings sowie die Vorlage eines menschenzentrierten Rahmens für die Ära der generativen KI.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Spitzenforschung in der Informatik (insbesondere im Bereich Künstliche Intelligenz) als ein riesiges, chaotisches Musikfestival vor. Jedes Jahr wollen Tausende von Bands (Forschende) auf der Hauptbühne spielen (ihre Papers veröffentlichen). Doch es gibt nur einige hundert Richter (Reviewer), die sie anhören können, und das Festival wächst so schnell, dass die Richter in den Bewerbungen ertrinken.
Die Autoren dieses Papers, ein Team aus Statistikern und Informatikern, argumentieren, dass wir aufhören müssen, dieses Festival wie einen einfachen Popularitäts-Wettbewerb zu behandeln, und beginnen müssen, es wie ein statistisches Rätsel zu betrachten. Hier ist eine Aufschlüsselung ihrer Ideen unter Verwendung alltäglicher Analogien:
1. Das Problem: Zu viele Tickets, nicht genug Richter
Das Festival explodiert förmlich. Im Jahr 2026 erhielten sie über 26.000 Songs zur Bewertung. Die Richter sind müde und können nicht jeden Song perfekt anhören. Manchmal hat ein Richter einen schlechten Tag, manchmal „verstehen" sie einfach ein bestimmtes Genre nicht, und manchmal ist die Musik einfach zu gut oder zu schlecht, als dass sie fair beurteilt werden könnte.
Die Autoren sagen: „Wir können nicht einfach die Menge entscheiden lassen (wie beim Zählen von 'Likes' in sozialen Medien), weil die Menge nicht expertenhaft genug ist. Wir brauchen einen besseren Weg, um herauszufinden, welche Songs tatsächlich die besten sind."
2. Die Lösung: Die „Playlist des Autors" (Der Isotone Mechanismus)
Die Autoren schlagen einen cleveren Trick vor, der als Isotone Mechanismus bezeichnet wird.
Die Analogie: Stellen Sie sich vor, Sie sind Richter bei einem Kochwettbewerb. Sie müssen 100 Gerichte bewerten. Vielleicht sind Sie bei scharfem Essen etwas hart und bei Desserts etwas zu nachsichtig. Ihre Bewertungen sind „verrauscht" (etwas unordentlich).
Stellen Sie sich nun vor, der Koch (der Autor), der das Gericht zubereitet hat, steht direkt dabei. Er kennt sein eigenes Essen besser als jeder andere. Er weiß genau, wie seine 10 Gerichte im Vergleich zueinander abschneiden.
- Der alte Weg: Der Koch sagt einfach: „Mein Gericht ist eine 9 von 10." (Das ist leicht zu lügen; jeder möchte eine 10).
- Der neue Weg: Dem Koch wird gebeten, seine eigenen 10 Gerichte vom besten zum schlechtesten zu rangieren. „Gericht A ist besser als Gericht B, welches besser ist als Gericht C."
Warum das funktioniert: Es ist sehr schwierig, über eine Reihenfolge der eigenen Arbeit zu lügen, ohne erwischt zu werden. Wenn Sie sagen, Ihr „Gericht C" sei das Beste, aber Ihr „Gericht A" tatsächlich schrecklich ist, kann die Mathematik die Lüge aufdecken. Indem Autoren gebeten werden, ihre eigenen Einreichungen zu rangieren, kann das System die unordentlichen Bewertungen der Richter „bereinigen". Es ist, als würde man das eigene Wissen des Kochs nutzen, um das schlechte Gehör des Richters zu korrigieren.
3. Umgang mit dem „Ungerechtigkeit"-Vorwurf
Einige Leute waren besorgt: „Was ist, wenn ein berühmter Koch mit 50 Gerichten einen riesigen Vorteil gegenüber einem neuen Koch mit nur 2 Gerichten hat? Das Rangsystem funktioniert besser für die Person mit mehr zu rangierenden Artikeln."
Die Lösung der Autoren: Sie erkannten, dass es unfair ist, wenn eine Person einfach alles rangiert. Daher schlagen sie eine „Gruppierungs"-Strategie vor.
- Die Analogie: Anstatt den berühmten Koch zu bitten, alle 50 Gerichte in einer riesigen Schlange zu rangieren, bitten Sie ihn, sie in kleine „Degustationsmenüs" zu gruppieren (z. B. „Das Suppen-Menü", „Das Dessert-Menü"). Rangieren Sie die Suppen gegeneinander und die Desserts gegeneinander.
- Das Ergebnis: Dies nivelliert das Spielfeld. Die Mathematik zeigt, dass selbst mit dieser Gruppierung das System die Bewertungen deutlich genauer macht, aber verhindert, dass berühmte Köche die Ergebnisse nur deshalb dominieren, weil sie mehr Einreichungen haben.
4. Das „Strategie"-Problem: Können Köche betrügen?
Die Autoren geben zu, dass, wenn die Rangfolge tatsächlich darüber entscheidet, wer auf der Hauptbühne spielen darf, Köche versuchen könnten, das System zu manipulieren.
- Das Risiko: Ein Koch könnte ein schreckliches Gericht als „großartig" rangieren, nur um es akzeptiert zu bekommen, oder sein bestes Gericht niedriger rangieren, um es für das nächste Jahr zu „retten".
- Die Realitätsprüfung: Die Autoren sagen: „Wir können nicht alle Betrugsversuche stoppen, aber wir können die Regeln so gestalten, dass Betrug schwieriger wird." Sie schlagen vor, klein anzufangen (Rangfolgen nur zu verwenden, um zu markieren, welche Papers einer zweiten Prüfung bedürfen, anstatt sie sofort anzunehmen oder abzulehnen), damit wir lernen können, wie sich Menschen verhalten, bevor wir daraus ein hochriskantes Spiel machen.
5. Die Zukunft: Menschen + KI, nicht KI gegen Menschen
Das Paper endet mit einer ganzheitlichen Perspektive. Künstliche Intelligenz verändert, wie Forschung geschrieben und begutachtet wird. KI kann Code schreiben, Mathematik prüfen und sogar Reviews entwerfen.
Die Haltung der Autoren:
- Ersetzen Sie die Menschen nicht. KI ist ein Werkzeug, wie ein übermächtiger Taschenrechner. Sie kann Daten organisieren und Muster finden, aber sie sollte nicht der endgültige Richter sein.
- Der „Mensch im Loop": Betrachten Sie KI als den Bühnenarbeiter, der die Lichter aufbaut und die Instrumente organisiert. Der menschliche Richter ist derjenige, der entscheidet, ob die Musik tatsächlich gut ist.
- Warum? Weil Wissenschaft nicht nur um Daten geht; es geht um Kreativität, Ethik und „Geschmack". KI könnte die subtile Seele eines Papers verpassen oder halluzinieren (Dinge erfinden). Menschen müssen die Kontrolle über die endgültige Entscheidung behalten.
Zusammenfassung
Das Paper argumentiert, dass wir, um das überlastete System der Bewertung von KI-Forschung zu beheben, es wie ein mathematisches Problem behandeln sollten. Indem wir Autoren bitten, ihre eigene Arbeit ehrlich zu rangieren, können wir die Bewertungen der Richter „entrauschen" und die besten Papers genauer finden. Wir müssen jedoch vorsichtig sein, dass das System nicht manipuliert wird, und sicherstellen, dass, während uns die KI hilft, das Chaos zu organisieren, die Menschen diejenigen bleiben, die den Hammer halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.