Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

In der weiten und sich rasant ausbreitenden Welt des maschinellen Lernens, einem Feld, das sich der Aufgabe widmet, Computern das Lernen aus Daten beizubringen, ist ein kritischer Engpass entstanden, der nicht in der Technologie selbst, sondern im menschlichen Prozess ihrer Validierung liegt. Bevor eine neue Entdeckung mit der Welt geteilt werden kann, muss sie den Peer-Review-Prozess durchlaufen – ein System, bei dem Experten die Arbeit ihrer Kollegen lesen und bewerten, um zu entscheiden, ob sie eine Veröffentlichung wert ist. Jahrzehntelang beruhte dieser Prozess auf einem einfachen sozialen Vertrag: Wenn man möchte, dass die eigene Arbeit veröffentlicht wird, muss man zustimmen, die Arbeit anderer zu begutachten. Doch da die Zahl der Forschungsarbeiten auf Zehntausende für eine einzige große Konferenz angestiegen ist, beginnt dieser höfliche Vertrag zu bröckeln. Das schiere Volumen der Einreichungen hat die verfügbaren Experten überfordert, was zu überhasteten Bewertungen, inkonsistenten Standards und einem wachsenden Gefühl der Frustration unter Wissenschaftlern geführt hat, die das Gefühl haben, dass das System nicht mehr so funktioniert, wie es eigentlich beabsichtigt war. Die Kernfrage, vor der die Gemeinschaft steht, ist nicht mehr nur, wie man das Arbeitspensum bewältigt, sondern wie man ein System schafft, das tatsächlich qualitativ hochwertiges, durchdachtes Feedback fördert, anstatt nur ein Häkchen abzuhaken.

Ein aktuelles Positionspapier von Shaochen (Henry) Zhong von der Rice University argumentiert, dass der derzeitige Ansatz, Forscher dazu aufzufordern, vorsichtiger zu sein oder bessere Richtlinien zu befolgen, unzureichend ist. Der Autor legt nahe, dass die Machine-Learning-Gemeinschaft einen Punkt erreicht hat, an dem höfliche Bitten und optimistische Leitlinien nicht mehr ausreichen, um die Krise des Einreichungsvolumens und der Review-Qualität zu lösen. Stattdessen schlägt das Papier einen radikalen Wandel hin zu einem System vor, das das Reviewing als eine Form von Währung behandelt. Die zentrale Idee besteht darin, das aktuelle „Ehrensystem“ durch eine greifbare Kreditökonomie zu ersetzen, in der Forscher Punkte für ihre Beiträge zum Review-Prozess verdienen und diese Punkte ausgeben können, um spezifische Privilegien zu erlangen. Dieser Ansatz bewegt sich weg von der Abhängigkeit von Wohlwollen hin zu einer Struktur, in der gutes Verhalten belohnt und schlechtes Verhalten messbare Kosten verursacht.

Das Papier identifiziert zwei Hauptursachen für die derzeitige Dysfunktion. Erstens ist die Anzahl der eingereichten Arbeiten an großen Konferenzen so stark gewachsen, dass es physisch unmöglich ist, dass die verfügbaren Experten jeder einzelnen die gebührende Aufmerksamkeit schenken. Da einige Konferenzen über zwanzigtausend Einreichungen erhalten, ist das System gezwungen, schnelle, oft willkürliche Entscheidungen zu treffen, um den Prozess am Laufen zu halten. Zweitens mangelt es an Konsequenzen für Fehlverhalten. Ein Reviewer kann eine abfällige, wenig aufwendige oder sogar unsinnige Kritik einreichen, ohne Repressalien befürchten zu müssen, während ein Reviewer, der den entscheidenden Schritt weitergeht und detailliertes, konstruktives Feedback gibt, keine greifbare Anerkennung erfährt. Der Autor stellt fest, dass einige Konferenzen versucht haben, die Einreichungen zu begrenzen, indem sie die Anzahl der Arbeiten deckelten, die ein Autor einreichen kann, doch diese Maßnahmen scheitern oft, weil sie nicht die eigentliche Ursache angehen: den Mangel an Nachteilen für das Einreichen unfertiger Arbeit oder den Mangel an Belohnung für die harte Arbeit eines guten Reviews.

Um diese Probleme anzugehen, schlägt der Autor ein System namens „OpenReview Points“ vor. In diesem Modell würden Forscher Punkte durch die Erbringung spezifischer Leistungen verdienen, wie etwa das Schreiben eines Standard-Reviews, die Hilfe bei einem Notfall-Review oder die Anerkennung als herausragender Reviewer. Diese Punkte würden dann als flexible Währung fungieren, die über verschiedene große Konferenzen hinweg ausgegeben werden kann. Beispielsweise könnte ein Forscher Punkte ausgeben, um eine Befreiung von einer Review-Pflicht zu beantragen, um einen zusätzlichen Experten für eine kontroverse Arbeit hinzuzuziehen oder sogar, um eine kostenlose Registrierungsgebühr für eine Konferenz einzulösen. Das System ist darauf ausgelegt, granular und durchsetzbar zu sein, sodass Organisatoren gutes Verhalten belohnen und schlechtes Verhalten auf eine nuanciertere Weise sanktionieren können als der aktuelle „Alles-oder-Nichts“-Ansatz.

Das Papier argumentiert explizit gegen mehrere bestehende Lösungen, die die Gemeinschaft bereits versucht hat. Es legt nahe, dass es ineffektiv ist, Reviewer einfach nur darum zu bitten, netter oder gründlicher zu sein, da dies auf einer Motivation basiert, die das aktuelle System nicht unterstützt. Es kritisiert zudem die Idee strenger, harter Limits für die Anzahl der Arbeiten, die ein Autor einreichen kann, und merkt an, dass solche Regeln oft dazu führen, dass Teams Namen von Papieren entfernen, um unter das Limit zu fallen, anstatt die Anzahl der Einreichungen tatsächlich zu reduzieren. Darüber hinaus warnt der Autor vor harten Strafen, wie etwa der Ablehnung einer Arbeit, nur weil ein Reviewer wenig Aufwand betrieben hat, da dies ein zu stumpfes Instrument ist, um die breite Palette an schlechtem Review-Verhalten zu handhaben. Stattdessen bietet das vorgeschlagene Kreditsystem einen Mittelweg, bei dem Strafen proportional sein können, wie etwa der Abzug von Punkten für ein qualitativ minderwertiges Review, was eine abschreckende Wirkung hat, ohne die Karriere eines Forschers zu zerstören.

Ein wesentlicher Bestandteil des Vorschlags ist die Idee der „feingliedrigen prozeduralen Schutzmaßnahmen“. Der Autor skizziert vier spezifische Mechanismen, um Missbrauch des Systems zu verhindern. Erstens würde das System bestimmte Aktionen auf spezifische Rollen beschränken, um sicherzustellen, dass nur die Hauptautoren einer Arbeit Punkte ausgeben können, um zusätzliche Hilfe anzufordern, wodurch verhindert wird, dass die Last auf weniger verantwortliche Teammitglieder übertragen wird. Zweitens gäbe es Obergrenzen dafür, wie oft bestimmte Aktionen durchgeführt werden dürfen, um zu verhindern, dass jemand durch das Einreichen einer massenhaften Anzahl von Low-Effort-Reviews „Punkte farmt“. Drittens würde das System eine dynamische Preisgestaltung verwenden, was bedeutet, dass es immer mehr Punkte kostet, je häufiger ein Forscher ein bestimmtes Privileg nutzt, um sicherzustellen, dass knappe Ressourcen für die kritischsten Bedürfnisse reserviert bleiben. Schließlich würde das System auf Peer-Voting basieren, um die Qualität der Reviews zu beurteilen, was es der Gemeinschaft ermöglicht, kollektiv Fehlverhalten zu identifizieren und zu sanktionieren sowie diejenigen zu belohnen, die außergewöhnliches Feedback geben.

Der Autor räumt ein, dass dieses System nicht ohne Herausforderungen und potenzielle Nachteile ist. Es besteht die Sorge, dass ein Kreditsystem Forscher bevorzugen könnte, die bereits mehr Zeit und Ressourcen haben, was es ihnen ermöglichen würde, sich durch „Kauf“ von ihren Pflichten freizukaufen. Das Papier argumentiert jedoch, dass das System, da Punkte durch Arbeit und nicht durch Geld verdient werden, Anstrengung belohnt und nicht Reichtum. Es besteht auch das Risiko, dass das System manipuliert werden könnte oder dass die Punkte im Laufe der Zeit an Wert verlieren könnten, ähnlich der Inflation in einer echten Wirtschaft. Um dem entgegenzuwirken, schlägt der Autor vor, dass Punkte nach einem gewissen Zeitraum ablaufen sollten und dass das System schrittweise eingeführt werden sollte, beginnend mit bestehenden Vorteilen wie der kostenlosen Konferenzregistrierung, bevor komplexere Funktionen eingeführt werden.

Das Papier schließt mit der Betonung, dass das Ziel nicht darin besteht, ein perfektes System zu schaffen, sondern das aktuelle nachhaltiger und rechenschaftspflichtiger zu machen. Der Autor schlägt vor, dass die ersten Konferenzen, die dieses System übernehmen, klein anfangen sollten, indem sie bestehende Belohnungen nutzen, um die Lage zu testen, bevor sie den Umfang erweitern. Durch das Verfolgen wichtiger Kennzahlen und das Teilen von Daten über verschiedene Konferenzen hinweg kann die Gemeinschaft lernen, was funktioniert und was nicht, um schließlich einen gemeinsamen Rahmen aufzubauen, der allen zugutekommt. Die ultimative Vision ist ein Peer-Review-Prozess, in dem gutes Verhalten erkannt und belohnt wird, in dem Forscher ein Interesse an der Qualität des Systems haben und in dem die Frustration der aktuellen Ära durch einen funktionaleren und gerechteren Austausch von Ideen ersetzt wird. Dieser Vorschlag stellt einen Wechsel dar: Weg von der Hoffnung, dass Forscher das Richtige tun werden, hin zu einer Struktur, in der das Richtige zu tun die logischste und vorteilhafteste Wahl ist.