Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

In de uitgestrekte en snel expanderende wereld van machine learning, een vakgebied dat zich toelegt op het aanleren van computers om te leren van data, is een kritieke flessenhals ontstaan die niet ligt in de technologie zelf, maar in het menselijke proces dat wordt gebruikt om deze te valideren. Voordat een nieuwe ontdekking met de wereld kan worden gedeeld, moet deze door peer review gaan, een systeem waarbij experts het werk van hun collega's lezen en evalueren om te beslissen of het de publicatie waard is. Decennialang heeft dit proces vertrouwd op een simpel sociaal contract: als je wilt dat je werk gepubliceerd wordt, moet je ermee instemmen om het werk van anderen te beoordelen. Echter, naarmate het aantal wetenschappelijke papers is geëxplodeerd naar tienduizenden voor een enkel groot congres, is deze beleefde overeenkomst begonnen te rafelen. Het enorme volume aan inzendingen heeft de beschikbare experts overspoeld, wat heeft geleid tot gehaaste evaluaties, inconsistente standaarden en een groeiend gevoel van frustratie onder wetenschappers die het gevoel hebben dat het systeem niet langer functioneert zoals bedoeld. De kernvraag waar de gemeenschap voor staat is niet langer alleen hoe de werklast te beheren, maar hoe een systeem te creëren dat daadwerkelijk hoogwaardige, doordachte feedback stimuleert in plaats van alleen maar een vinkje te zetten.

Een recente position paper door Shaochen (Henry) Zhong van Rice University betoogt dat de huidige aanpak van onderzoekers vragen om zorgvuldiger te zijn of betere richtlijnen te volgen, onvoldoende is. De auteur suggereert dat de machine learning-gemeenschap een punt heeft bereikt waarop beleefde verzoeken en optimistische richtlijnen niet langer in staat zijn om de crisis van inzendvolume en de kwaliteit van reviews op te lossen. In plaats daarvan stelt het artikel een radicale verschuiving voor naar een systeem dat het beoordelen behandelt als een vorm van valuta. Het centrale idee is om het huidige "eerstelsel" te vervangen door een tastelijke kredieteconomie, waarbij onderzoekers punten verdienen voor hun bijdragen aan het beoordelingsproces en die punten kunnen uitgeven om specifieke privileges te verkrijgen. Deze aanpak beweegt weg van het vertrouwen op welwillendheid en naar een structuur waar goed gedrag wordt beloond en slecht gedrag een meetbare kost heeft.

Het artikel identificeert twee hoofddrijvers van de huidige disfunctie. Ten eerste is het aantal papers dat naar grote conferenties wordt ingezonden zo groot geworden dat het fysiek onmogelijk is voor de beschikbare experts om elk werk de aandacht te geven die het verdient. Met sommige conferenties die meer dan twintigduizend inzendingen ontvangen, wordt het systeem gedwongen om snelle, vaak willekeurige beslissingen te nemen om het proces gaande te houden. Ten tweede is er een gebrek aan consequenties voor slecht gedrag. Een reviewer kan een afwijzende, insprentloze of zelfs absurde kritiek indienen zonder angst voor repercussies, terwijl een reviewer die de extra stap zet om gedetailleerde, constructieve feedback te geven, geen tastbare erkenning krijgt. De auteur merkt op dat hoewel sommige conferenties hebben geprobeerd het aantal inzendingen te beperken door het aantal papers dat een auteur kan indienen te maximeren, deze maatregelen vaak falen omdat ze de kernoorzaak niet aanpakken: het gebrek aan een nadeel voor het indienen van onrijp werk of het gebrek aan een beloning voor het harde werk van het goed beoordelen.

Om deze problemen aan te pakken, stelt de auteur een systeem voor genaamd "OpenReview Points". In dit model zouden onderzoekers punten verdienen door specifieke taken uit te voeren, zoals het schrijven van een standaard review, het helpen bij een noodreview, of het worden erkend als een uitstekende reviewer. Deze punten zouden vervolgens fungeren als een flexibele valuta die over verschillende grote conferenties heen kan worden uitgegeven. Bijvoorbeeld, een onderzoeker zou punten kunnen uitgeven om vrijstelling te vragen voor een beoordelingsplicht, om een extra expert te vragen in te grijpen bij een controversieel paper, of zelfs om een gratis registratievergoeding voor een conferentie te verzilveren. Het systeem is ontworpen om granulair en afdwingbaar te zijn, waardoor organisatoren goed gedrag kunnen belonen en slecht gedrag kunnen bestraffen op manieren die genuanceerder zijn dan de huidige "alles-of-niets"-aanpak.

Het artikel voert expliciet tegen een aantal bestaande oplossingen aan die de gemeenschap al heeft geprobeerd. Het suggereert dat het simpelweg vragen aan reviewers om aardiger of grondiger te zijn ineffectief is, omdat het vertrouwt op motivatie die het huidige systeem niet ondersteunt. Het bekritiseert ook het idee van strikte, harde limieten op het aantal papers dat een auteur kan indienen, met de opmerking dat dergelijke regels er vaak toe leiden dat teams simpelweg namen van papers verwijderen om onder de limiet te passen, in plaats van daadwerkelijk het aantal inzendingen te verminderen. Verder waarschuwt de auteur voor harde straffen, zoals het afwijzen van een paper omdat een reviewer weinig inspanning heeft geleverd, omdat dit te botte instrumenten zijn om de brede reeks aan slecht beoordelingsgedrag aan te pakken. In plaats daarvan biedt het voorgestelde creditsysteem een middenweg waar straffen proportioneel kunnen zijn, zoals het inhouden van punten voor een kwalitatief slechte review, wat een afschrikmiddel dient zonder de carrière van een onderzoeker te vernietigen.

Een cruciaal onderdeel van het voorstel is het idee van "fijnmazige procedurele waarborgen". De auteur schetst vier specifieke mechanismen om misbruik van het systeem te voorkomen. Ten eerste zou het systeem bepaalde acties beperken tot specifieke rollen, om ervoor te zorgen dat alleen de hoofdauteurs van een paper punten kunnen uitgeven om extra hulp aan te vragen, wat voorkomt dat de last wordt verschoven naar minder verantwoordelijke teamleden. Ten tweede zou er bovengrenzen zijn aan hoe vaak bepaalde acties kunnen worden ondernomen, om te voorkomen dat iemand punten "farmt" door een enorm aantal reviews met weinig inspanning in te dienen. Ten derde zou het systeem gebruikmaken van dynamische prijsstelling, wat betekent dat hoe vaker een onderzoeker een bepaand privilege gebruikt, hoe meer het in punten kost, om te garanderen dat schaarse middelen worden gereserveerd voor de meest kritieke behoeften. Ten slotte zou het systeem vertrouwen op peer voting om de kwaliteit van reviews te beoordelen, waardoor de gemeenschap collectief kwaadwillende actoren kan identificeren en bestraffen, terwijl zijgen die uitzonderlijke feedback geven, kunnen belonen.

De auteur erkent dat dit systeem niet zonder uitdagingen of potentiële nadelen is. Er is bezorgdheid dat een creditsysteem onderzoekers zou kunnen bevoordelen die al meer tijd en middelen hebben, waardoor zij hun manier kunnen "kopen" om aan verantwoordelijkheden te ontsnappen. De paper betoogt echter dat omdat punten worden verdiend door arbeid in plaats van gekocht met geld, het systeem inspanning beloont in plaats van rijkdom. Er is ook het risico dat het systeem gemanipuleerd kan worden of dat de punten in waarde kunnen dalen over de tijd, vergelijkbaar met inflatie in een echte economie. Om dit tegen te gaan, stelt de auteur voor dat punten na een bepaalde periode moeten verlopen en dat het systeem geleidelijk moet worden uitgerold, beginnend met bestaande extraatjes zoals gratis conferentieregistratie voordat complexere functies worden geïntroduceerd.

Het artikel concludeert door te benadrukken dat het doel niet is om een perfect systeem te creëren, maar om het huidige systeem duurzamer en verantwoordelijker te maken. De auteur suggelt dat de eerste conferenties die dit systeem adopteren klein moeten beginnen, door bestaande beloningen te gebruiken om de mogelijkheden te testen voordat de reikwijdte wordt uitgebreid. Door sleutelmetrieken bij te houden en gegevens te delen tussen verschillende conferenties, kan de gemeenschap leren wat werkt en wat niet, om uiteindelijk een gedeeld kader op te bouwen dat iedereen ten goede komt. De uiteindelijke visie is een peer review-proces waarbij goed gedrag wordt erkend en beloond, waarbij onderzoekers een belang hebben bij de kwaliteit van het systeem, en waar de frustratie van het huidige tijdperk wordt vervangen door een meer functionele en eerlijke uitwisseling van ideeën. Dit voorstel vertegenwoordigt een verschuiving van het vertrouwen op de hoop dat onderzoekers het juiste doen naar het creëren van een structuur waar het juiste doen de meest logische en voordelige keuze is.