Towards A Sustainable Future for Peer Review in Software Engineering
Dit artikel stelt een visie voor op een duurzame toekomst voor peer review in Software Engineering die de groeiende onbalans tussen inzendingen en reviewers aanpakt door schaalbare strategieën te implementeren om nieuwe reviewers aan te trekken en op te leiden, gemeenschapsparticipatie te stimuleren en AI-tools voorzichtig te integreren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van software engineering-onderzoek voor als een enorme, bruisende markt waar wetenschappers nieuwe ideeën (genaamd "papers") verhandelen om ze gepubliceerd te krijgen. Om deze markt eerlijk en van hoge kwaliteit te houden, is er een strikte regel: elk nieuw idee moet worden geïnspecteerd door een panel van experts voordat het verkocht mag worden. Dit inspectieproces wordt peer review genoemd.
Echter, het artikel van Parra en collega's betoogt dat deze markt in problemen zit. Het aantal ingediende ideeën groeit sneller dan het aantal beschikbare experts om ze te inspecteren. Het is alsof er in een restaurant de rij hongerige klanten elke dag langer wordt, maar het keukenpersoneel niet snel genoeg groeit om de maaltijden te bereiden. Het resultaat? De chefs (reviewers) zijn uitgeput, werken late nachten en weekenden door, en de kwaliteit van het eten (het onderzoek) kan daardoor gaan lijden.
Hier is een overzicht van het probleem en de voorgestelde oplossingen van de auteurs, met behulp van eenvoudige analogieën:
Het Probleem: Een Kantelpunt
De auteurs wijzen erop dat de "keuken" overbelast is.
- De Overbelasting: In de afgelopen jaren is het aantal papers dat is ingediend bij grote conferenties bijna verdrievoudigd, terwijl het aantal reviewers slechts is verdubbeld. Dit betekent dat elke reviewer met meer borden tegelijk bezig is.
- De Onzichtbare Arbeid: Reviewer zijn is als een vrijwillige brandweerman zijn. Je hebt een fulltime baan als wetenschapper of docent, en daarna besteed je je weekenden en avonden aan het gratis inspecteren van het werk van anderen. In de huidige "Publish or Perish"-cultuur (waarbij je carrière afhangt van hoeveel papers je publiceert), helpt dit vrijwilligerswerk je niet om promotie te maken. Het wordt vaak genegeerd door universiteiten bij het beslissen over salarisverhogingen of benoemingen.
- De AI-valstrik: Omdat reviewers zo moe zijn, gebruiken sommigen Kunstmatige Intelligentie (AI) om het werk voor hen te doen. De auteurs waarschuwen dat dit gevaarlijk is. Het is also part een robot te vragen om een complex gerecht te proeven; de robot kan ingrediënten verzinnen die niet bestaan of vage adviezen geven zoals "dit smaakt goed" zonder te weten waarom. In één recent geval bij een top AI-conferentie bleek dat meer dan 15.000 reviews volledig door AI waren geschreven, wat een grote rode vlag is voor de kwaliteit van het onderzoek.
Wat Werkt Wel (Het Goede Nieuws)
Het artikel erkent dat sommige zaken al helpen:
- De "Hall of Fame": Sommige conferenties geven "Distinguished Reviewer Awards" uit aan de hardste werkers. Dit is als een "Werknemer van de Maand"-bordje. Het is leuk om te hebben, maar het gaat meestal steeds naar dezelfde ervaren mensen, waardoor het niet echt nieuwe mensen stimuleert om zich bij het team aan te sluiten.
- Het "Shadow"-programma: Sommige conferenties zijn begonnen met een "Junior PC" of "Shadow PC"-programma. Denk hierbij aan een meeloopstage. Nieuwkomers (zoals PhD-studenten) zitten naast een ervaren reviewer, kijken hoe deze een paper inspecteert, en proberen het daarna zelf. De expert geeft hen vervolgens feedback. Dit is een geweldige manier om nieuwe inspecteurs op te leiden, maar tot nu toe gebeurt dit slechts bij een paar conferenties, niet overal.
De Visie: Een Duurzame Toekomst
De auteurs stellen een drieledig plan voor om het systeem te repareren en het op de lange termijn duurzaam te maken:
1. Een "Rijbewijs" voor Reviewers (Schaalbare Training)
Momenteel kan iedereen zich aanmelden om een paper te reviewen, maar ze weten misschien niet hoe ze dat goed moeten doen. De auteurs suggereren het creëren van een online trainingscursus (zoals een certificeringsprogramma).
- Hoe het werkt: Nieuwkomers kijken video's van experts, leren de regels van goed reviewen en maken een quiz.
- De Beloning: Zodra ze geslaagd zijn, krijgen ze een digitaal certificaat. Ze kunnen dit op hun profiel zetten (zoals een LinkedIn-badge) om conferentieorganisatoren te laten zien: "Ik ben getraind en klaar om te reviewen." Dit creëert een grotere pool van gekwalificeerde, direct inzetbare inspecteurs.
2. AI als "Co-piloot", niet als Piloot (Verantwoordelijk AI-gebruik)
De auteurs willen AI niet verbieden, maar ze willen het voorzichtig gebruiken.
- De Regel: AI kan helpen bij het controleren van typefouten of het samenvatten van gegevens, maar het kan niet de definitieve review schrijven of menselijk oordeel vervangen.
- Het Veiligheidsnet: Editors moeten tools gebruiken om te detecteren of een review door een robot is geschreven. Als iemand probeert een valse AI-review binnensluizen, moeten zij gestraft worden.
- De Helper: AI zou gebruikt kunnen worden nadat mensen hun werk hebben gedaan om dubbel te checken of er dingen zijn gemist die de mensen over het hoofd hebben gezien, maar alleen nadat de mensen al hun eigen meningen hebben gevormd.
3. Betere Beloningen (Incentives)
Om meer mensen te laten vrijwilligen, moet het systeem hun tijd beter waarderen. De auteurs suggereren:
- De "Pay-to-Play"-regel: Als je een paper wilt indienen voor een conferentie, moet je ermee instemmen om ook papers voor die conferentie te reviewen. Het is een "jij helpt mij, ik help jou"-deal.
- Kortingen en Badges: Geef reviewers een korting op de registratiekosten voor de conferentie of een speciale badge op hun naamkaartje, zodat iedereen weet dat ze helpen.
- Nieuwkomers-awards: Creëer een specifieke award voor nieuwe reviewers, zodat zij zich vroeg in hun carrière erkend voelen, en niet pas na 20 jaar dienst.
De Kernboodschap
Het artikel concludeert dat als we dit nu niet oplossen, het hele systeem kan instorten. De "keuken" zal te druk zijn, het "eten" (het onderzoek) zal van lage kwaliteit zijn en de beste experts zullen opbranden. Door meer mensen op te leiden, AI verantwoordelijk als helper te gebruiken en reviewers een betere erkenning te geven, kan de software engineering-gemeenschap ervoor zorgen dat hun marktplaats van ideeën gezond, eerlijk en groeiend blijft voor de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.