Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?
Deze studie analyseert metadata van bijna 160.000 beoordelingen verspreid over machine learning-conferenties en vindt geen statistisch bewijs dat de "Reviewer 2"-stereotype van inherente strengheid of polarisatie ondersteunt, wat suggereert dat het fenomeen waarschijnlijk een meetartefact of instituutafhankelijke bias is in plaats van een universele realiteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de academische wetenschap is het pad van een nieuw idee naar een gepubliceerd artikel geplaveid met een proces dat peer review wordt genoemd. Voordat een studie het daglicht ziet, wordt deze naar andere experts in het vakgebied gestuurd die het zorgvuldig lezen en hun oordeel vellen. Deze experts, bekend als reviewers, fungeren als poortwachters die beslissen of het werk solide genoeg is om met de wereld te delen. Ze wijzen scores toe, schrijven gedetailleerde opmerkingen en bevelen vaak aan of het artikel geaccepteerd, afgewezen of teruggestuurd moet worden voor grote wijzigingen. Dit systeem is ontworpen om kwaliteit te waarborgen, maar het is ook een bron van grote angst voor auteurs. Eén harde opmerking kan een carrière ontwrichten, en het proces is vaak gehuld in geheimhouding, waarbij de identiteiten van de reviewers verborgen blijven voor de auteur die zij beoordelen.
In de loop der tijd is er binnen dit systeem een specifiek cultureel verhaal ontstaan. Auteurs en wetenschappers hebben een gedeelde achterdocht ontwikkend dat de tweede reviewer op een rapport uniek moeilijk is. De "Reviewer 2" is de volksvijand geworden in de wetenschappelijke gemeenschap, een figuur die wordt voorgesteld als disproportioneel hard, afwijzend of obstructief vergeleken met hun collega. Deze stereotype suggereert dat als een artikel een tweede reviewer heeft, die persoon degene is die het project waarschijnlijk zal doden. Maar is dit een echt patroon in hoe mensen zich gedragen, of is het slechts een gevoel dat voortkomt uit frustratie? Om dit te beantwoorden, moest een onderzoeker verder gaan dan anekdoten en naar de werkelijke cijfers achter duizenden reviews kijken om te zien of de tweede persoon op de lijst werkelijk anders handelt dan de eerste of de derde.
Een onderzoeker zette zich scharpe punten om dit mythe te onderzoeken door een enorme collectie real-world data van open science-conferenties te bestuderen. Zij verzamelde informatie van bijna 63.000 manuscripten en meer dan 157.000 individuele reviews. Het doel was om de emoties en verhalen rondom het proces weg te strippen en strikt naar de scores en beslissingen te kijken. De focus lag op een specifieke vraag: geven de mensen die als "Reviewer 2" worden aangeduid daadwerkelijk lagere scores, gebruiken ze vaker extreme beoordelingen, of zijn ze het meer oneens met hun gelijken die hetzelfde artikel evalueren? De onderzoeker was zorgvuldig in het onderscheid tussen het nummer dat aan een reviewer is toegewezen en de werkelijke volgorde waarin zij hun rapport schreven, wetende dat deze twee zaken niet altijd hetzelfde zijn. Het is echter belangrijk om op te merken dat de gebruikte data voor deze studie voornamelijk geconcentreerd waren in machine learning-conferenties, specifiek afkomstig van 7.966 manuscripten van ICLR tussen 2018 en 2021. Dit betekent dat de bevindingen het meest van toepassing zijn op deze open-review settings en mogelijk niet volledig generaliseerbaar zijn naar traditionele, interdisciplinaire tijdschriften.
Na de data te hebben geanalyseerd met rigoureuze statistische methoden, vond de studie geen bewijs dat de bewering dat Reviewer 2 een speciale soort schurk is, ondersteunt. Wanneer de onderzoeker de scores gegeven door de tweede reviewer vergeleek met de gemiddelde scores van hun collega's, was het verschil zo klein dat het effectief nul was. Sterker nog, de data toonden aan dat de tweede reviewer niet systematisch harder was, noch waren ze eerder geneigd om de meest extreme "afwijzen" of "accepteren" beoordelingen te gebruiken. De angst dat de tweede persoon op de lijst uniek moeilijk is, lijkt een mythe te zijn. De onderzoeker keek ook naar de vraag of de mening van de tweede reviewer meer gewicht in de schaal legde bij de editors die de uiteindelijke beslissing namen. Hoewel een harde review van wie dan ook tot een afwijzing kan leiden, was er geen speciaal "multiplier"-effect voor de tweede reviewer dat de mening van die persoon krachtiger maakte dan die van anderen.
De studie onthulde wel enkele interessante details over hoe het proces werkt, zelfs als de hoofdmythen werden ontkracht. De onderzoeker vond dat het nummer dat een reviewer op zijn scherm ziet, vaak niet overeenkomt met de volgorde waarin zij hun werk daadwerkelijk hebben ingediend. In de onderzochte dataset kwam de publieke label van "Reviewer 2" slechts in ongeveer 30 procent van de gevallen overeen met de werkelijke tweede persoon die een rapport indiende. Dit betekent dat de "schurk" waar auteurs over klagen misschien niet eens de tweede persoon is die een review schreef; de nummering is vaak gewoon een willekeurige toewijzing of een opslagvolgorde die niets te maken heeft met de sequentie van gebeurtenissen. Bovendien, toen de onderzoeker keek naar de vraag of de meningsverschillen tussen reviewers werden opgelost nadat een auteur een reactie (rebuttal) had geschreven, zag hij dat de groep als geheel de neiging had om dichter bij elkaar te komen in hun meningen, maar er was geen teken dat de tweede reviewer degene was die van mening veranderde of voor de frictie zorgde.
Een van de meest veelzeggende delen van het onderzoek betrof het testen of het weten welke reviewer welke score gaf, kon helpen om de uiteindelijke uitkomst van een artikel te voorspellen. De onderzoeker bouwde computermodellen om te zien of het behandelen van de score van de tweede reviewer als een aparte, speciale factor de bekwaamheid verbeterde om te voorspellen of een artikel geaccepteerd of afgewezen zou worden. De resultaten toonden aan dat een simpel gemiddelde van alle scores net zo goed werkte, en in sommige gevallen zelfs iets beter, dan een model dat probeerde extra gewicht toe te kennen aan de tweede reviewer. Dit suggereert dat editors waarschijnlijk kijken naar de collectieve wijsheid van de groep in plaats van zich te fixeren op een specifieke genummerde positie. De data wijzen erop dat de perceptie van een moeilijke tweede reviewer waarschijnlijk een resultaat is van hoe mensen negatieve ervaringen onthouden, in plaats van een statistische realiteit van het reviewsysteem zelf.
De studie keek ook naar de dynamiek van het reviewproces in de loop van de tijd. In een subset van artikelen waarbij een auteur de mogelijkheid kreeg om te reageren, volgde de onderzoeker hoe de scores veranderden. Zij vonden dat de kloof tussen de meningen van verschillende reviewers de neiging had te krimpen na de fase van de reactie (rebuttal), wat betekent dat de reviewers vaak een gemeenschappelijk grondpunt vonden. Deze convergentie gebeurde echter breed geagen en werd niet gedreven door een specifieke verandering in het gedrag van de tweede reviewer. De onderzoeker concludeerde dat hoewel de ervaring van het omgaan met een lastige reviewer echt en pijnlijk is voor velen, de gedachte dat de tweede persoon op de lijst uniek de schuld heeft, niet wordt ondersteund door het bewijs. Het systeem is complex en meningsverschillen komen voor, maar ze zijn niet het resultaat van een verborgen bias tegen een specifieke genummerde positie.
Uiteindelijk dient deze grootschalige onderzoeksinstelling als een herinnering aan hoe onze intuïties over hoe systemen werken soms misleidend kunnen zijn. Het "Reviewer 2"-fenomeen is een krachtig verhaal omdat het resoneert en omdat het een gezicht geeft aan de frustratie van afwijzing, maar de data tonen aan dat het gezicht niet aan een specifiek nummer is verbonden. De hardheid, de onenigheid en de hoge inzet van peer review zijn verdeeld over de gehele groep experts, en niet geconcentreerd in de tweede positie. Door de mythe te vervangen door meting, heeft de onderzoeker aangetoंदन dat de wetenschappelijke gemeenschap haar eigen processen beter kan begrijpen door zich te richten op de werkelijke bronnen van variatie in oordeelsvorming, in plaats van een spook te achtervolgen dat niet bestaat in de cijfers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.