An Isotonic Mechanism for Overlapping Ownership

In de hooggespannen wereld van wetenschappelijk onderzoek fungeert het peer review-proces als de poortwachter van nieuwe kennis. Wanneer een onderzoeker een artikel naar een belangrijk congres indient, wordt het naar andere experts gestuurd die het lezen en een score toekennen. Deze scores bepalen of het werk wordt gepubliceerd, op een podium wordt gepresenteerd of wordt afgewezen. Decennialang heeft dit systeem volledig vertrouwd op de meningen van deze externe beoordelaars. Echter, naarmate het aantal inzendingen is geëxplodeerd, is het systeem begonnen te wankelen. De pool van gekwalificeerde beoordelaars is niet snel genoeg gegroeid om het tempo bij te houden, wat heeft geleid tot een situatie waarin hetzelfde artikel door de ene groep experts kan worden geaccepteerd en door een andere kan worden afgewezen, simpelweg door de willekeur van wie het toevallig heeft gelezen. Deze inconsistentie bedreigt de integriteit van het hele vakgebied en creëert een behoefte aan een manier om deze scores te stabiliseren zonder uitsluitend te vertrouwen op een overwerkte en vaak onervaren pool van beoordelaars.

De uitdaging is dat de mensen die het meest weten over een artikel—de auteurs zelf—meestal de laatsten zijn die organisatoren vertrouwen om het te evalueren. Een auteur vragen om hun eigen werk te beoordelen, lijkt uitnodigingen voor oneerlijkheid te bevatten; een onderzoeker zou van nature hun score kunnen opblazen om acceptatie te verzekeren. Toch bezitten auteurs een uniek type informatie dat beoordelaars missen: zij weten de relatieve kwaliteit van hun eigen werk. Een auteur weet misschien niet de exacte numerieke score die een artikel verdient, maar zij weten bijna zeker welk van hun eigen artikelen beter is dan de andere. De vraag die onderzoekers stelden, was of deze relatieve kennis gebruikt kon worden om de ruisachtige scores van vreemden te corrigeren, zonder de auteurs een reden te geven om te liegen.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld, genaamd de Isotonic Mechanism, om dit puzzelstuk op te lossen. In plaats van auteurs om specifieke getallen te vragen, die gevoelig zijn voor fouten en manipulatie, vraagt het systeem hen simpelweg om hun eigen artikelen te rangschikken van best naar slechtst. Het mechanisme neemt vervolgens deze rangschikkingen en combineert deze met de ruisachtige scores van de beoordelaars om een nieuwe, nauwkeurigere set scores te produceren. De genialiteit van het ontwerp ligt in de manier waarop het omgaat met het complexe web van wie wat bezit. In de moderne wetenschap hebben artikelen vaak meerdere auteurs, en die auteurs werken ook vaak op verschillende sets artikelen samen. Dit creëert een verstrengeld netwerk waarbij de rangschikking van een artikel door één auteur kan conflicteren met die van een andere.

Om dit te navigeren, verdelen de onderzoekers de gehele collectie artikelen eerst in aparte, niet-overlappende groepen. Binnen elke groep identificeren zij de auteurs die elk enkel artikel in die specifieke set hebben geschreven. Alleen deze auteurs worden gevraagd om rangschikkingen voor de artikelen in die groep op te geven. Door deze specifieke groepen te isoleren, zorgt het systeem ervoor dat de auteurs die de rangschikkingen verstrekken een volledig beeld hebben van de items die zij beoordelen, en dat geen enkele auteur de score van een artikel dat zij niet volledig bezitten, kan manipuleren. Het systeem gebruikt vervolgens een wiskundig vloeiingsproces om de oorspronkelijke beoordelaarsscores aan te passen, zodat deze de door de auteurs opgegeven volgorde respecteren, maar zo dicht mogelijk bij de oorspronkelijke beoordelaarsscores blijven om overcorrectie te voorkomen. Als een auteur zegt dat Papier A beter is dan Papier B, zullen de uiteindelijke scores die volgorde weerspiegelen, maar ze blijven zo dicht mogelijk bij de oorspronkelijke beoordelaarsscores om overcorrectie te vermijden.

De onderzoekers bewezen dat onder dit systeem eerlijkheid zeggen de beste strategie is voor elke auteur. Als iedereen anders eerlijk is, kan geen individuele auteur een voordeel behalen door te liegen over de volgorde van hun artikelen. Sterker nog, het systeem creëert een situatie waarin eerlijkheid de meest belonende uitkomst is voor alle betrokkenen. Dit geldt zelfs wanneer het eigendom van artikelen complex en overlappend is, mits het systeem zo is ingesteld dat er alleen rangschikkingen wordt gevraagd binnen deze zorgvuldig gedefinieerde groepen. Het team toonde ook aan dat proberen te slim te zijn door auteurs artikelen over verschillende groepen te laten rangschikken niet werkt; de enige manier om eerlijkheid te garanderen, is door vast te houden aan deze geïsoleerde groepen.

Om de beste manier te vinden om de artikelen in deze groepen te splitsen, ontwierpen de onderzoekers een snel, efficiënt algoritme. Zij ontdekten dat het vinden van de perfecte splitsing een probleem is dat te moeilijk is voor computers om in een redelijke tijd exact op te lossen. Hun 'greedy' algoritme, dat simpelweg de grootste beschikbare groep artikelen kiest die een enkele auteur bezit bij elke stap, komt echter heel dicht bij het best mogelijke resultaat. Dit algoritme draait snel genoeg om gebruikt te worden in real-world scenario's met duizenden artikelen.

Het team testte hun methode met behulp van gegevens van echte machine learning-conferenties, specifiek kijkend naar artikelen van ICLR en ICML. Zij simuleerden het beoordelingsproces door bestaande scores te nemen en willekeurige ruis toe te voegen om de inconsistenties van echte peer review na te bootsen. Wanneer zij hun mechanisme toepasten, waren de aangepaste scores aanzienlijk nauwkeuriger dan de oorspronkelijke beoordelaarsscores. In hun tests verminderde de nieuwe methode de fout in de scores met tussen de 21 en 33 procent. Het slaagde er ook in een groot deel van de topkwaliteit artikelen te herstellen die de oorspronkelijke ruisachtige scores onterecht hadden gemist. In een aparte test met werkelijke gegevens, waarbij auteurs al hun rangschikkingen hadden ingediend, verbeterde de methode de nauwkeurigheid van de scores opnieuw vergeleken met de baseline.

De onderzoekers verkenden ook de trade-offs die bij het systeem horen. Zij vonden dat het vragen om rangschikkingen van meer auteurs voor dezelfde groep artikelen het systeem robuuster maakt tegen fouten in de eigen perceptie van de auteurs. Echter, het vragen aan meer auteurs dwingt de groepen vaak om kleiner te zijn, wat de hoeveelheid nuttige informatie die het systeem kan verzamelen vermindert. De optimale balans hangt af van hoe nauwkeurig de auteurs worden verwacht te zijn. Als auteurs zeer zelfverzekerd zijn over hun eigen rangschikkingen, werken grotere groepen het best. Als hun perceptie ruisachtig is, bieden kleinere groepen met meer auteurs betere resultaten.

Dit werk demonstreert dat het mogelijk is om de zelfkennis van auteurs aan te boren om de wetenschappelijke evaluatie te verbeteren zonder de integriteit van het proces in gevaar te brengen. Door om eenvoudige rangschikkingen te vragen in plaats van scores, en door zorgvuldig te structureren wie wat evalueert, verandert het systeem een potentieel conflict van belangen in een instrument voor grotere nauwkeurigheid. De bevindingen suggeren dat congresorganisatoren deze aanpak kunnen adopteren om hun beoordelingsprocessen te stabiliseren, waardoor de beste artikelen worden erkend, zelfs wanneer de pool van beoordelaars zwaar onder druk staat. Het mechanisme vervangt de beoordelaars niet, maar fungeert als een stabilisator, die de inzichten van de auteurs zelf gebruikt om de onvermijdelijke ruis in het systeem te corrigeren.