📊 statistics

Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

Deze weerwoord richt zich op feedback over het ICML 2023 Rangschikkingsexperiment door de reactie te structureren rond vier kernthema's: het kaderen van peer review als statistische schatting, het mitigeren van gelijkheids- en strategische kwesties in het Isotonische Mechanisme, het integreren van complementaire signalen zoals reviewer-rangschikkingen, en het voorstellen van een mensgericht raamwerk voor het tijdperk van generatieve AI.

Oorspronkelijke auteurs: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van top-tier computerwetenschappelijk onderzoek (specifiek Kunstmatige Intelligentie) voor als een massief, chaotisch muziekfestival. Elk jaar willen duizenden bands (onderzoekers) op het hoofdpodium spelen (hun papers gepubliceerd krijgen). Maar er zijn slechts enkele honderden juryleden (recensenten) om naar hen te luisteren, en het festival groeit zo snel dat de juryleden verdrinken in de aanvragen.

De auteurs van dit paper, een team van statistici en computerwetenschappers, betogen dat we dit festival moeten stoppen met behandelen als een simpele populariteitswedstrijd en moeten beginnen met behandelen als een statistisch raadsel. Hier is een uiteenzetting van hun ideeën met behulp van alledaagse analogieën:

1. Het Probleem: Te Veel Kaarten, Te Weinig Juryleden

Het festival explodeert. In 2026 kregen ze meer dan 26.000 nummers om te beoordelen. De juryleden zijn moe en ze kunnen niet perfect naar elk nummer luisteren. Soms heeft een jurylid een slechte dag, soms begrijpen ze gewoon een bepaald genre niet, en soms is de muziek gewoon te goed of te slecht voor hen om eerlijk te beoordelen.

De auteurs zeggen: "We kunnen niet gewoon laten beslissen door de menigte (zoals het tellen van 'likes' op sociale media), omdat de menigte niet deskundig genoeg is. We hebben een betere manier nodig om uit te zoeken welke nummers eigenlijk het beste zijn."

2. De Oplossing: De "Auteurs-Playlist" (Het Isotonische Mechanisme)

De auteurs stellen een slimme truc voor die het Isotonische Mechanisme wordt genoemd.

De Analogie: Stel je voor dat je een jurylid bent bij een kookwedstrijd. Je moet 100 gerechten beoordelen. Je bent misschien een beetje streng op pittig eten of een beetje te mild op desserts. Je scores zijn "ruis" (een beetje rommelig).
Stel je nu voor dat de chef (de auteur) die het gerecht heeft gemaakt erbij staat. Zij kennen hun eigen eten beter dan wie dan ook. Ze weten precies hoe hun 10 gerechten met elkaar vergelijken.

De Oude Manier: De chef zegt gewoon: "Mijn gerecht is een 9 van de 10." (Dit is makkelijk te liegen; iedereen wil een 10).
De Nieuwe Manier: De chef wordt gevraagd om hun eigen 10 gerechten te rangschikken van beste naar slechtst. "Gerecht A is beter dan Gerecht B, wat weer beter is dan Gerecht C."

Waarom dit werkt: Het is zeer moeilijk om te liegen over een rangschikking van je eigen werk zonder betrapt te worden. Als je zegt dat je "Gerecht C" het beste is, maar je "Gerecht A" is eigenlijk vreselijk, kan de wiskunde de leugen opsporen. Door auteurs te vragen hun eigen inzendingen te rangschikken, kan het systeem de rommelige scores van de juryleden "opruimen". Het is alsof je gebruikmaakt van de eigen kennis van de chef om het slechte gehoor van de jury te corrigeren.

3. Het "Onrechtvaardigheid"-Bezwaar Aanpakken

Sommige mensen maakten zich zorgen: "Wat als een beroemde chef met 50 gerechten een enorm voordeel krijgt ten opzichte van een nieuwe chef met slechts 2 gerechten? Het rangschikkingssysteem werkt beter voor de persoon met meer items om te rangschikken."

De Oplossing van de Auteurs: Ze realiseerden zich dat als je één persoon alles laat rangschikken, het onrechtvaardig is. Dus stellen ze een "groeperings"-strategie voor.

De Analogie: In plaats van de beroemde chef te vragen om alle 50 gerechten in één gigantische rij te rangschikken, vraag je hen om ze te groeperen in kleine "proevertjes" (bijvoorbeeld: "Het Soepmenu", "Het Dessertmenu"). Rangschik de soepen tegen elkaar, en de desserts tegen elkaar.
Het Resultaat: Dit maakt het speelveld gelijk. De wiskunde toont aan dat zelfs met deze groepering, het systeem de scores nog steeds veel accurater maakt, maar het voorkomt dat beroemde chefs de resultaten domineren alleen omdat ze meer inzendingen hebben.

4. Het "Strategie"-Probleem: Kunnen Chefs Cheaten?

De auteurs geven toe dat als de rangschikking daadwerkelijk bepaalt wie op het hoofdpodium mag spelen, chefs het systeem kunnen proberen te manipuleren.

Het Risico: Een chef kan een vreselijk gerecht als "geweldig" rangschikken om het geaccepteerd te krijgen, of hun beste gerecht lager rangschikken om het voor volgend jaar te "bewaren".
De Realiteitscheck: De auteurs zeggen: "We kunnen niet alle bedrog stoppen, maar we kunnen de regels zo ontwerpen dat bedrog moeilijker wordt." Ze suggereren om klein te beginnen (rangschikkingen alleen gebruiken om aan te geven welke papers een tweede blik nodig hebben, in plaats van ze direct te accepteren of afwijzen) zodat we kunnen leren hoe mensen zich gedragen voordat we er een spel met hoge inzet van maken.

5. De Toekomst: Mensen + AI, Niet AI versus Mensen

Het paper eindigt met een grootschalig perspectief. Kunstmatige Intelligentie verandert hoe onderzoek wordt geschreven en beoordeeld. AI kan code schrijven, wiskunde controleren en zelfs recensies opstellen.

Het Standpunt van de Auteurs:

Vervang de mensen niet. AI is een hulpmiddel, zoals een superkrachtige rekenmachine. Het kan de data organiseren en patronen vinden, maar het moet niet de eindjury zijn.
De "Mens-in-de-Lus": Denk aan AI als de toneelarbeider die de lichten instelt en de instrumenten organiseert. De menselijke jury is degene die beslist of de muziek echt goed is.
Waarom? Omdat wetenschap niet alleen over data gaat; het gaat over creativiteit, ethiek en "smaak". AI kan de subtiele ziel van een paper missen of hallucineren (dingen verzinnen). Mensen moeten de eindbeslissing in handen houden.

Samenvatting

Het paper betoogt dat we, om het overbelaste systeem van het beoordelen van AI-onderzoek te fixen, het moeten behandelen als een wiskundig probleem. Door auteurs te vragen eerlijk hun eigen werk te rangschikken, kunnen we de ruis in de scores van de juryleden "verwijderen" en de beste papers nauwkeuriger vinden. We moeten echter voorzichtig zijn om te voorkomen dat het systeem wordt gemanipuleerd, en we moeten ervoor zorgen dat terwijl AI ons helpt het chaos te organiseren, mensen degene blijven die de hamer vasthouden.

Technische Samenvatting: Het ICML 2023 Rangschikkingsexperiment

Probleemformulering
Het artikel presenteert het peer-reviewproces van conferenties op het gebied van Machine Learning (ML) en Artificial Intelligence (AI) als een statistisch schattingsprobleem. Gezien de exponentieel groeiende hoeveelheid inzendingen (bijvoorbeeld 26.600 geldige inzendingen voor ICML 2026) en het feit dat het aanbod van gekwalificeerde reviewers niet gelijke tred houdt, staat de gemeenschap voor de uitdaging om de latente kwaliteit ( $\theta_i$ ) van tienduizenden inzendingen te schatten op basis van ruisachtige signalen. Traditionele reviewscores (bijvoorbeeld schalen van 1–8) worden beschouwd als ruisachtige schatters van deze latente kwaliteit, beïnvloed door reviewerbias, variantie en strategisch gedrag. De auteurs betogen dat hoewel de "markt" (bijvoorbeeld GitHub-sterren) de formele peer review niet kan vervangen vanwege de noodzaak van betrouwbare filtering op juistheid en originaliteit, het schattingsproces zelf moet worden verbeterd om om te gaan met de schaal en snelheid van modern AI-onderzoek.

Methodologie: Het Isotone Mechanisme
De kernbijdrage is de toepassing van het Isotone Mechanisme, een methode die is ontwikkeld om auteurs waarheidsgetrouwe private informatie te laten verstrekken om reviewscores te ontdoen van ruis.

Concept: Het mechanisme behandelt auteurs als strategische belanghebbenden die beschikken over private kennis over de relatieve kwaliteit van hun eigen inzendingen. Door auteurs te vragen hun eigen inzendingen te rangschikken, kan het systeem deze interne vergelijkende informatie benutten.
Incentivestructuur: Het mechanisme is zo ontworpen dat auteurs, onder specifieke voorwaarden, worden gestimuleerd om hun ware rangschikkingen te rapporteren. Dit verlegt de focus van het uitsluitend monitoren van reviewers naar het integreren van signalen van de auteurszijde.
Integratie: De gekalibreerde scores die uit deze rangschikkingen worden afgeleid, worden gebruikt om de ruwe reviewscores aan te passen. In het ICML 2023-experiment werden deze aangepaste scores voornamelijk gebruikt om de aandacht van Area Chairs (AC's) te sturen in plaats van om automatische acceptatie- of afwijzingsbeslissingen te nemen; dit diende als een implementatie met lage risico's om de doeltreffendheid te testen.
Uitbreidingen: Het artikel bespreekt mogelijke uitbreidingen, waaronder:
- Op onderwerp gebaseerde partitionering: Om zorgen over heterogeniteit in verbetering aan te pakken (waarbij productieve auteurs mogelijk onevenredig profiteren), stellen de auteurs voor om de inzendingen van een auteur op te splitsen in kleinere, op onderwerp gebaseerde blokken. Hierdoor kan het mechanisme onafhankelijk binnen blokken worden toegepast, waardoor de invloed van de lengte van de rangschikking wordt afgevlakt.
- Complementaire signalen: Het raamwerk is ontworpen om te integreren met andere signalen, zoals rangschikkingen van reviewers, paarwijze vergelijkingen, gestructureerde metadata (bijvoorbeeld theoretisch versus empirisch) en zelfvoorspellingen.

Belangrijkste resultaten en bevindingen
Op basis van het ICML 2023-experiment en de daaropvolgende analyse:

Schattingsnauwkeurigheid: Het Isotone Mechanisme verbetert de nauwkeurigheid van de kwaliteitsschatting aanzienlijk. Het artikel rapporteert een reductie in de Mean Squared Error (MSE) en Mean Absolute Error (MAE) in vergelijking met ruwe reviewscores.
Mitigatie van heterogeniteit: Hoewel initiële zorgen suggereerden dat auteurs met veel inzendingen onevenredig zouden profiteren van kalibratievoordelen, toont de analyse aan dat het gemiddelde-effect over co-auteurs deze invloed verwatert. Bovendien egaliseert de voorgestelde variant met "op onderwerp gebaseerde partitionering" de relatieve verbetering verder over auteurs met verschillende aantallen inzendingen. Bijvoorbeeld, onder de partitioneringsvariant daalt de regressieslope van het percentage verbetering op het aantal inzendingen aanzienlijk (bijvoorbeeld de MSE-slope van 1,97 naar 1,24), wat wijst op een eerlijkere verdeling van winsten.
Voorspellende kracht: Een vervolgstudie (Su et al., 2025a) geeft aan dat de eigen rangschikkingen van auteurs krachtige voorspellers zijn van toekomstige citaties.
Strategisch gedrag: Het artikel erkent dat bij een implementatie met hoge risico's (waarbij scores direct invloed hebben op acceptatie) strategisch gedrag (bijvoorbeeld het rangschikken van papers om het aantal acceptaties te maximaliseren in plaats van de waarheid) kan ontstaan. De auteurs betogen echter dat implementaties met lage risico's, gerandomiseerde of gestaggerde implementaties noodzakelijk zijn om dit gedrag te bestuderen en te mitigeren voordat een volledige schaalimplementatie plaatsvindt.

Betekenis en claims
Het artikel positioneert zichzelf niet als een definitieve oplossing voor peer review, maar als een stap richting een mensgerichte hervorming van het wetenschappelijke publicatiesysteem in het AI-tijdperk.

Statistisch perspectief: Het stelt dat het bekijken van peer review als een schattingsprobleem statistici in staat stelt om via mechanismedesign en ruisreductie rigoureus bij te dragen aan het veld.
Mens in de lus: De auteurs benadrukken dat het Isotone Mechanisme het menselijke oordeel of de reviewers niet vervangt. In plaats daarvan integreert het een extra menselijk signaal (aautorangschikkingen) met bestaande reviewscores om de betrouwbaarheid van het schattingsproces te verbeteren.
AI-context: Het artikel betoogt dat naarmate AI-tools steeds meer helpen bij het schrijven en reviewen, traditionele kwaliteitsindicatoren (bijvoorbeeld gepolijste taal) minder betrouwbaar kunnen worden. In deze context wordt het opwekken van contextuele menselijke kennis via incentive-gealigneerde mechanismen waardevoller.
Toekomstige agenda: De auteurs roepen op tot een bredere onderzoeksagenda die het ontwerpen van mechanismen omvat die rekening houden met complexe incentivestructuren, de integratie van diverse signalen (rangschikkingen van reviewers en auteurs) en de ontwikkeling van hybride publicatiesystemen die snelle verspreiding in evenwicht brengen met auditing na publicatie. Zij benadrukken dat de snijvlak van mechanismedesign en statistische modellering een rijke grensgebied vertegenwoordigt voor de statistische gemeenschap.

Het artikel besluit met de opmerking dat hoewel het ICML 2023-experiment een vrijwillige, risicovrije test was, er bij ICML 2026 een gerandomiseerd experiment met ingrijpende uitkomsten gaande is om deze bevindingen verder te valideren.