💻 computer science

Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review

Deze positiepaper betoogt dat de acceptatie-uitkomsten van ML-conferenties worden gedreven door fouten in het meetontwerp in plaats van door individuele bias, waarbij wordt aangetoond door middel van een analyse van meer dan 50.000 papers dat beoordelaarsscores fundamenteel onvergelijkbaar zijn tussen onderzoeksgebieden, wat leidt tot acceptatiekansen die afhankelijk van het onderwerp tot wel 8x variëren voor dezelfde score.

Oorspronkelijke auteurs: Binyan Xu, Fan Yang, Xilin Dai, Kehuan Zhang

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Binyan Xu, Fan Yang, Xilin Dai, Kehuan Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Scorekaart Mysterie

Stel je een enorme, wereldwijde wetenschapssalon voor waar duizenden briljante studenten elk jaar hun projecten indienen. Om te beslissen wie een plek krijgt in de finale showcase, geeft een team van juryleden aan elk project een simpel cijfer, zoals een beoordeling van 1 tot 10. De regel van de wetenschapssalon is bedoeld om simpel en eerlijk te zijn: een score van 7 betekent "goed werk", ongeacht waar het project over gaat. Of je nu een dansende robot hebt gebouwd, een programma dat het weer voorspelt, of een nieuwe manier om computers te leren lezen, een 7 zou hetzelfde moeten betekenen.

Maar wat als de juryleden in de sectie "Robotica" superstreng zijn en alleen 7s geven aan perfecte robots, terwijl de juryleden in de sectie "Weer" super enthousiast zijn en bijna alles een 7 geven dat op een wolk lijkt? Als je niet weet bij welke sectie een project hoort, wordt dat enkele cijfer verwarrend. Een 7 in het ene gebied kan een gouden ticket zijn, terwijl een 7 in een ander gebied een beleefde afwijzing kan zijn. Dit is het puzzelstuk waar onderzoekers in het vakgebied Machine Learning proberen op te lossen. Ze kijken naar hoe computers patronen herkennen, beslissingen nemen en problemen oplossen, en ze stellen een angstaanjagende vraag: Is de "score" die we gebruiken om deze papers te beoordelen eigenlijk wel eerlijk, of hangt het volledig af van bij welk clubje je hoort?

De Grote Ontdekking van het Paper: De Scorekaart is Kapot

Dit paper, geschreven door een team van onderzoekers, duikt in de data van een grote machine learning conferentie genaamd ICLR. Ze bekeken meer dan 50.000 papers die tussen 2021 en 2026 zijn ingediend om te zien of de "score" echt hetzelfde betekende voor iedereen. Hun conclusie is verbijsterend: De scores zijn niet vergelijkbaar.

Denk aan een videogame waarbij spelers in verschillende levels verschillende controllers gebruiken. In de "Trending" levels (zoals de hete nieuwe onderwerpen in AI) zijn de controllers supergevoelig. Een kleine tik geeft je al een hoge score. In de "Old School" levels (zoals oudere, gevestigde onderwerpen) zijn de controllers stijf en moeilijk in te drukken. Als je een score van 5.0 krijgt in het "Trending" level, ben je misschien een superster. Maar als je een 5.0 krijgt in het "Old School" level, heb je misschien moeite. Het paper vond dat de kans dat een paper wordt geaccepteerd, afhankelijk van het onderwerp, tot wel 8 keer hoger kan zijn voor exact dezelfde beoordeling door een reviewer.

Bijvoorbeeld: een paper over "denken" of "redeneren" met een score van 5.0 had een kans van 52,6% om geaccepteerd te worden. Maar een paper over "beeldherkenning" of "adversarial attacks" met die exacte zelfde score van 5.0 had slechts een kans van 6,6%. Dat is een achtvoudig verschil! De onderzoekers noemen dit een "measurement design failure" (een fout in het ontwerp van de meting). Het is niet dat de reviewers gemeen zijn of de area chairs bevooroordeeld zijn; het is dat het systeem zelf kapot is omdat het probeert één enkele liniaal te gebruiken om dingen te meten die fundamenteel verschillend zijn.

Wat het NIET is (De Red Herrings)

De auteurs waren zeer zorgvuldig in het uitsluiten van andere redenen voor deze kloof. Ze vroegen zich af: "Is het omdat de 'Trending' onderwerpen gewoon van betere kwaliteit zijn?" Het antwoord is nee. Als dat waar zou zijn, zouden de geaccepteerde papers in die hete onderwerpen hogere scores hebben. In plaats daarvan laten de data het tegenovergestelde zien: de hete onderwerpen accepteren papers met lagere scores dan de koude onderwerpen.

Ze controleerden ook of het kwam doordat de "Old School" onderwerpen super-experts hebben die simpelweg moeilijker te plezieren zijn. De data zegt ook hier nee. De reviewers in de moeilijk te plezieren gebieden waren niet daadwerkelijk zelfverzekerder of deskundiger; ze waren even enthousiast als de rest.

Ten slotte vroegen ze zich af of de "Trending" onderwerpen misschien lagere kwaliteit werk binnenlieten omdat er te veel inzendingen waren (een "kwaliteitsdilutie"). De data toonde geen verband tussen hoe snel een onderwerp groeide en hoeveel de kwaliteit daalde. Sterker nog, sommige snelgroeiende onderwerpen hielden hun acceptatiepercentages stabiel terwijl andere instortten.

De Echte Boosdoener: De "Hype Cycle" en de "Patch"

Dus, waarom gebeurt dit? Het paper betoogt dat het een structureel probleem is. Wanneer een onderwerp "heet" is (zoals een nieuwe, spannende trend), trekt het een enorme menigte nieuwe, junior reviewers aan die enthousiast en misschien een beetje mild zijn. Wanneer een onderwerp "volwassen" is (zoals een oud, gevestigd veld), trekt het senior experts aan die kritischer zijn. Omdat het systeem niet weet wie de score geeft, behandelt het een "6" van een enthousiaste junior hetzelfde als een "6" van een chagrijnige senior.

Om dit te repareren, moeten de Area Chairs (de mensen die de uiteindelijke ja/nee beslissing nemen) gokken. Ze gebruiken hun "community priors"—kortom, hun onderbuikgevoel over hoe moeilijk het is om een paper geaccepteerd te krijgen in dat specifieke onderwerp. Ze zijn in feite een kapot systeem aan het repareren met hun eigen intuïtie. Dit betekent dat voor een paper die precies op de grens zit (een "borderline" paper), het lot niet wordt bepaald door hoe goed het werk is, maar door of het onderwerp momenteel "in de mode" is.

Wat Moeten We Doen?

Het paper wijst niet alleen op het probleem; het biedt een driestappenplan om dit op te lossen, zonder dat het hele systeem volledig herbouwd hoeft te worden:

Wees Transparant: De organisatoren van de conferentie zouden een rapport moeten publiceren dat de acceptatiepercentages voor elk onderwerp laat zien, uitgesplitst per score. Als een paper een 5.0 krijgt, moet iedereen kunnen zien: "Oh, een 5.0 in Onderwerp A wordt 50% van de tijd geaccepteerd, maar een 5.0 in Onderwerp B wordt slechts 6% van de tijd geaccepteerd." Dit maakt de verborgen bias zichtbaar.
Creëer Maatwerk-regelboeken: In plaats van één generieke "1 tot 10" schaal voor alles te gebruiken, zou elke onderzoekscommunity zijn eigen specifieke checklist (rubriek) moeten schrijven voor wat een goede paper maakt. Een "goede" theoretische paper ziet er anders uit dan een "goede" engineering paper, en de regels moeten dat weerspiegelen.
Gebruik Betere Signalen: Het paper suggereert het gebruik van "gekalibreerde signalen". Bijvoorbeeld, in plaats van alleen naar het ruwe getal te kijken, zou het systeem de score kunnen aanpassen op basis van de geschiedenis van de reviewer (gaf deze persoon meestal hoge of lage scores?). Het suggereert ook om auteurs hun eigen papers te laten rangschikken als ze er meerdere indienen, wat het systeem helpt om de relatieve kwaliteit van werk beter te begrijpen dan een ruw getal ooit zou kunnen.

De Kern van het Verhaal

Het paper concludeert dat het huidige systeem lijkt op een race waarbij hardlopers in verschillende banen op verschillende oppervlakken rennen, maar waarbij iedereen wordt beoordeeld door dezelfde stopwatch. De hardlopers in de "hete" banen krijgen een voorsprong, niet omdat ze sneller zijn, maar omdat de baan makkelijker is. De auteurs betogen dat totdat we de baan aanpassen en de scoring eerlijk maken over alle banen heen, de beste papers simpelweg geweigerd kunnen worden omdat ze werken aan een onderwerp dat momenteel niet "cool" is. De oplossing is niet om de jury de schuld te geven, maar om toe te geven dat de liniaal die we gebruiken de verkeerde maat is voor de klus.

Technische Samenvatting: Reviewer-scores zijn niet vergelijkbaar tussen onderzoeksgebieden in ML peer review

1. Probleemstelling

Het artikel identificeert een fout in het ontwerp van de meting in de peer review-processen van grote Machine Learning (ML) conferenties, specifiek gericht op ICLR. Naarmate het volume aan inzendingen is opgeschaald van duizenden naar tienduizenden, is de afhankelijkheid van een vaste numerieke schaal (1–10) om acceptatie te bepalen structureel gebrekkig geworden.

Het kernprobleel is dat absolute reviewer-scores niet vergelijkbaar zijn over verschillende onderzoeksgebieden. Het impliciete contract van het reviewsysteem — dat een specifieke score (bijv. 6.0) dezelfde acceptatiekans draagt, ongeacht het onderwerp van het artikel — wordt in de praktijk geschonden. De auteurs stellen dat acceptatie-uitkomsten worden gevormd door krachten die buiten de scores van de reviewers liggen, gedreven door structureel niet-uniforme reviewer-toewijzingen. Dit dwingt Area Chairs (AC's) om community-niveau priors te gebruiken als vervanging voor score-gebaseerde beslissingen, wat leidt tot systematische ongelijkheden waarbij artikelen in "trending" of "hot" onderwerpen andere acceptatiedrempels ervaren dan die in "volwassen" of "koude" onderwerpen, zelfs wanneer zij identieke reviewer-scores ontvangen.

2. Methodologie

De studie is een observationele analyse gebaseerd op ICLR 2021–2026 data, die 50.289 artikelen beslaat over 219 onderzoeksgebieden. De auteurs gebruikten de PaperCopilot repository en BERTopic (afgeleid van titel- en abstracttekst) om een fijnmazige taxonomie van onderzoeksgebieden te construëren, die een grotere granulariteit biedt dan de officiële primaire gebiedslabels.

De analyse verloopt via drie niveaus van bewijs:

Beschrijvende Analyse: Het vergelijken van ruwe acceptatiepercentages (AR) over onderwerpen met 95% Wilson betrouwbaarheidsintervallen.
Structurele Analyse: Het fitten van logistische regressiemodellen ( $P(\text{accept}) = \sigma(\beta_0 + \beta_1 \cdot \text{score})$ ) per onderwerp om de acceptatiedrempel ( $\hat{\tau}$ ) te schatten waar een artikel een kans van 50% heeft op acceptatie.
Model-vrije Analyse: Het onderzoeken van acceptatiepercentages binnen vaste scorebanden (bijv. $s \in [4.875, 5.125]$ ) om het effect van de identiteit van het onderwerp te isoleren van de score zelf.

De auteurs hebben vier alternatieve verklaringen rigoureus uitgesloten:

Scoring Culture: De hypothese dat trending onderwerpen simpelweg hogere basisscores hebben.
Expert Reviewer Standards: De hypothese dat gebieden met een hoge drempel meer zelfverzekerde, deskundige reviewers hebben.
Rational Area Chair Reweighting: De hypothese dat AC's rationeel gewichten aanpassen voor Bijdrage versus Degelijkheid (Soundness) op basis van het veld.
Quality Dilution: De hypothese dat groeiende velden lijden onder een lagere gemiddelde kwaliteit van artikelen.

3. Belangrijkste Resultaten

Dispariteiten in Acceptatiepercentages: Er is een spreiding van 27,8 procentpunt in acceptatiepercentages over onderwerpen (van 18,3% voor "recognition" tot 46,0% voor "radiance fields").
Variatie in Drempelwaarden: De acceptatiedrempel (de score vereist voor een 50% kans op acceptatie) varieert aanzienlijk per onderwerp. Zo hebben onderwerpen zoals "chain-of-thought" een drempel van 4,938, terwijl "activation functions/relu" onderwerpen een drempel hebben van 5,751.
De 8× Kloof (Kernbevinding): Bij identieke reviewer-scores variëren de acceptatiekansen drastisch. Bij een score van 5,0 hebben artikelen in "policy-optimization/LLM-reasoning" onderwerpen een acceptatiepercentage van 52,6%, terwijl die in "CNN/adversarial-robustness" onderwerpen slechts 6,6% hebben. Dit vertegenwoordigt een 8× verschil in de acceptatiekansen voor artikelen die exact dezelfde reviewer-evaluatie ontvangen.
Verwerping van Alternatieven:
- Kwaliteit Verklaring: Gebieden met hogere acceptatiepercentages accepteren consistent artikelen met lagere gemiddelde reviewer-scores, wat de gedachte tegenspreekt dat ze "betere" artikelen accepteren.
- Expert Hypothese: Er is geen significante correlatie tussen de acceptatiedrempel van een onderwerp en de mate van vertrouwen van de reviewer ( $r = -0,102$ ). Gebieden met een hoge AR worden vaak bediend door enthousiaste maar minder deskundige reviewers.
- Rationale Herweging: Analyse van subscores laat zien dat gebieden met een hoge drempel meer eisen van zowel Degelijkheid als Bijdrage tegelijkertijd, in plaats van de een tegen de ander uit te ruilen.
- Quality Dilution: De groei in inzendingen in specifieize gebieden (bijv. Datasets & Benchmarks groeide met +459%) correleerde niet met een steilere daling van de acceptatiepercentages.

4. Onderliggend Mechanisme

Het artikel schrijft deze dispariteiten toe aan structureel niet-uniforme reviewer-toewijzing, wat drie cumulerende dimensies van onvergelijkbaarheid creëert:

Expertise Diepte: "Hot" gebieden trekken grote hoeveelheden junior reviewers aan met minder gekalibreerde beoordelingen, terwijl volwassen gebieden senior experts aantrekken.
Scoring Culture: Verschillende gemeenschappen interpreteren de 1–10 schaal verschillend (bijv. formele methoden behandelen een 8 als bijna perfect; empirische ML behandelt een 6 als een solide acceptatie).
Novelty Baseline: Reviewers in "hot" gebieden kalibreren nieuwheid tegen een hoog-nieuwe frontlinie, wat de lat hoger legt, terwijl volwassen gebieden een langzamer bewegende frontlinie hebben.

Als gevolg hiervan moeten AC's vertrouwen op community priors om scores te interpreteren, waarbij het kwaliteitssignaal effectief wordt vervangen door een onderwerp-identiteitssignaal. Dit wordt verergerd door "hype cycles", waarbij opkomende onderwerpen een tijdelijke acceptatiepremie genieten die losstaat van de kwaliteit van het artikel.

5. Betekenis en Claims

Het artikel beweert de eerste studie te zijn die onderwerp-niveau score-acceptatie ontkoppeling identificeert met identificatie van mechanismen en de falsificatie van alternatieve verklaringen. De betekenis ligt in het verschuiven van de schuld van individuele bias of reviewer-fouten naar een systemische fout in het ontwerp van de meting.

Belangrijke claims zijn onder meer:

Transparantie als Voorwaarde: De huidige opaciteit van podia zoals NeurIPS en ICML voorkomt de detectie van deze patronen. De auteurs stellen dat transparantie een voorwaarde is voor verantwoording en hervorming.
Haalbaarheid van Hervorming: De voorgestelde oplossingen vereisen geen fundamentele herontwerp van het reviewproces, maar eerder de adoptie van gekalibreerde signalen en transparantie.
Observationele Beperking: De auteurs stellen expliciet dat hun analyse observationeel is en beperkt is tot ICLR (de enige locatie met volledige openbaarmaking van reviews). Ze beweren niet het causale effect van onderwerp-toewijzing op individuele artikelen te hebben geïdentificeerd, maar documenteren een systematisch populatie-niveau patroon dat het eigen kwaliteitssignaal van het reviewsysteem niet kan verklaren.

6. Voorgestelde Acties

Het artikel roept op tot drie onderling verbonden acties:

Program Committees: Publiceer gebied-gestratificeerde, score-conditionele acceptatiepercentages als een belangrijke fairness-metriek om verantwoording mogelijk te maken.
Onderzoeksgemeenschappen: Ontwikkel gebied-specifieke review-rubrics om impliciete community-standaarden expliciet te maken, waardoor kalibratiefouten onder onervaren reviewers worden verminderd.
Podia (Venues): Vul absolute scores aan met gekalibreerde signalen, zoals reviewer-kalibratieprofielen, auteur-zelfranking via het Isotonic Mechanism, en een norm om prioriteit te geven aan geschreven reviews boven geaggregeerde scores bij grensgevallen (borderline decisions).