How Closely Do LLM Reviews Align with Human Peer Review?

Technische Samenvatting: Afstemming van LLM-beoordelingen met menselijke peer-review

Probleemstelling
Large language models (LLM's) worden steeds vaker ingezet om wetenschappelijke beoordelingen te genereren, maar bestaande evaluaties falen vaak in het vaststellen of verschillende modelproviders overeenstemmen met zowel de acceptatiebeslissingen van conferenties als met de prioriteiten van menselijke reviewers binnen een enkele gecontroleerde setting. Er bestaat een kritische kloof in het begrip of het vermogen van een geautomatiseerde reviewer om geaccepteerde van afgewezen papers te onderscheiden, impliceert dat er ook afstemming is met fijnere menselijke oordelen, zoals het onderscheid tussen orale en poster-presentaties, of dat het dezelfde thematische prioriteiten deelt met betrekking tot de zwaktes van papers.

Methodologie
De studie voerde een gecontroleerde, cross-provider evaluatie uit met 3 van de 300 onderwerp-overeenkomstige inzendingen van ICLR 2026. De dataset bestond uit 100 orale, 100 poster en 100 afgewezen papers. Om topische consistentie te waarborgen, werden orale papers gekoppeld aan thematisch vergelijkbare poster- en afgewezen papers met behulp van abstract-embeddings (OpenAI text-embedding-3-small) en één-op-één gelijkenis-matching.

Drie hedendaagse LLM's werden geëvalueerd: OpenAI gpt-5.4, Google gemini-3.1-pro-preview en Anthropic claude-opus-4-6. Om datalekken te voorkomen, werden de modellen geselecteerd op basis van trainingsafkapwaarden die voorafgingen aan de ICLR 2026 inzendingstermijn, en werd externe zoekopdrachten uitgeschakeld. Elk model beoordeelde elk paper met identieke instructies en een gestandaardiseerde beoordelingsschaal (0–10) nadat de beslissingsinformatie uit de PDF's was verwijderd.

De analyse richtte zich op drie dimensies:

1. Uitkomst-afstemming: Of LLM's systematisch verschillende beoordelingen toekennen aan geaccepteerde (orale/poster) versus afgewezen papers, en of ze onderscheid maken tussen orale en poster categorieën.
2. Schaalgebruik: Het vergelijken van beoordelingsverdelingen en het specifieke gebruik van de aanbevelingsschaal over verschillende providers en tegenover menselijke baselines.
3. Thematische overeenstemming: Het analyseren van geschreven zwaktes via embedding-gebaseerde thematische clustering (UMAP dimensionaliteitsreductie gevolgd door k-means clustering) om geprioriteerde kritiekthema's te identificeren.

Statistische significantie werd beoordeeld met Mann–Whitney U-testen voor distributieverschillen en gepaarde Wilcoxon signed-rank testen voor directe vergelijkingen tussen evaluatoren, waarbij de Holm-correctie werd toegepast voor meervoudige vergelijkingen.

Belangrijkste Resultaten

• Brede versus fijnmazige discriminatie: Alle drie de LLM's onderscheidden geaccepteerde papers succesvol van afgewezen papers door systematisch hogere beoordelingen aan de eerste toe te kennen. Echter, geen van de modellen reproduceerde het onderscheid tussen orale en poster papers dat bij menselijke beoordelingen werd waargenomen. Menselijke reviewers vertoonden een duidelijke mediane beoordelingsprogressie (Afwijzen: 4.0 → Poster: 5.33 → Oraal: 6.5), terwijl LLM's er niet in slaagden een onderscheid te maken tussen de poster- en orale categorieën.
• Provider-specifieke scorepatronen: Scoregedrag varieerde significant per provider. Google Gemini kende systematisch hogere beoordelingen toe aan alle categorieën, inclus respectiefief een score van 8 toe aan 16 afgewezen papers. OpenAI en Claude lagen dichter bij menselijke beoordelingen voor afgewezen en poster papers, maar waren kritischer (voerden lagere beoordelingen toe) bij het evalueren van orale papers.
• Schaalgebruik: LLM's maakten gebruik van een smaller deel van de beoordelingsschaal vergeleken met mensen. Geen van de modellen kende de extreme eindpunten (0 of 10) toe, die wel door menselijke reviewers werden gebruikt.
• Thematische divergentie: Hoewel menselijke en LLM-reviews belangrijke thema's van zwaktes deelden (bijv. experimenteel bewijs, theoretische analyse), verschilde hun nadruk. LLM's identificeerden vaker "onvoldoende baseline-vergelijkingen" als een primaire zwakte. In contrast hiermee uitten menselijke reviewers vaker zorgen over "computationele efficiëntie en de vereiste middelen".

Bijdragen
Dit werk levert drie primaire bijdragen:

1. Een gecontroleerde cross-provider evaluatie van door LLM gegenereerde peer-review scores over zowel brede acceptatie-uitkomsten als fijnere presentatiecategorieën.
2. Bewijs dat het onderscheiden van geaccepteerde van afgewezen papers niet impliceert dat er sprake is van afstemming met fijnere conferentiebeslissingen of gelijkwaardig gebruik van de aanbevelingsschaal.
3. Een vergelijking van thematische prioriteiten, waarbij wordt aangetoond dat onenigheid tussen mensen en LLM's verder gaat dan numerieke beoordelingen en ook de specifieke zwaktes betreft die als relevant worden beschouwd.

Significantie en Claims
Het paper concludeert dat hoewel LLM's kunnen dienen als bronnen van aanvullende kritiek — in staat om terugkerende zwaktes te identificeren en feedback vanuit meerdere perspectieven te geven — hun scores en prioriteiten niet als uitwisselbaar met menselijke peer-review oordelen moeten worden beschouwd. De bevindingen suggereren dat brede beslissingsafstemming geen garantie biedt voor overeenstemming met fijnere menselijke oordelen. Daarom zouden toekomstige geautomatiseerde review-systemen niet enkel geëvalueerd moeten worden op hun vloeiendheid of het vermogen om geaccepteerde van afgewezen papers te scheiden, maar ook op hun stabiliteit, schaalgebruik, bewijsvoering en afstemming met de genuanceerde structuur van deskundige evaluatie. De auteurs waarschuwen tegen het vertrouwen op LLM's voor definitieve besluitvorming zonder erkenning van deze systematische divergenties.