🤖 AI

PRAIB: Peer Review AI Benchmark of Behaviour of LLM-Assisted Reviewing

Dit artikel introduceert PRAIB, een nieuw benchmarkkader en een empirische grootschalige studie die 11.000 door machines gegenereerde recensies analyseert tegen menselijke feedback om significante gedragsdivergenties aan het licht te brengen—zoals positieve bias, overmoed en gemiste atomische zwaktes—en daarmee een diagnostisch hulpmiddel biedt om de huidige betrouwbaarheid en beperkingen van LLM's in het peer-reviewproces te bepalen.

Oorspronkelijke auteurs: Krzysztof Żurawicki, Julia Farganus, Arkadiusz Gaweł, Mateusz Bystroński, Tomasz Jan Kajdanowicz

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Krzysztof Żurawicki, Julia Farganus, Arkadiusz Gaweł, Mateusz Bystroński, Tomasz Jan Kajdanowicz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorm talentenjachtprogramma voor met hoge inzet, waar duizenden wetenschappers hun beste werk indienen om beoordeeld te worden door een panel van experts. Decennialang is dit "peer review"-proces volledig door mensen uitgevoerd. Maar recentelijk is er een nieuw soort rechter het strijdperk binnengekomen: Kunstmatige Intelligentie (AI).

Het artikel waar je naar vraagt, PRAIB, is als een enorme kwaliteitscontroletest die is ontworpen om één grote vraag te beantwoorden: Denkt de AI echt "zoals een menselijke rechter", of is het gewoon een knappe robot die slim klinkt maar het werk niet echt begrijpt?

Hieronder volgt de uiteenzetting van wat de onderzoekers vonden, met behulp van alledaagse analogieën.

1. De Opzet: De "Luie" Robot versus de Menselijke Expert

De onderzoekers namen 1.000 echte wetenschappelijke artikelen van toonaangevende conferenties (ICLR en NeurIPS) en vroegen vijf verschillende AI-modellen om recensies voor deze artikelen te schrijven. Vervolgens vergeleken zij deze AI-recensies met de werkelijke recensies die door menselijke experts waren geschreven.

Stel je voor dat je een groep studenten vraagt om een boekverslag te schrijven.

De Mens: Leest het boek, markeert specifieke alinea's, controleert de wiskunde en schrijft een doordachte kritiek.
De AI: Leest het boek (of probeert het), en schrijft vervolgens een recensie die er uitziet als een boekverslag.

2. De Belangrijkste Bevinding: De AI is "Oververzekerd" en "Te Woordrijk"

De studie vond dat AI-recensies aan het oppervlak indrukwekkend lijken, maar zich heel anders gedragen dan mensen.

Het "Woordrijke" Probleem: De AI-recensies waren vaak veel langer en ingewikkelder dan menselijke recensies.
- Analogie: Stel je een menselijke kok voor die zegt: "De soep heeft meer zout nodig." De AI-kok daarentegen schrijft een drie pagina's tellend essay over de geschiedenis van zout, de chemie van natrium en de filosofie van kruiden, maar vergeet toch daadwerkelijk te zeggen dat de soep zout nodig heeft. De AI probeert slim te klinken door grote woorden en lange zinnen te gebruiken, waardoor het moeilijker leesbaar wordt (lagere "leesbaarheidsscores").
Het "Verzekerdheid"-Probleem: De AI was extreem zeker van haar mening, zelfs als ze het fout had.
- Analogie: Als een menselijke rechter onzeker is over een artikel, zou hij kunnen zeggen: "Ik ben niet 100% zeker, maar ik denk..." De AI doet echter alsof ze alles weet, geeft een perfecte score met 100% zekerheid, zelfs als ze het hoofdpunt gemist heeft. Het is als een student die gokt op een toets, maar het antwoordblad met een groot, zelfverzekerd vinkje markeert.
De "Positieve Bias": De AI neigde naar hogere scores dan mensen. Ze was vriendelijker dan de menselijke rechters en negeerde vaak de gebreken van het artikel.

3. De "Specificiteit"-Test: Kijkt het echt naar het artikel?

Dit was het meest kritieke deel van de test. De onderzoekers controleerden of de AI daadwerkelijk naar de specifieke details van het artikel keek, zoals Figuur 4, Vergelijking 12 of Tabel 3.

De Mens: "In Figuur 4 toont de grafiek een piek die niet logisch is."
De AI: "De figuren zijn over het algemeen goed gepresenteerd." (Vaag en generiek).

De studie vond dat veel AI-modellen faalden in het wijzen op specifieke delen van het artikel. Ze waren als een toerist die naar een museumkaart kijkt en zegt: "Er zijn hier veel schilderijen", zonder ooit te stoppen om naar een specifiek schilderij te kijken.

De Uitzondering: Eén specifiek AI-model (genaamd OpenReviewer) was specifiek getraind op recensiedata. Het gedroeg zich veel meer als een mens, verwees naar specifieke figuren en schreef in een stijl die natuurlijk aanvoelde. Dit bewijst dat als je een AI specifiek voor de baan traint, het een betere job kan doen dan een algemeen doel-AI.

4. Het "Wiskunde"-Probleem

Wetenschappelijke artikelen staan vol met wiskunde. De onderzoekers controleerden of de AI daadwerkelijk inging op de vergelijkingen of er gewoon omheen praatte.

Sommige AI-modellen waren verrassend goed in het vinden van wiskunde en het bespreken daarvan.
Anderen negeerden de wiskunde echter volledig en behandelden een complex natuurkundig artikel als een informeel blogbericht.

5. Het "Valse Referentie"-Probleem

Een grote rode vlag die in de studie werd gevonden, was dat AI-modellen vaak referenties verzonnen.

Analogie: Als een menselijke schrijver zegt: "Zoals Smith (2020) bewees...", citeert hij een echt boek. De AI zou echter soms zeggen: "Zoals Smith (2020) bewees...", maar "Smith (2020)" bestond eigenlijk niet. Het was een hallucinatie – een zelfverzekerde leugen. De studie vond dat de meeste AI-modellen faalden in het verstrekken van echte, verifieerbare citaten.

De Conclusie: AI is een "Co-Piloot", niet de "Piloot"

Het artikel concludeert dat we menselijke recensenten op dit moment niet zomaar kunnen vervangen door AI.

De AI is goed in: Het schrijven van lange, beleefde en gestructureerde tekst. Het kan helpen bij het opstellen van recensies of het controleren op basisgrammatica.
De AI is slecht in: Eerlijk zijn over haar zekerheid, specifieke fouten in de data vinden en echte, verifieerbare bewijzen leveren.

Het Eindoordeel:
Zie de AI als een zeer spraakzame stagiair. Hij kan een prachtig rapport schrijven, maar hij kan het cruciale detail missen dat de motor kapot is, omdat hij te druk bezig is met het gebruik van grote woorden. De menselijke expert is nog steeds nodig als de senior manager die de feiten controleert, de citaten verifieert en de uiteindelijke beslissing neemt.

De onderzoekers hebben een "scorekaart" (PRAIB) gemaakt om toekomstige ontwikkelaars te helpen betere AI-tools te bouwen die niet alleen slim klinken, maar zich ook daadwerkelijk gedragen als slimme, zorgvuldige menselijke recensenten.

Technische Samenvatting: PRAIB: Peer Review AI Benchmark van het Gedrag van door LLM-ondersteunde Reviewing

Probleemstelling

De toenemende omvang van wetenschappelijke inzendingen heeft de exploratie van Large Language Models (LLMs) aangewakkerd om het peer-reviewproces te ondersteunen en te versterken. Het blijft echter onduidelijk of LLMs wetenschappelijke manuscripten op een manier benaderen die consistent is met menselijke reviewers, of dat ze simpelweg tekst genereren die oppervlakkig op een review lijkt. Bestaande evaluatiebenaderingen richten zich vaak op numerieke ratingvoorspelling, "LLM-as-a-Judge"-pipelines of oppervlakkige tekststatistieken (bijvoorbeeld bruikbaarheid, verifieerbaarheid). Deze methoden negeren vaak de kritieke dimensie van menselijke alignatie: of de gedragspatronen, specificiteit en betrokkenheidsstijl van een door AI gegenereerde review die van menselijke experts weerspiegelen. Er is behoefte aan een diagnostisch kader om systematische gedragsdivergenties tussen menselijke en machine-reviewers te identificeren, vooral nu het gebruik van generatieve AI in reviewing versnelt.

Methodologie

De auteurs introduceren de Peer Review AI Benchmark (PRAIB), een multidimensionaal kader dat is ontworpen om de specificiteit, stijl en betrokkenheidsgedrag van door LLM-ondersteunde reviews te meten. De methodologie omvat een empirische studie op grote schaal waarbij machinegegenereerde reviews worden vergeleken met menselijke feedback.

Dataverwerving en Voorbereiding

Dataset: De studie maakt gebruik van een dataset van 11.000 reviews gegenereerd voor 1.000 papers van de conferenties ICLR en NeurIPS over de periode 2021–2025.
Geëvalueerde Modellen: Vijf modellen werden getest: drie open-source modellen (DeepSeek-V3, Gemma-3-12B-it, Qwen3.5-9B), één domein-gespecialiseerd model (OpenReviewer-8B) en één propriëtaire frontier-model (GPT-5-2025-08-07).
Prompting-strategieën: Modellen werden geëvalueerd met twee verschillende prompt-sjablonen: een "luie" baseline (conferentie-onafhankelijk) en gedetailleerde, conferentiespecifieke sjablonen (in lijn met de officiële ICLR/NeurIPS-richtlijnen).
Preprocessing: Manuscripten werden met DeepSeek-OCR van PDF naar Markdown geconverteerd om de wiskundige fideliteit te behouden. Reviews werden afgekapt bij 50.000 tokens om de focus op de hoofdtekst te houden.

Evaluatiekader (PRAIB)

Het kader kwantificeert gedragspatronen over verschillende assen:

Tekstuele Complexiteit en Leesbaarheid:
- Metrieken omvatten Token-aantal (TKC), Type-Token Ratio (TTR), Flesch Reading Ease (FRE) en Flesch-Kincaid Grade Level (F-K Grade).
- Deze meten taalkundige rijkdom, zinscomplexiteit en leesbaarheid in vergelijking met menselijke baselines.
Inhoudelijke Betrokkenheid (Specificiteit):
- Cross-referenties (Xref.): Extractie van verwijzingen naar specifieke manuscriptelementen (figuren, tabellen, vergelijkingen, theorema's) met behulp van reguliere expressies.
- Detectie van Wiskundige Inhoud: Een secundaire LLM (Qwen3.5-8B) classificeert of een review substantieel betrokken is bij wiskundige inhoud (bijvoorbeeld het citeren van specifieke vergelijkingen, het analyseren van bewijzen). Dit werd gevalideerd tegen menselijke annotaties met 96,6% nauwkeurigheid.
- Externe Citaten: Verificatie van citaten tegen externe bibliografische databases (Crossref, OpenAlex, DBLP) om hallucinaties te detecteren en feitelijke juistheid te waarborgen.
Reviewer-overeenstemming:
- Krippendorff's $\alpha$ : Gebruikt om de inter-annotator overeenstemming op ordinale rating-schalen te meten, rekening houdend met toevallige overeenstemming en de geordende aard van scores.
- Conditionele Wiskundedetectie: Meet $P(+|+)$ (LLM engageert zich met wiskunde gegeven dat de mens dat deed) en $P(+|-)$ (LLM engageert zich met wiskunde gegeven dat de mens dat niet deed) om de alignatie in technische focus te beoordelen.
Informatie-coverage:
- Atomaire Extractie: Reviews worden ontleed in "atomaire" sterke punten en zwakke punten (zelfstandige eenheden van informatie).
- Coverage-metrieken: Atomaire Recall (fractie van menselijke punten die door de LLM wordt gedekt), Precisie, Mapping-dichtheid en Compaction Ratio worden berekend om te bepalen of LLMs hetzelfde technische terrein bestrijken als mensen.

Belangrijkste Resultaten

1. Divergentie in Stijl- en Gedragspatronen

Leesbaarheid: Door LLM gegenereerde reviews zijn aanzienlijk complexer en moeilijker te lezen dan menselijke reviews. Flesch Reading Ease-scores voor LLMs (13,7–21,3) liggen ver onder de menselijke baseline (39,1), en F-K Grade-niveaus zijn hoger (14,5–15,7 versus 12,1).
Lengte: LLMs hebben de neiging om langere reviews te produceren. GPT-5 produceert gemiddeld 1.449 tokens (2,7 $\times$ het menselijke gemiddelde), terwijl zelfs meer terughoudende modellen zoals DeepSeek de menselijke lengte met 20% overschrijden.
Woordenschat: Type-Token Ratio's (TTR) zijn lager voor LLMs, wat wijst op verminderde diversiteit in woordenschat en repetitieve formuleringen.

2. Specificiteit en Betrokkenheid

Cross-referenties: Hoewel sommige modellen (Qwen, GPT-5) hoge aantallen cross-referenties genereren, produceren anderen (DeepSeek, Gemma) er zeer weinig. Opmerkelijk is dat OpenReviewer (fine-tuned) de menselijke cross-referentie-aantallen nauwkeurig benadert (2,77 versus 2,26).
Wiskundige Betrokkenheid: Frontier-modellen (GPT-5, Qwen) vertonen hoge rates van wiskundige betrokkenheid (75,8% en 68,6%), wat de menselijke rate (42,7%) overtreft. Kleinere modellen (DeepSeek, Gemma) blijven echter onder de menselijke rates.
Citatiefouten: Bijna alle algemene modellen faalden bij het genereren van geldige, verifieerbare citaten. Alleen OpenReviewer produceerde enkele verifieerbare citaten (33% geverifieerd), vergelijkbaar met de menselijke rate (35%).

3. Rating-alignatie en Bias

Overeenstemming: GPT-5 behaalde de hoogste overeenstemming met menselijke panelen ( $\alpha_r \approx 0,36$ ), wat de menselijke-only baseline gelijkwaardig is of licht overschrijdt. DeepSeek toonde de zwakste alignatie ( $\alpha_r \approx 0,14$ ).
Bias: LLM-ratings vertonen een positieve bias (neiging om hogere scores te geven) en lage variantie. Ze zijn minder variabel dan menselijke ratings en clusteren vaak aan het boveneinde van de schaal.
Zekerheid: LLMs vertonen overmoedigheid en wijzen zelden lage zekerheidsscores toe (1 of 2), die mensen wel frequent gebruiken.

4. Informatie-coverage

Volume versus Kwaliteit: LLMs genereren consistent meer atomaire sterke en zwakke punten dan mensen. GPT-5 produceert bijna het drievoud van de menselijke baseline voor zwakke punten.
Coverage: Hoewel LLMs een hoog percentage van de door mensen geïdentificeerde sterke punten bestrijken (Atomaire Recall $\approx$ 0,89–0,94), is de coverage van zwakke punten lager (0,70–0,93).
Patroon: Frontier-modellen (GPT-5, Qwen) hebben de neiging om menselijke punten op te splitsen in fijnere sub-punten (hoge mapping-dichtheid), terwijl OpenReviewer een meer één-op-één mapping behoudt.

Betekenis en Claims

Het artikel claimt dat PRAIB een diagnostisch instrument biedt voor de gemeenschap om te identificeren welke aspecten van het reviewproces LLMs vandaag de dag betrouwbaar kunnen ondersteunen en welke verdere ontwikkeling vereisen.

Gedragsdivergentie: De studie toont aan dat LLMs menselijke reviews niet alleen nabootsen; ze vertonen distincte gedragspatronen, waaronder excessieve woordkracht, verminderde diversiteit in woordenschat en een neiging om atomaire zwakke punten die door mensen worden opgemerkt, over het hoofd te zien.
Beperkingen van Huidige Modellen: Algemene modellen zijn momenteel ongeschikt als volledige vervanging voor menselijke expertise vanwege fouten in de feitelijke juistheid van citaten, positieve score-bias en inconsistente betrokkenheid bij specifieke manuscriptelementen.
Potentieel voor Versterking: Specifieke modellen, vooral die die zijn fine-tuned voor het domein (OpenReviewer) of frontier-modellen met sterke wiskundige betrokkenheid (GPT-5), tonen potentie om door mensen geleide technische reviews te versterken, met name in wiskundige analyse en het identificeren van formele structuren.
Toekomstige Richtingen: De auteurs stellen een synergetische pipeline voor waarbij frontier-modellen wiskundige analyse uitvoeren, fine-tuned modellen helpen bij het stijlvolle opstellen van teksten, en menselijke reviewers de uiteindelijke kwalitatieve oordeelsvorming en citatieverificatie behouden.

Het artikel concludeert dat hoewel LLMs het reviewproces versnellen, hun gedragsafwijkingen van menselijke normen zorgvuldige evaluatie en hybride mens-AI-workflows vereisen in plaats van volledige automatisering.