💬 NLP

Using Human-LLM Disagreement to Improve Checklist-Based Quality Appraisal

Dit artikel toont aan dat het analyseren van mens-LLM-onenigheid over checklist-gebaseerde kwaliteitsbeoordeling ambigue criteria kan identificeren, en dat het herzien van deze items de overeenstemming aanzienlijk verbetert terwijl de relatieve rangschikking van studies behouden blijft, waardoor meer betrouwbare door LLM ondersteunde onderzoekssynthese-workflows worden ondersteund.

Oorspronkelijke auteurs: Timo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), Ro

Gepubliceerd 2026-08-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Timo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), Robert A. Bagheri (Methodology and Statistics Utrecht University), Rens van de Schoot (Methodology and Statistics Utrecht University), Klaas Dieleman (Methodology and Statistics Utrecht University), Berend Greijn (Methodology and Statistics Utrecht University), Stefan Houkes (Methodology and Statistics Utrecht University), Sebastiaan Rodenhuis (Methodology and Statistics Utrecht University), Elizabeth M. Grandfield (Methodology and Statistics Utrecht University)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elk jaar produceert de wereld van de wetenschap een vloedgolf aan nieuw onderzoek, wat een uitdaging vormt voor degenen die proberen er zin van te krijgen. Wanneer wetenschappers het volledige beeld van een onderwerp willen begrijpen, voeren ze een systematische review uit, een proces dat het verzamelen van elke relevante studie over een onderwerp en het controleren van hoe goed elk daarvan is uitgevoerd, omvat. Deze kwaliteitscontrole is cruciaal omdat het betrouwbare bevindingen scheidt van gebrekkige, maar het is ook ongelooflijk traag en mentaal uitputtend. Experts moeten door dichte rapporten lezen en beslissen of de onderzoekers de regels hebben gevolgd, een taak die een uur per studie kan duren en foutgevoelig is wanneer mensen moe worden. Onlangs zijn krachtige computerprogramma's, bekend als large language models, opgekomen als potentiële helpers voor dit werk. Deze programma's kunnen tekst lezen en begrijpen, wat leidde tot een hoopvolle gedachte: zou een computer het saaie werk van het controleren van de kwaliteit van studies kunnen overnemen? Het is echter niet genoeg om simpelweg een checklist aan een computer te geven. Als de vragen op de checklist vaag of verwarrend zijn, zal zelfs een slimme computer moeite hebben om het juiste antwoord te geven, net als een mens.

Een team van onderzoekers zette zich af om dit idee te testen en, nog belangrijker, om te zien hoe ze de computer en de menselijke experts beter op één lijn konden krijgen. Ze richtten zich op een specifieke set regels genaamd de GRoLTS-checklist, die wordt gebruikt om studies te beoordelen die bijhouden hoe groepen mensen in de loop van de tijd veranderen. De onderzoekers vroegen eerst verschillende computerprogramma's om deze regels toe te passen op een collectie echte studies over trauma, terwijl menselijke experts dezelfde studies al hadden beoordeeld. Ze ontdekten dat de computers niet perfect waren; ze stemden met de mensen overeen bij sommige vragen, maar waren het vaak oneens bij andere. De onenigheid was niet willekeurig. Het gebeurde het vaakst wanneer een item op de checklist op een manier was geformuleerd die ruimte liet voor meerdere interpretaties, zoals vragen of iets werd gedaan voor "alle" modellen wanneer de studie alleen over sommige rapporteerde, of het gebruik van brede termen die moeilijk vast te stellen waren. De computer zou vaak een bewijsstuk vinden en "ja" zeggen, terwijl de menselijke expert, die op zoek was naar een strengere standaard, "nee" zou zeggen.

In plaats van deze fouten simpelweg te accepteren, gebruikten de onderzoekers de onenigheid als een kaart om de checklist zelf te verbeteren. Ze namen de verwarrende vragen en herschreven deze om ze duidelijker en specifieker te maken. Ze braken complexe vragen die twee dingen tegelijk vroegen af in aparte, eenvoudigere vragen. Ze verwijderden "als-dan"-scenario's die gokken vereisten en vervingen vage termen door concrete voorbeelden van waar naar te zoeken. Zodra ze een verbeterde, tweede versie van de checklist hadden gemaakt, vroegen ze de computers en de menselijke experts om de studies opnieuw te beoordelen. De resultaten toonden een duidelijke verbetering. De computers en mensen stemden veel vaker overeen met de nieuwe versie. De verwarring die de computers deed struikelen, was grotendeels verdwenen. Nog belangrijker was dat de onderzoekers ontdekten dat de computers nog steeds erg goed waren in het sorteren van de studies van best naar slecht, zelfs als ze een paar kleine fouten maakten op individuele vragen. Dit betekent dat een computer betrouwbaar kan helpen bij het prioriteren van welke studies onderzoekers als eerste moeten bekijken, zolang de regels die het volgt maar duidelijk zijn geschreven.

De studie suggereert dat de sleutel tot het nuttig maken van kunstmatige intelligentie voor wetenschappelijke reviews niet alleen het kiezen van een slimmer computerprogramma is, maar het ontwerpen van betere vragen om het antwoord op te geven. Wanneer de regels ambigu zijn, worstelen zowel mensen als machines, maar wanneer de regels precies zijn, worden de machines betrouwbare partners. De onderzoekers ontdekten niet dat computers menselijke experts volledig konden vervangen, aangezien sommige moeilijke vragen nog steeds menselijk oordeel vereisten. In plaats daarvan lieten ze zien dat door de onenigheid tussen de computer en de mens te analyseren, ze de zwakke plekken in hun instrumenten konden identificeren en oplossen. Deze aanpak verandert een mismatch in een hulpmiddel voor verbetering, wat suggereert dat de toekomst van de wetenschappelijke review ligt in een partnerschap waarbij computers de duidelijk afgebakende taken afhandelen en mensen zich concentreren op de complexe taken, geleid door checklists die voor beiden begrijpelijk zijn ontworpen.

Technische Samenvatting: Het gebruik van mens-LLM-discrepantie voor het verbeteren van checklist-gebaseerde kwaliteitsbeoordeling

Probleemstelling
Systematische reviews vereisen een rigoureuze kwaliteitsbeoordeling van de geïncludeerde studies, een proces dat arbeidsintensief, cognitief veeleisend en gevoelig is voor fouten door vermoeidheid. Hoewel Large Language Models (LLM's) potentieel bieden voor automatisering, wordt hun toepassing in dit domein gehinderd door de inherente ambiguïteit van checklist-criteria. Bestaand onderzoek behandelt beoordelingschecklists doorgaans als vaste inputs, waarbij de focus ligt op prompt engineering of modelselectie, zonder te adresseren of het ontwerp van de checklist zelf bijdraagt aan de discrepantie tussen menselijke experts en LLM's. Bovendien blijft het onduidelijk of door LLM gegenereerde scores de relatieve rangschikking van studies naar kwaliteit behouden, wat een cruciale vereiste is voor prioritering in evidentiesynthese.

Methodologie
De studie maakte gebruik van de Guidelines for Reporting on Latent Trajectory Studies (GRoLTS) checklist, een instrument met 21 binaire items ontworpen voor menselijke experts. Het onderzoek hanteerde een experimenteel ontwerp in twee fasen over drie verschillende domeinen: Posttraumatische Stressstoornis (PTSS), Educatieve Prestaties en Adolescentelijke Delinquentie.

Pipeline-implementatie: Een Retrieval-Augmented Generation (RAG) pipeline werd geconstrueerd om de checklist toe te passen op volledige artikelen. Deze pipeline omvatte:
- Preprocessing: Het converteren van PDF's naar Markdown om structurele elementen te behouden.
- Segmentatie: Het verdelen van tekst in overlappende chunks (1.000 woorden met een overlap van 50 woorden).
- Embedding & Retrieval: Gebruik van het Qwen3-Embedding-8B model om vectorrepresentaties te genereren voor zowel checklist-items als tekstchunks. Voor elk item werden de top-10 semantisch relevante chunks opgehaald via cosine similarity.
- Generatie: Een gestandaardiseerde prompt instrueerde vijf verschillende LLM's (GPT-5-mini, LLaMA 3.3 70B, Qwen3 30B, Qwen3-Next 80B en Magistral Small) om binaire (Ja/Nee) oordelen te genereren op basis uitsluitend van de opgehaalde context.
Evaluatiestrategie:
- Fase 1 (Baseline): Menselijke annotaties (uit de oorspronkelijke GRoLTS-studie) werden vergeleken met LLM-outputs met de originele checklist (v1) in het domein PTSS.
- Fase 2 (Revisie & Validatie): Op basis van Fase 1 werd de checklist herzien (v2) om bronnen van discrepantie aan te pakken. De herziene checklist werd toegepast op alle drie de domeinen.
- Metrieken: Overeenstemming werd gemeten aan de hand van exact-match nauwkeurigheid, kans-gecorrigeerde metrieken (Cohen's $\kappa$ en Fleiss' $\kappa$ ) en Spearman's rangcorrelatie om de bewaring van de studie-niveau ordening te beoordelen.

Belangrijkste Bijdragen
De primaire bijdrage van dit werk is de demonstratie dat het analyseren van mens-LLM-discrepantie dient als een diagnostisch instrument voor het verbeteren van beoordelingsinstrumenten, in plaats van enkel het evalueren van modelprestaties. De studie identificeerde specifieke structurele gebreken in het ontwerp van de checklist—zoals conditionele formuleringen, dubbelzinnige vragen (double-barreled questions) en een ambigue reikwijdte—die discrepantie veroorzaken. Door deze items systematisch te herzien (bijv. het splitsen van items om onderscheid te maken tussen gedeeltelijke versus volledige rapportage en het verwijderen van conditionele sub-items), ontwikkelden de auteurs een herziene checklist (v2) die de afstemming tussen menselijke en geautomatiseerde oordelen aanzienlijk verbeterde.

Resultaten

Prestaties op itemniveau: In de originele checklist (v1) varieerde de overeenstemming drastisch, waarbij sommige items bijna perfecte nauwkeurigheid vertoonden en andere zo laag als 0,10. Items met een lage nauwkeurigheid werden gekenmerkt door ambiguïteit en conditionele logica.
Impact van revisie: De herziene checklist (v2) leverde een opmerkelijke verbetering op. De gemiddelde nauwkeurigheid voor de slechtst presterende items steeg van ~0,10–0,20 (v1) naar 0,40–0,60 (v2). Het aandeel items dat een hoge nauwkeurigheid bereikte (0,7–1,0) nam toe, en de variabiliteit tussen verschillende LLM's nam af.
Kans-gecorrigeerde overeenstemming: Cohen's $\kappa$ -waarden voor v2 varieerden van 0,41 tot 0,72 (matige tot substantiële overeenstemming), een verbetering ten opzichte van de 0,31–0,52 range waargenomen in v1. Fleiss' $\kappa$ over alle beoordelaars (vijf LLM's en één mens) verbeterde van 0,41 (v1) naar ongeveer 0,60 (v2).
Rangbehoud: Hoewel misclassificaties op itemniveau bestonden, behielden de door LLM gegenereerde totale scores een matige tot sterke correlatie met menselijke rangschikkingen (Spearman $\rho$ variërend van 0,36 tot 0,72). Cruciaal was dat de studie vond dat rangschikkingen afgeleid van items met een hoge overeenstemming alleen een sterke correlatie vertoonden met menselijke rangschikkingen ( $\rho \approx 0,58–0,93$ ), terwijl items met een lage overeenstemming instabiliteit introduceerden.

Significantie en Claims
Het artikel claimt dat de betrouwbaarheid van LLM-ondersteunde kwaliteitsbeoordeling niet uitsluitend een functie is van modelcapaciteit, maar sterk afhankelijk is van de helderheid en structuur van het beoordelingsinstrument. De auteurs stellen dat mens-LLM-discrepantie een nuttig signaal is voor het identificeren van problematische checklist-items, wat een iteratief proces mogelijk maakt om synthese-workflows te verfijnen.

De studie suggereert een strategie van "selectieve automatisering": LLM's kunnen effectief goed gespecificeerde criteria afhandelen om de relatieve rangschikking van studies voor prioritering te behouden, terwijl menselijke beoordelaars zich moeten richten op het oplossen van ambigue of conceptueel complexe items. Deze aanpak maakt de integratie van LLM's in systematische reviews mogelijk zonder dat perfecte item-niveau nauwkeurigheid vereist is, mits de checklist is ontworpen om ambiguïteit te minimaliseren. De bevindingen ondersteunen het bredere nut van LLM's in evidentiesynthese, mits de tools die zij gebruiken mede zijn ontworpen met zowel menselijke als geautomatiseerde beperkingen in gedachten.

Technische Samenvatting: Het gebruik van mens-LLM-discrepantie voor het verbeteren van checklist-gebaseerde kwaliteitsbeoordeling

Meer zoals dit