Pathways to improve the quality of clinical professional master’s degree theses: a retrospective analysis of double-blind review results

In de wereld van de medische opleiding is de eindscriptie meer dan alleen een lang stuk tekst; het is de bekroning die bewijst dat een student zijn vak echt beheerst. Voor studenten die een professionele masteropleiding in klinische geneeskunde volgen, vertegenwoordigt dit document de culminatie van jarenlang studeren over ziekten, het behandelen van patiënten en het leren denken als een arts. Om ervoor te zorgen dat deze documenten aan hoge standaarden voldoen, gebruiken universiteiten een proces dat dubbelblind beoordeling wordt genoemd. In dit systeem worden de namen van de studenten en hun docenten verborgen voor de experts die het werk beoordelen, en de identiteiten van de experts worden verborgen voor de studenten. Deze opzet is ontworpen om persoonlijke connecties en vooroordelen weg te nemen, zodat alleen de kwaliteit van het schrijven en het onderzoek wordt beoordeeld. Als een scriptie deze rigoureuze, anonieme test doorstaat, gaat deze door naar een definitieve verdediging; als deze faalt, moet de student het werk herzien en wordt deze daarna goedgekeurd voor verdediging, hoewel een score onder de 60 punten leidt tot afkeuring voor verdediging. Het begrijpen van wat deze papers doet slagen of falen is cruciaal, omdat de kwaliteit van deze scripties de kwaliteit van de toekomstige artsen die de ziekenhuizen binnenkomen weerspiegelt.

Een team van onderzoekers aan het Chengdu Medical College in China besloot nauwkeurig naar de resultaten van dit blinde beoordelingsproces te kijken om te zien wat er werkelijk gebeurde achter de scores. Ze verzamelden gegevens van 1.156 beoordelingsrapporten die 578 scripties beslaan, ingediend tussen 2021 en 2023. Hun doel was om verder te gaan dan eenvoudige gemiddelden en de specifieke factoren te begrijpen die bepaalden of een scriptie als uitstekend, goed, redelijk of zwak werd beoordeeld. Ze onderzochten de achtergrond van de studenten, de titels van de begeleiders, de betrokken medische specialismen en de gedetailleerde opmerkingen geschreven door de anonieme beoordelaars. Door de gegevens als een kaart te behanden, hoopten ze de verborgen paden te vinden die leiden naar kwalitatief beter werk.

Toen de onderzoekers voor het eerst naar de algemene scores keken, leek het beeld kalm en stabiel. De middelste score voor de scripties bleef over alle drie de jaren bijna exact hetzelfde, rond de 80 punten schommelend. Echter, toen ze de papers in categorieën sorteerden, kwam er een ander verhaal naar voren. Het jaar 2022 viel op als een anomalie. Hoewel de gemiddelde score normaal leek, had dat jaar het laagste percentage uitstekende papers en het hoogste percentage mislukkingen. Dit suggereerde dat het middenveld een werkelijke verschuiving in kwaliteit maskeerde. De onderzoekers ontdekten dat de papers uit 2022 zwakker waren op specifieke gebieden die diep nadenken en praktische toepassing vereisen, zoals de praktische waarde van het onderzoek en de standaardisatie van het schrijven. In contrast hiermee bleven de basisvaardigheden, zoals hoe goed studenten bestaande literatuur samenvatten of hun methoden ontwerpen, stabiel. Dit patroon gaf aan dat hoewel studenten nog steeds goed waren in de fundamenten, hun vermogen om hoogwaardig, innovatief werk te produceren tijdens dat specifieke jaar was gedaald.

De studie onthulde ook dat wie de student was, belangrijker was dan wie hun docent was. De onderzoekers vergeleken voltijdstudenten, die zich volledig op hun studie concentreren, met studenten in een gelijkwaardigheidstraject, die vaak werkende artsen zijn die parttime studeren. De voltijdstudenten produceerden consequent kwalitatief beter werk, met een veel hoger percentage uitstekende papers en een lager percentage mislukkingen. De parttime studenten hadden meer moeite, waarschijnlijk door het conflict tussen hun baan en hun onderzoek. Verrassend genoeg veranderde de academische rang van de begeleider de uitkomst niet. Of een student nu werd begeleid door een senior professor of een docent in plaats van een hoogleraar, maakte geen statistisch verschil voor het uiteindelijke cijfer. Ook de achtergrond van de anonieme beoordelaar, zoals of zij van een topuniversiteit kwamen of de titel van doctoraal promotor hadden, had geen invandruk op de scores. Dit bevestigde dat het dubbelblinde beoordelingssysteem werkte zoals bedoeld, waarbij het werk op zichzelf werd beoordeeld in plaats van op de reputatie van de betrokken personen.

Het medische specialisme van de student bleek eveneïs irrelevant voor de uiteindelijke kwaliteit. Of een scriptie nu over chirurgie, interne geneeskunde of anesthesie ging, de verdeling van de cijfers was statistisch gezien hetzelfde. Er was geen bewijs dat één medisch veld betere of slechtere papers produceerde dan een ander. In plaats daarvan veranderde de focus van de beoordelaars zelf in de loop van de tijd. In 2021 waren de meest voorkomende klachten in de beoordelingscommentaren gericht op formele kwesties zoals schrijfstijl en de opmaak van citaties. Tegen 2023 praatten de beoordelaars veel meer over de inhoud van het onderzoek. Woorden als "innovatie", "klinische waarde" en "onderzoeksbegrenzingen" verschenen met toenemende frequentie. Deze verschuiving liet zien dat de academische gemeenschap de verwachtingen verhoogde, waarbij ze wegbeweegden van simpelweg vinkjes zetten bij de juiste opmaak en eisten dat het onderzoek daadwerkelijk iets nieuws en nuttigs bijdraagt aan het vakgebied.

De onderzoekers concludeerden dat de stabiliteit van de gemiddelde scores misleidend was. De daling in kwaliteit tijdens 2022 werd waarschijnlijk veroorzaakt door de wereldwijde publieke gezondheidscrisis, die de beschikbare tijd voor zowel docenten als studenten beperkte. Klinische begeleiders waren overbelast met patiëntenzorg, en studenten hadden minder tijd om zich aan hun onderzoek te wijden, wat leidde tot een afname van de complexere aspecten van de scriptie. Om dit op te lossen, suggereren de auteurs dat scholen niet alleen moeten vertrouwen op gemiddelde scores om kwaliteit te beoordelen. In plaats daarvan zouden ze de spreiding van de cijfers nauwlettend in de gaten moeten houden, waarbij ze letten op pieken in mislukkingen of dalingen in uitmuntendheid als een vroeg waarschuwingssignaal. Ze raden ook aan dat scholen striktere regels handhaven over hoeveel tijd begeleiders met hun studenten moeten doorbrengen, om ervoor te zorgen dat de begeleiding consistent en substantieel is. Ten slotte moet het beoordelingsproces zelf zorgvuldiger worden beheerd om ervoor te zorgen dat beoordelaars gedetailleerde, constructieve feedback geven in plaats van oppervlakkige opmerkingen. De weg naar betere medische opleiding ligt in het aandacht besteden aan deze details en het verschuiven van de focus van louter naleving naar een oprechte wetenschappelijke bijdrage.