Pathways to improve the quality of clinical professional master’s degree theses: a retrospective analysis of double-blind review results

In der Welt der medizinischen Ausbildung ist die Abschlussarbeit mehr als nur eine lange Arbeit; sie ist der krönende Abschluss, der beweist, dass ein Student sein Handwerk wirklich beherrscht hat. Für Studierende, die einen professionellen Masterstudiengang in klinischer Medizin anstreben, stellt dieses Dokument die Kulmination jahrelangen Studiums von Krankheiten, der Behandlung von Patienten und des Lernens, wie ein Arzt zu denken. Um sicherzustellen, dass diese Dokumente hohen Standards entsprechen, nutzen Universitäten ein Verfahren namens Doppelblindprüfung. In diesem System werden die Namen der Studierenden und ihrer Lehrer vor den Experten, die die Arbeit bewerten, verborgen, und die Identitäten der Experten werden vor den Studierenden verborgen. Dieser Aufbau dient dazu, persönliche Verbindungen und Voreingenommenheiten zu eliminieren, sodass allein die Qualität der Schreibweise und der Forschung bewertet wird. Wenn eine Thesis diese rigorose, anonyme Prüfung besteht, geht sie zur abschließenden Verteidigung über; wenn sie scheitert, muss der Student die Arbeit überarbeiten und wird dann zur Verteidigung zugelassen, wobei eine Punktzahl unter 60 Punkten zur Ablehnung der Verteidigung führt. Zu verstehen, was diese Arbeiten erfolgreich oder erfolglos macht, ist entscheidend, denn die Qualität dieser Thesen spiegelt die Qualität der zukünftigen Ärzte wider, die in Krankenhäuser eintreten.

Ein Forscherteam am Chengdu Medical College in China beschloss, die Ergebnisse dieses Blindprüfungsverfahrens genau unter die Lupe zu nehmen, um zu sehen, was hinter den Bewertungen tatsächlich geschah. Sie sammelten Daten aus 1.156 Bewertungsberichten, die 578 zwischen 2021 und 2023 eingereichte Thesen abdeckten. Ihr Ziel war es, über einfache Durchschnittswerte hinauszugehen und die spezifischen Faktoren zu verstehen, die beeinflussten, ob eine Thesis als exzellent, gut, ausreichend oder mangelhaft bewertet wurde. Sie untersuchten den Hintergrund der Studierenden, die Titel ihrer Betreuer, die beteiligten medizinischen Fachrichtungen und die detaillierten Kommentare, die von den anonymen Gutachtern verfasst wurden. Indem sie die Daten wie eine Landkarte behandelten, hofften sie, die verborgenen Pfade zu finden, die zu besserer Qualitätsarbeit führen.

Als die Forscher sich zuerst die Gesamtnote ansah, wirkte das Bild ruhig und beständig. Der mittlere Wert der Thesen blieb über alle drei Jahre hinweg fast exakt gleich und pendelte sich bei etwa 80 Punkten ein. Als sie die Arbeiten jedoch in Kategorien sortierten, kam eine andere Geschichte ans Licht. Das Jahr 2022 stach als Anomalie hervor. Während die durchschnittliche Punktzahl normal aussah, verzeichnete dieses Jahr die niedrigste Rate an exzellenten Arbeiten und die höchste Rate an Fehlversuchen. Dies deutete darauf hin, dass der Mittelwert die tatsächliche Verschiebung der Qualität maskierte. Die Forscher fanden heraus, dass die Arbeiten aus dem Jahr 2022 in spezifischen Bereichen, die tiefes Denken und praktische Anwendung erfordern, wie etwa dem realen Wert der Forschung und der Standardisierung der Schreibweise, schwächer waren. Im Gegensatz dazu blieben die Basisfähigkeiten, wie etwa die Fähigkeit der Studierenden, existierende Literatur zusammenzufassen oder ihre Methoden zu entwerfen, stabil. Dieses Muster deutete darauf hin, dass die Studierenden zwar immer noch gut in den Grundlagen waren, ihre Fähigkeit, hochgradig innovative Arbeit zu leisten, jedoch in diesem speziellen Jahr gesunken war.

Die Studie zeigte auch, dass die Identität des Studierenden wichtiger war als die des Lehrers. Die Forscher verglichen Vollzeitstudierende, die sich ganz auf ihr Studium konzentrieren, mit jenen im Äquivalenzpfad, die oft Teilzeit arbeitende Ärzte sind. Die Vollzeitstudierenden produzierten konsistent qualitativ hochwertigere Arbeiten, mit einer wesentlich höheren Rate an exzellenten Arbeiten und einer niedrigeren Rate an Fehlversuchen. Die Teilzeitstudierenden hatten mehr Schwierigkeiten, was wahrscheinlich auf den Konflikt zwischen ihrem Beruf und ihrer Forschung zurückzuführen ist. Überraschenderweise änderte der akademische Rang des Betreuers das Ergebnis nicht. Ob ein Student von einem erfahrenen Professor oder einem außerordentlichen Professor geleitet wurde, machte keinen statistischen Unterschied für die Endnote. Ebenso hatte der Hintergrund des anonymen Gutachters, etwa ob dieser von einer erstklassigen Universität stammte oder den Titel eines Promotionsbetreuers innehatte, keinen Einfluss auf die Bewertungen. Dies bestätigte, dass das Doppelblindsystem wie beabsichtigt funktionierte, indem es die Arbeit nach ihren eigenen Verdiensten bewertete und nicht nach dem Ruf der beteiligten Personen.

Auch die medizinische Fachrichtung des Studierenden erwies sich als irrelevant für die endgültige Qualität. Ob eine Thesis über Chirurgie, Innere Medizin oder Anästhesie handelte, die Verteilung der Noten war statistisch gesehen identisch. Es gab keinen Hinweis darauf, dass ein medizinisches Feld bessere oder schlechtere Arbeiten produzierte als ein anderes. Stattdessen änderte sich der Fokus der Gutachter selbst im Laufe der Zeit. Im Jahr 2021 waren die häufigsten Beschwerden in den Bewertungskommentaren formale Themen wie den Schreibstil und die Zitierweise. Bis 2023 sprachen die Gutachter viel mehr über die Substanz der Forschung. Wörter wie „Innovation“, „klinischer Wert“ und „Forschungseinschränkungen“ tauchten mit zunehmender Häufigkeit auf. Diese Verschiebung zeigte, dass die akademische Gemeinschaft ihre Erwartungen erhöhte, sich weg vom bloßen Abhaken korrekter Formatierung hin zu der Forderung nach Forschung zu bewegen, die tatsächlich etwas Neues und Nützliches für das Fachgebiet beiträgt.

Die Forscher kamen zu dem Schluss, dass die Stabilität der Durchschnittswerte irreführend war. Der Qualitätsabfall während des Jahres 2022 war wahrscheinlich auf den globalen Gesundheitsnotstand zurückzuführen, der sowohl den Lehrern als auch den Studierenden die verfügbare Zeit einschränkte. Klinische Betreuer waren mit der Patientenversorgung überfordert, und die Studierenden hatten weniger Zeit, die sie ihrer Forschung hätten widmen können, was zu einem Rückgang der komplexeren Aspekte der Thesis führte. Um dies zu beheben, schlagen die Autoren vor, dass Schulen aufhören sollten, sich allein auf Durchschnittswerte zu verlassen, um Qualität zu beurteilen. Stattdessen sollten sie die Streuung der Noten genau beobachten und nach Spitzen bei den Fehlversuchen oder Abfällen bei der Exzellenz als Frühwarnsignal suchen. Sie empfehlen auch, dass Schulen strengere Regeln darüber durchsetzen, wie viel Zeit Betreuer mit ihren Studierenden verbringen müssen, um sicherzustellen, dass die Anleitung konsistent und substanziell ist. Schließlich muss auch der Bewertungsprozess selbst sorgfältiger verwaltet werden, um sicherzustellen, dass die Gutachter detailliertes, konstruktives Feedback geben, anstatt nur oberflächliche Kommentare zu hinterlassen. Der Weg zu einer besseren medizinischen Ausbildung liegt darin, diesen Details Aufmerksamkeit zu schenken und den Fokus von bloßer Compliance hin zu echtem wissenschaftlichem Beitrag zu verschieben.