Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration
Diese Pilotstudie zeigt, dass drei etablierte Methoden zur Festlegung von Standards (Angoff, Bookmark und Construct Mapping) praktikabel und zuverlässig auf longitudinale, am Arbeitsplatz basierende Bewertungsdaten angepasst werden können, um einen vertretbaren Standard für den Abschluss der Chirurgie zu definieren, wobei ein vorgeschlagener Grenzwert von 582 durch die Konvergenz der Ergebnisse und qualitative Erkenntnisse gestützt wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Küchenchef und müssen entscheiden, wann ein Kochstudent bereit ist, die Küche zu verlassen und sein eigenes Restaurant zu eröffnen. In der Vergangenheit hätten Sie den Studenten vielleicht einfach nur ein bestimmtes Gericht kochen lassen (wie ein Soufflé) und entschieden: „Ja, das kann er/sie bewältigen.“ Aber heute bewegen sich die medizinischen Fakultäten auf ein System zu, bei dem sie beobachten, wie Studenten über mehrere Jahre hinweg viele verschiedene Gerichte in einer echten Küche (dem Operationssaal) zubereiten.
Das Problem? Niemand wusste, wie man all diese langfristigen Daten in eine einzige, klare „Bestanden oder Nicht bestanden“-Linie umwandelt.
Dieses Paper ist wie ein Testlauf, bei dem eine Gruppe von 10 Experten (chirurgischen Lehrkräften) versucht hat, herauszufinden, wie man diese Linie unter Verwendung von drei verschiedenen Messwerkzeugen zieht. Hier ist, was sie getan haben und was sie herausgefunden haben, einfach erklärt:
Das Ziel: Die „Abschlusslinie“ zu finden
Die Forscher wollten einen spezifischen Wert finden, der besagt: „Dieser Student ist bereit, eigenständig zu praktizieren.“ Sie verwendeten ein digitales Werkzeug namens SIMPL, das den Studenten bas beiden nach ihrer Leistung in der Chirurgie einen Wert zwischen 372 und 628 gibt. Das Ziel war es, die exakte Zahl auf dieser Skala zu finden, an der ein Student „praxisbereit“ ist.
Die drei Messwerkzeuge
Die Experten probierten drei verschiedene Wege aus, um diese Linie festzulegen, ähnlich wie man versuchen könnte, den Preis eines Hauses mit verschiedenen Methoden zu schätzen:
Die „Angoff“-Methode (Die mentale Schätzung):
- Wie sie funktioniert: Die Experten wurden gebeten, sich einen „gerade noch bestandenen“ Studenten vorzustellen. Dann mussten sie für jede einzelne Operation auf einer Liste schätzen: „Wie hoch ist die Wahrscheinlichkeit, dass dieser gerade noch ausreichend qualifizierte Student diese Operation gut durchführen kann?“
- Die Analogie: Es ist, als würde man eine Gruppe von Preisrichtern bitten, sich einen Läufer vorzustellen, der gerade so schnell genug ist, um das olympische Team zu schaffen, und dann zu schätzen, wie viele Hürden dieser Läufer überwinden könnte.
- Das Ergebnis: Es war sehr schwierig für die Experten. Sie fanden es zu kompliziert und ihr Gehirn wurde müde beim Versuch, sich diesen „gerade noch bestandenen“ Studenten für jede einzelne Operation vorzustellen.
Die „Bookmark“-Methode (Die Leiter):
- Wie sie funktioniert: Sie nahmen eine Liste von Operationen und ordneten sie basierend auf Daten von „einfachsten“ zu „schwierigsten“ Operationen. Die Experten wurden dann gebeten, ein „Lesezeichen“ auf der Liste zu setzen, an dem ein Student anfangen würde durchzufallen.
- Die Analogie: Stellen Sie sich eine Leiter vor, bei der die Sprossen Operationen sind. Die Experten mussten sagen: „Okay, ein Student kann bis zu dieser Sprosse klettern, aber wenn er höher steigt, wird er fallen.“
- Das Ergebnis: Die Experten waren sich nicht einig darüber, wie die Sprossen der Leiter angeordnet werden sollten. Einige Operationen schienen nicht in die vom Computer vorgeschlagene Reihenfolge zu passen, was sie bei ihrer Antwort unsicher machte.
Die „Construct Mapping“-Methode (Die Heatmap):
- Wie sie funktioniert: Dies war der Favorit. Die Experten betrachteten eine farbige „Heatmap“ (ein Diagramm mit Farben, die Wahrscheinlichkeiten zeigen). Diese Karte zeigte ihnen genau, wie wahrscheinlich es ist, dass ein Student mit einem bestimmten Score bestimmte Operationen erfolgreich durchführt. Sie konnten das gesamte Bild auf einmal sehen.
- Die Analogie: Anstatt zu raten oder eine Leiter zu erklimmen, ist dies wie der Blick auf eine Wetterkarte. Man sieht die Gewitterwolken (schwierige Operationen) und die sonnigen Flecken (einfache Operationen) gleichzeitig und kann sagen: „Okay, wenn die Temperatur (der Score) hier liegt, ist der Student sicher draußen.“
- Das Ergebnis: Die Experten liebten diese Methode. Sie war schnell, nutzte echte Daten und half ihnen, den Zusammenhang eines einzelnen Scores mit vielen verschiedenen Operationen zu verstehen.
Die große Entdeckung
Als die Experten fertig waren, verglichen sie die „Bestanden“-Linien, die sie mit den drei verschiedenen Werkzeugen gezogen hatten.
- Angoff schlug eine Linie um 577 vor.
- Bookmark schlug eine Linie um 588 vor.
- Construct Mapping schlug eine Linie um 582 vor.
Die Überraschung: Obwohl die Werkzeuge völlig unterschiedlich waren, waren die Linien, die sie zogen, fast identisch. Statistisch gesehen gab es keinen wirklichen Unterschied zwischen ihnen. Dies gab den Forschern die Zuversicht, dass 582 ein solider, fairer Wert als Ausgangspunkt für den Abschluss ist.
Was die Experten sagten (Die „menschliche“ Seite)
Obwohl die Zahlen nah beieinander lagen, hatten die Experten auch Anmerkungen zum Prozess:
- Definition von „Bereitschaft“: Es war schwierig für sie, sich darauf zu einigen, wie ein „minimal kompetenter“ Student aussieht. Meinen sie jemanden, der gerade so gut genug ist, um zu graduieren, oder jemanden, der bereit ist, morgen als Chirurg zu arbeiten? Sie hatten Schwierigkeiten, aufzuhören, an „perfekte“ Chirurgen zu denken, und sich statzuktden Fokus auf „ausreichend gute“ Chirurgen zu legen.
- Komplexität: Sie fanden es schwierig, die Schwierigkeit einer spezifischen Operation zu berücksichtigen. Sie einigten sich darauf, den Standard für „standardmäßige“ Fälle festzulegen, nicht für die schwierigsten Fälle.
- Der Gewinner: Sie bevorzugten die Heatmap (Construct Mapping), weil sie am effizientesten war und ihnen half, den Standard über viele Operationen hinweg zu visualisieren.
Das Fazit
Diese Studie beweist, dass man aus einem Berg von langfristigen Leistungsdaten einen klaren, fairen Abschlussstandard ableiten kann. Sie fanden heraus, dass drei verschiedene Wege der Messung zum gleichen Ergebnis führen, was das Ergebnis vertrauenswürdig macht.
Sie schlagen einen Score von 582 als neuen Standard vor. Wenn ein Student diesen Score erreicht, deuten die Daten darauf hin, dass er eine 88–90 %ige Chance hat, eine laparoskopische Appendektomie durchzuführen, eine 83–85 %ige Chance für eine Gallenblasenentfernung und eine 76–80 %ige Chance für eine Darmoperation.
Kurz gesagt: Sie haben einen zuverlässigen Weg gefunden, um zu messen, wann ein chirurgischer Student bereit ist, alleine loszufliegen, und sie haben festgestellt, dass der Blick auf das „große Ganze“ (die Heatmap) der beste Weg dafür ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.