Reliability and Feasibility of a Multi-Source, Competency-Based Evaluation System for Surgical Sub-Internship Students: A Single-Institution Pilot Study
Diese einzentrenbasierte Pilotstudie zeigt, dass ein kurzes, mehrquellenbasiertes, kompetenzorientiertes Bewertungssystem für chirurgische Sub-Interns eine starke Interrater-Reliabilität und Durchführbarkeit bei minimaler Belastung der Evaluatoren erreicht, was dessen Potenzial für die hochkarätige Auswahl von Assistenzärzten unterstützt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Koch für ein geschäftiges Restaurant ein. Normalerweise würden Sie vielleicht einfach den Küchenchef fragen: „Schien diese Person in Ordnung zu sein?“ und eine Entscheidung basierend auf dieser einen Meinung treffen. Aber was wäre, wenn der Küchenchef zu beschäftigt war, um die ganze Zeit zuzusehen, oder was, wenn er den Koch nur an einem guten Tag gesehen hat? Sie würden ein besseres System wollen, um zu sehen, ob der Neue wirklich bereit ist, das Abendgeschäft zu meistern.
In dieser Arbeit geht es um die Erprobung eines neuen „Zeugnis“-Systems für Medizinstudenten, die ein abschließendes Training (ein sogenanntes „Sub-Internship“) absolvieren, bevor sie echte Chirurgen werden. Das Ziel war es zu sehen, ob eine neue, strukturierte Art der Bewertung besser funktioniert als die alte, informelle Art.
Hier ist die Aufschlüsselung dessen, was sie getan und herausgefunden haben, unter Verwendung einfacher Analogien:
Das Problem: Das „Ratespiel“
Derzeit verlassen sich medizinische Fakultigkeiten, wenn sie Assistenzärzte auswählen, oft auf ein einziges Empfehlungsschreiben eines einzelnen Arztes. Das ist so, als würde man einen Piloten basierend auf einem einzigen Gespräch mit dem Flughafenmanager einstellen, ohne die Flugprotokolle zu prüfen oder die Co-Piloten zu fragen. Dies kann unfair, inkonsistent sein und vermittelt kein vollständiges Bild davon, wie ein Student tatsächlich performt.
Die Lösung: Das „360-Grad-Scorecard“
Die Forscher entwickelten ein neues digitales Zeugnis. Anstatt dass nur eine Person den Studenten bewertet, baten sie drei verschiedene Gruppen, dies auszufüllen:
- Die Chefs: Oberärzte/Chirurgen (wie die Küchenchefs).
- Die Kollegen: Andere Assistenzärzte (wie die Sous-Chefs, die Seite an Seite mit dem Studenten arbeiten).
- Das Unterstützungspersonal: Pflegekräfte und Techniker (wie die Spüler und Kellner, die sehen, wie der Student mit dem gesamten Team umgeht).
Das Zeugnis fragte nicht nur: „Ist dieser Student gut?“ (was vage ist). Stattdessen stellte es spezifische Fragen zu sechs Kernbereichen, wie zum Beispiel: „Kann er ein Messer führen?“ (Technische Fähigkeiten), „Kennt er das Rezept?“ (Klinisches Wissen) und „Ist er unter Druck höflich?“ (Professionalität). Sie verwendeten eine einfache 1- bis 5-Skala, ähnlich wie bei einer Filmbewertung.
Der Test: Ein 5-monatiger Pilotversuch
Sie testeten dieses neue System fünf Monate lang in einem Krankenhaus. Acht Studenten durchliefen ihre Rotationen und das Personal füllte 24 dieser digitalen Formulare aus. Die Formulare waren so konzipiert, dass sie schnell ausgefüllt werden konnten, ähnlich wie das Bestellen eines Kaffees über eine Handy-App, und nahmen nur etwa 3 Minuten Zeit in Anspruch.
Die Ergebnisse: Funktioniert das neue System?
Die Forscher wollten zwei Dinge wissen:
- Zuverlässigkeit: Wenn verschiedene Personen denselben Studenten bewerteten, würden sie übereinstimmen? (Wenn eine Person „5 Sterne“ sagt und eine andere „1 Stern“, ist das System kaputt).
- Machbarkeit: War es zu viel Arbeit für das Personal?
Hier ist das, was sie fanden:
- Es war schnell und einfach: Das Personal schloss die Formulare in etwa 3 Minuten ab. Es hat den Krankenhausbetrieb nicht verlangsamt.
- Die „Gesamtbild“-Noten waren super konsistent: Wenn es um die wichtigsten Fragen ging – „Ist dieser Student bereit, ein Chirurg zu sein?“ und „Wie gut sind seine technischen Fähigkeiten?“ – stimmten die verschiedenen Bewerter (Ärzte, Assistenzärzte und Personal) fast perfekt überein. Es ist, als würde man fünf verschiedene Food-Kritiker nach einem Gericht fragen und alle geben ihm eine 5-Sterne-Bewertung.
- Die „Wissens“-Noten waren okay: Wenn es darum ging, wie viel ein Student über Medizin wusste, stimmten die Bewerter mäßig gut überein.
- Die „Professionalitäts“-Noten waren knifflig: Interessanterweise waren die Bewertungen für „ein guter Mensch zu sein“ für alle Beteiligten so hoch, dass das System kaum Unterschiede feststellen konnte. Es ist wie in einer Klasse, in der jeder Schüler eine „A“ für Anwesenheit bekommt; die Noten sind alle gleich, also sieht die Mathematik seltsam aus, aber es bedeutet nur, dass alle pünktlich waren! Das System funktionierte dennoch, da es einen speziellen „Red Flag“-Abschnitt für ernsthafte Probleme hatte.
- Keine Voreingenommenheit: Es spielte keine Rolle, ob ein Chef oder ein Kollege das Formular ausfüllte; sie gaben ähnliche Bewertungen ab. Das bedeutet, dass das System fair ist, unabhängig davon, wer die Bewertung vornimmt.
- Es erkannte die Probleme: Das System konnte Studenten, die Schwierigkeiten hatten, erfolgreich identifizieren. Etwa 17 % der Bewertungen enthielten eine „Bedenken“-Notiz, und das System stellte sicher, dass diese Probleme klar dokumentiert wurden, damit das Auswahlkomitee genau sehen konnte, was schiefgelaufen war.
Das Fazit
Die Forscher kamen zu dem Schluss, dass dieses neue, von mehreren Personen gestaltete Zeugnis ein solides, zuverlässiges Instrument ist. Es liefert ein klares, konsistentes Bild davon, ob ein Student bereit für den Job ist, ohne dabei viel Zeit des geschäftigen medizinischen Personals in Anspruch zu nehmen.
Sie merkten an, dass dies nur ein kleiner Test (ein „Pilot“) mit einer kleinen Gruppe von Studenten war. Um es perfekt zu machen, sagen sie, dass sie es in mehr Krankenhäusern und mit mehr Studenten testen müssen, um die Zahlen zu verfeinern. Aber für den Moment beweist es, dass eine strukturierte, teambasierte Art der Bewertung möglich ist und gut funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.