Reliability and Feasibility of a Multi-Source, Competency-Based Evaluation System for Surgical Sub-Internship Students: A Single-Institution Pilot Study
Deze single-institution pilotstudie toont aan dat een kort, multi-bron, competentiegericht evaluatiesysteem voor chirurgische sub-internen een sterke interbeoordelaarsbetrouwbaarheid en haalbaarheid bereikt met minimale belasting voor de beoordelaar, wat het potentieel ervan ondersteunt voor selectie tijdens de specialisatieopleiding met hoge inzet.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een nieuwe chef aanneemt voor een druk restaurant. Normaal gesproken zou je de hoofdchef misschien gewoon vragen: "Vond je deze persoon oké?" en een beslissing nemen op basis van die ene mening. Maar wat als de hoofdchef te druk was om de hele tijd op te letten, of wat als ze de chef alleen op een goede dag hebben gezien? Je zou een beter systeem willen hebben om te zien of de nieuwe medewerker echt klaar is om de avonddrukte aan te kunnen.
Dit artikel gaat over het testen van een nieuw "rapportcijfer"-systeem voor medische studenten die een laatste proefperiode (een zogenaamde "Sub-Internship") doorlopen voordat ze echte chirurgen worden. Het doel was om te zien of een nieuwe, gestructureerde manier van beoordelen beter werkt dan de oude, informele manier.
Hier is de uitsplitsing van wat ze hebben gedaan en gevonden, met behulp van eenvoudige analogieën:
Het Probleem: Het "Gokspelletje"
Op dit moment vertrouwen medische scholen bij het selecteren van artsen-assistenten vaak op één enkele aanbevelingsbrief van één arts. Het is alsof je een piloot aanneemt op basis van één gesprek met de locatiemanager van een vliegveld, zonder de vluchtlogs te controleren of de co-piloten te vragen. Dit kan onrechtvaardig en inconsistent zijn, en het geeft geen volledig beeld van hoe een student daadwerkelijk presteert.
De Oplossing: De "360-Graden Scorekaart"
De onderzoekers hebben een nieuw digitaal rapport ontwikkeld. In plaats van dat slechts één persoon de student beoordeelt, hebben ze drie verschillende groepen gevraagd om dit in te vullen:
- De Bazen: Behandelend chirurgen (zoals de hoofdkoks).
- De Collega's: Andere artsen-assistenten (zoals de sous-chefs die zij aan zij met de student werken).
- Het Ondersteunend Personeel: Verpleegkundigen en technici (zoals de afwassers en serveerders die zien hoe de student met het hele team omgaat).
Het rapport stelde niet alleen de vraag: "Is deze student goed?" (wat vaag is). In plaats daarvan stelde het specifieke vragen over zes kerngebieden, zoals: "Kan hij/zij met een mes omgaan?" (Technische Vaardigheden), "Kent hij/zij het recept?" (Klinische Kennis) en "Blijft hij/zij beleefd onder druk?" (Professionaliteit). Ze gebruikten een eenvoudige 1-tot-5 schaal, vergelijkbaar met het beoordelen van een film.
De Test: Een 5-Maanden Pilot
Ze hebben dit nieuwe systeem vijf maanden lang getest bij één ziekenhuis. Acht studenten doorliepen hun rotaties en het personeel vulde 24 van deze digitale formulieren in. De formulieren waren zo ontworpen dat ze snel ingevuld konden worden, net als het bestellen van een koffie via een app op je telefoon, met een tijdgebruik van ongeveer 3 minuten.
De Resultaten: Werkt het Nieuwe Systeem?
De onderzoekers wilden twee dingen weten:
- Betrouwbaarheid: Als verschillende mensen dezelfde student beoordeelden, zouden ze het dan eens zijn? (Als de één "5 sterren" geeft en een ander "1 ster", dan is het systeem kapot).
- Haalbaarheid: Was het te veel werk voor het personeel?
Dit is wat ze vonden:
- Het was snel en gemakkelijk: Het personeel voltooide de formulieren in ongeveer 3 minuten. Het vertraagde de werkzaamheden in het ziekenhuis niet.
- De "Grote Plaatje"-cijfers waren super consistent: Wanneer het ging om de belangrijkste vragen — "Is deze student klaar om chirurg te worden?" en "Hoe goed zijn de technische vaardigheden?" — waren de verschillende beoordelaars (artsen, assistenten en personeel) het bijna perfect met elkaar eens. Het is alsovergelijkbaar met het vragen aan vijf verschillende voedselcritici om een gerecht te beoordelen, en zij geven allemaal een 5-sterrenreview.
- De "Kennis"-cijfers waren oké: Wanneer het ging over het beoordelen van hoeveel de student wist over geneeskunde, waren de beoordelaars het matig goed met elkaar eens.
- De "Professionaliteit"-cijfers waren lastig: Opvallend genoeg waren de scores voor "een goed mens zijn" zo hoog voor iedereen dat het systeem er weinig verschil in kon zien. Het is als een klas waar elke leerling een "A" krijgt voor aanwezigheid; de cijfers zijn allemaal hetzelfde, waardoor de wiskunde vreemd oogt, maar het betekent gewoon dat iedereen op tijd was! Het systeem werkte nog steeds omdat het een speciale "red flag"-sectie had voor serieuze problemen.
- Geen Bias: Het maakte niet uit of een baas of een collega het formulier invulde; ze gaven vergelijkbare scores. Dit betekent dat het systeem eerlijk is, ongeacht wie de beoordeling uitvoert.
- Het ving de problemen op: Het systeem slaagde erin om studenten die moeite hadden te signaleren. Ongeveer 17% van de evaluaties bevatte een opmerking over een "zorgpunt" (concern), en het systeem zorgde ervoor dat deze duidelijk werden opgeschreven, zodat de selectiecommissie precies kon zien wat er misging.
De Kern van het Verhaal
De onderzoekers concludeerden dat dit nieuwe, door meerdere personen ingevulde rapport een solide, betrouwbaar instrument is. Het geeft een duidelijk, consistent beeld van of een student klaar is voor de baan, zonder dat dit te veel tijd kost van het drukke medische personeel.
Ze merkten op dat dit slechts een kleine test (een "pilot") was met een kleine groep studenten. Om het perfect te maken, zeggen ze dat ze het in meer ziekenhuizen en met meer studenten moeten proberen om de cijfers te verfijnen. Maar voor nu bewijst het dat een gestructureerde, op teamwork gebaseerde manier van beoordelen mogelijk is en goed werkt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.