Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration
Deze pilotstudie toont aan dat drie gevestigde methoden voor standaardbepaling (Angoff, Bookmark en Construct Mapping) op haalbare en betrouwbare wijze kunnen worden aangepast aan longitudinale werkplekgerichte beoordelingsgegevens om een verdedigbare standaard voor het afstuderen in de algemene chirurgie te definiëren, waarbij een voorgestelde snijscore van 582 wordt ondersteund door de convergentie van resultaten en kwalitatieve inzichten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef-kok bent die moet beslissen wanneer een culinaire student klaar is om de keuken te verlaten en een eigen restaurant te openen. In het verleden heb je misschien gewoon naar één specifiek gerecht gekeken (zoals een soufflé) en besloten: "Ja, zij kunnen dit aan." Maar tegenwoordig bewegen medische opleidingen naar een systeem waarbij ze studenten veel verschillende gerechten laten koken over meerdere jaren, waarbij een enorme hoeveelheid data verzamelt over hoe ze presteren in de echte keuken (de operatiekamer).
Het probleem? Niemand wist al die langdurige data om te zetten in één duidelijke "Voldoende" of "Onvoldoende"-lijn.
Dit artikel is als een pilotstudie waarbij een groep van 10 expert-chefs (chirurgisch opleiders) probeerde uit te vogelen hoe ze die lijn konden trekken met behulp van drie verschillende meetinstrumenten. Dit is wat ze deden en wat ze ontdekten, eenvoudig uitgelegd:
Het Doel: De "Afstudeerlijn" Vinden
De onderzoekers wilden een specifieke score vinden die zegt: "Deze student is klaar om zelfstandig te praktiseren." Ze gebruikten een digitaal hulpmiddel genaamd SIMPL, dat studenten een score geeft tussen 372 en 628 op basis van hun prestaties in de chirurgie. Het doel was om het exacte getal op die schaal te vinden waar een student "praktijkklaar" wordt.
De Drie Meetinstrumenten
De experts probeerden drie verschillende manieren om deze lijn vast te stellen, vergelijkbaar met hoe je de prijs van een huis zou proberen te raden met verschillende methoden:
De "Angoff"-methode (De Mentale Gok):
- Hoe het werkt: De experts werden gevraagd om een "net voldoende" student voor te stellen. Vervolgens moesten ze voor elke individuele operatie op een lijst raden: "Wat zijn de kansen dat deze net voldoende student deze operatie goed kan uitvoeren?"
- De Analogie: Het is alsof je een groep juryleden vraagt om een hardloper voor te stellen die net snel genoeg is om deel te nemen aan de Olympische Spelen, en dan te raden hoeveel horden die hardloper kan verslaan.
- Het Resultaat: Het was erg moeilijk voor de experts. Ze vonden het te ingewikkeld en hun hersenen raakten vermoeid door te proberen deze "net voldoende" student voor elke afzonderlijke operatie voor te stellen.
De "Bookmark"-methode (De Ladder):
- Hoe het werkt: Ze namen een lijst met operaties en rangschikten deze van "makkelijkst" naar "moeilijkst" op basis van data. De experts werden vervolgens gevraagd om een "bladwijzer" (bookmark) te plaatsen op de lijst waar een student zou beginnen te falen.
- De Analogie: Stel je een ladder voor waarbij de sporten operaties zijn. De experts moesten zeggen: "Oké, een student kan deze sporten beklimmen, maar als ze hoger gaan dan dit, zullen ze vallen."
- Het Resultaat: De experts waren het niet eens over de volgorde van de sporten. Sommige operaties leken niet in de door de computer voorgestelde volgorde te passen, wat hen onzeker maakte over hun antwoord.
De "Construct Mapping"-methode (De Hittekaart):
- Hoe het werkt: Dit was de favoriet. De experts keken naar een kleurrijke "hittekaart" (een grafiek met kleuren die waarschijnlijkheden weergeven). Deze kaart liet hen precies zien hoe groot de kans was dat een student met een bepaalde score specifieke operaties zou volbrengen. Ze konden het hele plaatje in één keer zien.
- De Analogie: In plaats van te gokken of een ladder te beklimmen, is dit als het kijken naar een weerkaart. Je kunt de stormwolken (moeilijke operaties) en de zonnige plekken (gemakkelijke operaties) in één oogopslag zien en zeggen: "Oké, als de temperatuur (score) hier is, is de student veilig om naar buiten te gaan."
- Het Resultaat: De experts waren er dol op. Het was snel, het maakte gebruik van echte data en het hielp hen om een enkele score toe te passen op veel verschillende operaties.
De Grote Ontdekking
Toen de experts klaar waren, vergeleken ze de "Slaaglijnen" die ze met de drie verschillende instrumenten hadden getrokken.
- Angoff suggereerde een lijn rond de 577.
- Bookmark suggereerde een lijn rond de 588.
- Construct Mapping suggereerde een lijn rond de 582.
De Verrassing: Hoewel de instrumenten totaal verschillend waren, waren de lijnen die ze trokken bijna hetzelfde. Statistisch gezien was er geen echt verschil tussen hen. Dit gaf de onderzoekers het vertrouwen dat 582 een solide, eerlijk getal is om als startpunt voor afstuderen te gebruiken.
Wat de Experts Zeiden (De "Menselijke" Kant)
Hoewel de cijfers dicht bij elkaar lagen, hadden de experts ook gedachten over het proces:
- Definiëren van "Klaar": Het was voor hen moeilijk om het eens te worden over wat een "minimaal competente" student precies inhoudt. Bedoelen ze iemand die net goed genoeg is om af te studeren, of iemand die morgen een chirurg kan zijn? Ze worstelden ermee om niet te blijven denken aan "perfecte" chirurgen, maar te focussen op "goed genoeg" chirurgen.
- Complexiteit: Ze vonden het moeilijk om rekening te houden met de moeilijkheidsgraad van een specifieke operatie. Ze kwamen overeen om de standaard te bepalen voor "eenvoudige" gevallen, niet voor de meest complexe.
- De Winnaar: Ze gaven de voorkeur aan de Hittekaart (Construct Mapping) omdat deze het meest efficiënt was en hen hielp de standaard over veel verschillende operaties tegelijk te visualiseren.
De Kern van het Verhaal
Deze studie bewijst dat je een berg aan langdurige prestatiedata kunt omzetten in een duidelijke, eerlijke afstudeerstandaard. Ze ontdekten dat drie verschillende manieren van meten tot hetzelfde resultaat leiden, wat het resultaat betrouwbaar maakt.
Ze stellen een score van 582 voor als de nieuwe standaard. Als een student deze score bereikt, suggereren de data dat deze een kans van 88–90% heeft om een laparoscopische appendectomie uit te voeren, een kans van 83–85% voor een galblaasverwijdering en een kans van 76–80% voor een colonoperatie.
Kortom: Ze hebben een betrouwbare manier gevonden om te meten wanneer een chirurgische student klaar is om solo te vliegen, en ze ontdekten dat het kijken naar het "grote plaatje" (de hittekaart) de beste manier is om dit te doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.