Closing the Confidence Gap: Piloting an In-House Revision Programme to Improve UKMLA Preparedness, Confidence, and Question Comprehension

Technische Samenvatting: Het dichten van de vertrouwenskloof bij de voorbereiding op de UKMLA

Probleemstelling
De introductie van de United Kingdom Medical Licensing Assessment (UKMLA) Applied Knowledge Test (AKT) in 2024 heeft een nieuwe, cruciale nationale drempel vastgesteld voor voorlopige registratie bij de General Medical Council (GMC). In tegen tegenstelling tot eerdere systemen, waarbij individuele medische faculteiten de eindtoetsen beheerden, vereist de UKMLA dat alle afgestudeerden een gestandaardiseerd niveau van kernkennis en klinisch redeneren aantonen. Deze verschuiving vormt aanzienlijke uitdagingen voor finalisten, die jaren aan leren moeten synthetiseren naar een specifiek vraagtype (single best answer) dat is gekoppeld aan de MLA Content Map.

Er bestaat een kritieke kloof in de institutionele ondersteuning: de formele, door de universiteit geleide herhalingssessies voor de AKT zijn beperkt, waardoor studenten sterk afhankelijk zijn van commerciële vraagensets. Deze afhankelijkheid roept zorgen op over rechtvaardigheid, aangezien de kosten van commerciële middelen dispariteiten kunnen creëren tussen studenten met verschillende sociaaleconomische achtergronden. Bovendien, hoewel er bewijs is voor actieve leerstrategieën zoals retrieval practice en spaced repetition, missen studenten vaak het bewustzijn van deze principes of de begeleiding om ze effectief toe te passen op het nieuwe exameformaat.

Methodologie
Deze studie was een single-centre service evaluatie uitgevoerd bij een groot academisch ziekenhuis in het noordwesten van Engeland, waarbij 156 in aanmerking komende finalisten van de geneeskunde werden betrokken. De interventie was een door de instelling geleid herhalingsprogramma van twee sessies, ontworpen om met minimale middelen toegankelijk te zijn.

• Sessie 1 (Online): Een gestructureerde sessie van 40 minuten, geleverd via Microsoft Teams door een recente afgestudeerde die de pilot UKMLA AKT had doorstaan. De inhoud besloeg de examestructuur, vraagtypen, inhoudelijke verdeling en revisiestrategieën.
• Sessie 2 (Fysiek): Een interactieve sessie van 75 minuten, een maand later gehouden, gebruikmakend van een snel tempo met een vraaggestuurd format en gecureerde AKT-stijl multiple-choice vragen (MCQ's) en officiële oefenvragen.

Dataverzameling en Analyse:

• Instrumentatie: Voor en na Sessie 1 werden pre- en post-sessie vragenlijsten afgenomen, en na Sessie 2 werd een post-sessie vragenlijst afgenomen. De instrumenten werden specifiek voor deze evaluatie ontwikkend met behulp van een vijfpunts Likert-schaal (1 = 'helemaal niet mee eens' tot 5 = 'helemaal mee eens').
• Metrieken: Voor Sessie 1 werden vier domeinen beoordeeld: (1) zelfgerapporteerde voorbereiding, (2) begrip van de examestructuur, (3) vertrouwen in het benaderen van AKT-stijl MCQ's, en (4) vertrouwen in de geschiktheid van de revisiemiddelen. Sessie 2 beoordeelde plezier, relevantie en interactiviteit.
• Statistische Analyse: De verdelingen van pre- en post-sessie voor Sessie 1 werden vergeleken met de Mann-Whitney U test (voor ordinale data) en de Fisher's exact test (voor gedichotomiseerde "mee eens/helemaal mee eens" responsen). Vrije tekstreacties werden descriptief geanalyseerd.

Belangrijkste Resultaten

• Resultaten Sessie 1:

  • Responspercentages: 27 pre-sessie en 18 post-sessie vragenlijsten werden ingevuld (respectievelijk 17,3% en 11,5% responspercentage).
  • Voorbereiding: Het aandeel studenten dat aangaf zich voorbereid te voelen, steeg van 7,4% naar 33,3% (+25,9 procentpunt; p = 0,045).
  • Begrip van Examestructuur: De instemming steeg van 29,6% naar 83,3% (+53,7 procentpunt; p < 0,001).
  • MCQ-Vertrouwen: De instemming nam toe van 33,3% naar 61,1% (+27,8 procentpunt; p = 0,022).
  • Vertrouwen in Middelen: De meest significante verschuiving vond hier plaats, waarbij de instemming steeg van 18,5% naar 94,4% (+75,9 procentpunt; p < 0,001). Onzekerheid over middelen daalde van 66,7% naar 5,6%.
  • Vervolgintentie: 88,9% van de respondenten was van plan de vervolgsessie bij te wonen.

• Resultaten Sessie 2:

  • Aanwezigheid: 50 studenten namen deel (32,0% van de in aanmerking komende cohort).
  • Feedback: Van de 42 respondenten was 97,6% het eens of zeer eens dat de sessie leuk, relevant voor de AKT en leuk/interactief was.
  • Kwalitatieve Feedback: Studenten waardeerden het interactieve format en de directe uitleg. Constructieve suggesties omvatten het vervangen van handopsteken door digitale polling-tools om inclusieve participatie te waarborgen en het vertragen van het tempo om studenten met leerverschillen (bijv. dyslexie) tegemoet te komen.

Belangrijkste Bijdragen

1. Institutioneel Interventiemodel: Het artikel toont aan dat een korte, met minimale middelen uitgeruste, door de instelling geleide reeks herhalingssessies meetbare verbeteringen in zelfgerapporteerde studentresultaten kan opleveren.
2. Vertrouwen in Middelen: De studie benadrukt dat onzekerheid over revisiemiddelen een grote bron van angst bij studenten is. Een gestructureerd programma dat evidence-based middelen aanwijst, kan deze disproportioneel grote stressfactor aanpakken.
3. Kennis van het Testformaat: De resultaten suggereren dat begrip van de examestructuur een afzonderlijk, veranderbaar domein is dat aanzienlijk kan worden verbeterd door middel van één enkele educatieve sessie, los van de beheersing van klinische kennis.
4. Implicaties voor Gelijkheid: Door gratis, gestructureerde begeleiding te bieden, kunnen instellingen potentieel de afhankelijkheid van kostbare commerciële vraagensets verminderen, waardoor zij mogelijke barrières voor een evenwichtige prestatie aanpakken.

Significantie en Claims
De auteurs positioneren dit werk als een pilot-evaluatie in plaats van een definitief bewijs van effectiviteit. Het artikel stelt dat:

• Een gestructureerde, door recente afgestudeerden geleide interventie de zelfgerapporteerde voorbereiding, het begrip van de examestructuur en het vertrouwen in middelen kan verbeteren.
• De bevindingen aanleiding geven tot een multi-centre evaluatie om te bepalen of deze zelfgerapporteerde verschuivingen vertalen naar werkelijke prestatieverbeteringen (Niveau 4 van de Kirkpatrick-hiërarchie).
• Het model een duurzaam mechanisme voor peer-support biedt dat in het curriculum van het laatste jaar kan worden opgenomen om de informatiekloof die de overgang naar de UKMLA heeft achtergelaten, te adresseren.

De auteurs merken expliciet de beperkingen op, waaronder kleine steekproeven, lage responspercentages (risico op selectiebias), het onvermogen om veranderingen op individueel niveau te volgen vanwege anonieme gegevensverzameling, en de afhankelijkheid van zelfgerapporteerd vertrouwen in plaats van werkelijke exameresultaten. Bijgevolg concludeert het artikel bescheiden, waarbij wordt gesteld dat het model veelbelovend is, maar verdere validatie vereist in grotere studies die de blootstelling aan de interventie koppelen aan de werkelijke UKMLA AKT-prestaties.