Technische Samenvatting: Prospectieve Implementatie van Multimodale AI-beoordeling voor OSCE's van Medische Studenten

Probleemstelling

De Objective Structured Clinical Examination (OSCE) is de gouden standaard voor het beoordelen van klinische competentie in het medisch onderwijs, waarbij geschiedenisverzameling, lichamelijk onderzoek, communicatie en redeneren worden geëvalueerd. De traditionele uitvoering van OSCE's is echter zeer arbeidsintensief en vereist getrainde beoordelaars, handmatige rubric-score en aanzienlijke menselijke tijd. Bij de instelling van de auteurs (UT Southwestern) vereiste de handmatige beoordeling van documentatie na de ontmoeting alleen al ongeveer 1.120 uur en $56.000 per jaar. Deze beperkingen beperken de frequentie van beoordelingen, vertragen de feedback aan lerenden (vaak met maanden) en belemmeren de uitbreiding van formatieve beoordeling. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij het beoordelen van schriftelijke reacties, vereist een uitgebreide OSCE-beoordeling het gelijktijdig evalueren van tekst, audio en video. Bestaande off-the-shelf multimodale modellen hebben beperkingen getoond in genuanceerde klinische beoordeling, en bewijs uit grootschalige, prospectieve educatieve implementaties blijft schaars.

Methodologie

De auteurs rapporteren de eerste prospectieve implementatie van MAPLES (Multimodal Assessment Pipeline for Learning Encounter Scoring), een rubric-gestuurd, zero-shot AI-systeem, tijdens de Fall 2025 OSCE-administratie bij het UT Southwestern Medical Center.

Systeemarchitectuur en Workflow

• Data-inname: Het systeem nam drie gesynchroniseerde datastromen op van 222 tweedejaars medische studenten over vijf stations: klinische aantekeningen (geschreven), audio van de ontmoeting en gesynchroniseerde drie-camera video (patiëntgericht, artsgericht en bovenaanzicht).
• Beoordelingslogica: MAPLES maakte gebruik van een zero-shot benadering. Door de auteurs opgestelde rubrics (gestructureerde Excel-bestanden) werden geüpload, waarna het systeem dynamisch prompts voor elk item construeerde. Er werd geen taakspecifieke fine-tuning of few-shot voorbeelden verstrekt.
  • Tekst: Aantekeningen werden verwerkt als platte tekst.
  • Audio: Audio werd direct verwerkt zonder tussenliggende transcriptie om de verbale inhoud, toon en rapport te evalueren.
  • Video: Een geautomatiseerde preprocessingsstap (met behulp van zero-shot segmentatie) isoleerde segmenten van het lichamelijk onderzoek voordat de beoordeling plaatsvond.
• Modelconfiguratie: Het systeem maakte gebruik van Gemini 2.5 Pro (Google DeepMind) voor inferentie met temperatuur 0 en top-p 1, waarbij gestructureerde output-beperkingen werden gebruikt om te waarborgen dat scores de rubric-schema's volgden. Gemini 2.5 Flash werd gebruikt voor de video-segmentatie.
• Human-in-the-loop Workflow:
  1. Eerste pass AI-score: De AI beoordeelde alle 72.907 behouden item-niveau scores.
  2. Routing: Leerlingen die in de onderste 5% vielen (notities) of de onderste 10% (audio/video) vielen, werden gerouteerd voor onafhankelijke menselijke beoordeling.
  3. Blinde SPE-beoordeling: Standardized Patient Evaluators (SPE's) beoordeelden de gerouteerde items onafhankelijk opnieuw, geblindeerd voor de AI-scores.
  4. Adjudicatie: Items waarbij de AI- en SPE-scores meer dan een vooraf bepaalde tolerantie verschilden (exacte match voor binair; $\le$1 categorie verschil voor ordinaal) werden geëscaleerd naar artsen voor definitieve adjudicatie. Artsen beoordeelden zowel de scores als het bronbewijs.

Studieontwerp

• Cohort: 222 studenten, 10 stationformulieren, 330–333 beoordelingsitems per student.
• Reviewset: 28 unieke leerlingen werden gerouteerd voor review (12 voor notities, 23 voor audio/video, 7 voor beide).
• Adjudicatieset: 616 echte onenigheden (exclusief data-/rubricfouten) werden door artsen beoordeeld.
• Governance: Een multidisciplinaire toezichtcommissie hield toezicht op de modelselectie, drempelwaarden en deployment-cycli, wat zorgde voor iteratieve verfijning.

Belangrijkste Resultaten

Overeenstemming en Adjudicatie

• AI–SPE Overeenstemming: In de gerouteerde low-scoring reviewset was de tolerante overeenstemming (waarbij één categorie verschil werd toegestaan voor ordinale items) hoog: 85,7% voor notities, 89,2% voor audio en 92,4% voor video. De exacte overeenstemming was lager (72,0% totaal), gedreven door de complexiteit van audio/video-beoordeling.
• Artsen-adjudicatie: Onder de 616 geëscaleerde onenigheden stemden artsen in 76,0% van de gevallen overeen met de AI-score, de SPE-score in 19,0% van de gevallen, en in 5,0% van de gevallen met geen van beiden. Deze voorkeur voor AI hield stand voor alle modaliteiten, maar was het hoogst voor notities (81,6%) en het laagst voor video (51,5%).
• Richting van Onenigheid: Artsen waren eerder geneigd de kant van de AI te kiezen, of de AI nu hoger of lager scoorde dan de SPE, wat suggereert dat de AI de scores niet simpelweg oppompt.

Foutanalyse

• SPE-fouten: De belangrijkste factoren voor SPE-fouten waren "Bewijsover het hoofd zien" (35,1%) en "Klinische kennis" (24,4%), waarbij ze vaak faalden om semantische equivalentie in terminologie te herkennen.
• AI-fouten: De belangrijkste factoren voor AI-fouten waren "Te permissieve scoring" (37,8%) en "Verkeerde documentatieplaatsing" (25,2%), waarbij de AI correcte antwoorden in het verkeerde deel van de notitie krediteerde. Een klein deel (9,4%) betrof "Gefabriceerd bewijs" (hallucinaties).
• Kwaliteit van de Rubric: "Gebrek aan specificiteit in rubrics" was een frequente bijdrage aan fouten voor zowel mensen als AI, wat het belang van nauwkeurig rubric-ontwerp benadrukt.

Operationele Efficiëntie

• Werkbelastingvermindering: De AI-ondersteunde workflow vereiste 5.616 menselijke beoordelingspasses vergeleken met 72.907 in een contrafeitelijke single-pass handmatige workflow. Dit vertegenwoordigt een reductie van 92,3% in menselijke beoordelingseffort.
• Doorlooptijd: De tijd van examen tot de rapportage van cijfers werd verkort van enkele maanden naar minder dan twee weken.
• Kosten: De marginale inferentiekosten werden geschat op $1,73 per ontmoeting ($0,12 notities, $0,28 audio, $1,31 video), exclusief vaste ontwikkelingskosten.

Betekenis en Claims

Het artikel beweert de eerste prospectieve deployment te presenteren van een geïntegreerd multimodaal AI-systeem voor de beoordeling van OSCE's in het medisch onderwijs. De auteurs benadrukken dat de primaire bijdrage niet het verwijderen van menselijk oordeel is, maar de herallocatie van menselijke inspanning.

• Operationele Haalbaarheid: De studie toont aan dat multimodale AI kan worden ingebed in routinematige OSCE-operaties, waarbij de eerste pass-scoring voor de gehele cohort wordt afgehandeld, terwijl menselijke review wordt geconcentreerd op de "low-scoring tail" waar remediëring het meest cruciaal is.
• Expert Alignment: De bevinding dat artsen bij geëscaleerde onenigheden de voorkeur gaven aan AI-scores boven SPE-scores, suggereert dat het AI-systeem beoordelingsnuances oppikt die nauw aansluiten bij het klinische oordeel van experts, en mogelijk de consistentie van traditionele SPE-evaluaties overtreft.
• Systemische Verbetering: De deployment legde systemische problemen bloot, waaronder de betrouwbaarheid van menselijke beoordelaars, de kwaliteit van rubrics en procesinefficiënties. De auteurs stellen dat AI docenten de vrijheid geeft om zich te concentreren op "welke vaardigheden te evalueren" (rubric en casusontwerp) in plaats van "hoe te beoordelen".
• Schaalbaarheid: Het zero-shot, rubric-gestuurde ontwerp maakt het mogelijk om beoordelingsvaardigheden over te dragen naar nieuwe stations of rubric-wijzigingen zonder de modellen te hertrainen, wat de uitbreiding van de frequentie en scope van beoordelingen ondersteunt.

De auteurs hanteren een bescheiden toon met betrekking tot de generaliseerbaarheid en merken op dat de resultaten specifiek zijn voor de infrastructuur en rubrics van één instelling. Ze erkennen beperkingen, waaronder het gebrek aan geblindeerde adjudicatie voor de volledige cohort, de concentratie van analyse in de low-scoring tail, en de noodzaak voor verdere validatie met betrekking tot demografische eerlijkheid en hallucinatiepercentages. Het werk wordt gepresenteerd als een fundamentele stap richting door docenten beheerde, AI-geaugmenteerde beoordelingssystemen.