Technische Samenvatting: AI-ondersteunde competentiebeoordeling vanuit egocentrische video in simulatiegebaseerd verpleegkundig onderwijs

1. Probleemstelling

Competentiebeoordeling in klinische simulatie, met name in verpleegkundig onderwijs, is traditioneel afhankelijk van expertobservatie door mensen. Deze aanpak is tijdsintensief, moeilijk te schalen voor groeiende cohorten en onderhevig aan variabiliteit tussen beoordelaars. Hoewel video een rijke registratie biedt van de prestaties van de leerling, gaan bestaande geautomatiseerde benaderingen vaak uit van data-rijke omgevingen met vaste camera's (bijvoorbeeld laparoscopische chirurgie) en richten ze zich op geïsoleerde technische vaardigheden in plaats van holistische competentie.

Dit onderzoek adresseert de uitdaging om holistische verpleegkundige competentie te beoordelen aan de hand van egocentrische (eerste-persoons) video uit simulatiegebaseerd leren. Het specifieke domein is toediening van medicatie aan kinderen, waarbij competentie inherent sequentieel is; fouten kunnen ontstaan door correcte handelingen die in de verkeerde volgorde worden uitgevoerd of waarbij veiligheidsstappen worden weggelaten. Het onderzoek onderzoekt of visueel bewijs alleen, geanalyseerd via bevroren visuele encoders en few-shot learning, competentiebeoordeling kan ondersteunen, en of de moeilijkheidsgraad van het herkennen van deze handelingen pedagogische signalen bevat.

2. Methodologie

De auteurs stellen een drie-fasenkader voor dat is toegepast op 22 dicht beoordeelde egocentrische videosessies (totaal 3,8 uur en 493 klinische actie-segmenten) van verpleegkundestudenten die gestandaardiseerde simulaties uitvoerden op hoog-fideliteit mannequins.

Fase 1: Few-Shot Actierecognitie

• Input: Egocentrische videoframes ($V_i$) en een supportset ($S$) van gelabelde voorbeelden uit andere sessies (leave-one-out cross-sample instelling).
• Feature-extractie: Een bevroren backbone-encoder ($\phi$) extrahert per-frame features. Drie backbones werden geëvalueerd: ResNet-50 (ImageNet-supervised), DINOv2 ViT-B/14 (ImageNet self-supervised) en CLIP ViT-B/16. Er werd geen fine-tuning uitgevoerd.
• Prototype-berekening: Class-prototypes worden berekend uit de supportsessies met behulp van een prototypical network-paradigma. Het onderzoek vergelijkt een mean prototype-strategie (gemiddelde van genormaliseerde centroiden) met een geclusterde prototype-strategie (k-means sub-centroiden).
• Temporale smoothing: Continue cosine-ähnelijkheidscores tussen query-frames en prototypes worden doorgegeven aan een Hidden Markov Model (HMM) met Viterbi-decoding. Dit dwingt temporale coherentie af in labelsequenties door overgangskansen te leren uit de supportset, in plaats van frames onafhankelijk te classificeren.
• Output: Een voorspelde actietijdlijn ($\hat{y}_i$) voor 16 klinische actieklassen plus een achtergrondklasse.

Fase 2: Sequentie-analyse

• Sequentie-construktie: Voorspelde frame-niveau labels worden samengevoegd tot geordende actie-segmenten (run-length encoding), waarbij achtergrond en korte segmenten worden verwijderd.
• Feature-afleiding:
  1. Actie-overgangsfrequenties: Paarsgewijze stroming tussen klinische acties om procesmodellen te construeren.
  2. Herkenningsmetrieken: Per-video metrieken (Mean-over-Frames-accuraatheid [MOF], mean Intersection-over-Union [mIoU] en Segmental F1) worden behouden als samenvattende maatstaven voor de fit van de classifier.

Fase 3: Competentie-analyse

• Correlatie: Gezien de kleine steekproefgrootte ($N=22$), wordt Spearman rangcorrelatie gebruikt om sequentie-features en herkenningsmetrieken te koppelen aan door instructeurs beoordeelde competentiescores (afgeleid van de Creighton Competency Evaluation Instrument [C-CEI] rubriek, specifiek 11 via video observeerbare items).
• Robuustheid: Partiële associaties worden berekend onder controle van zes potentiële confounders (annotatie-coverage, videoduur, segmentaantal, etc.).
• Procesmodelleren: Ground-truth actie-sequenties worden gebruikt om workflowgrafieken te visualiseren en te vergelijken tussen groepen met hogere en lagere prestaties.

3. Belangrijkste Bijdragen

1. Haalbaarheid van Few-Shot Klinische Actierecognitie: Het onderzoek toont aan dat een bevroren DINOv2-backbone met HMM Viterbi-decoding 57,4% MOF bereikt in leave-one-out 1-shot herkenning van egocentrische verpleegsimulatievideo. Dit vestigt de haalbaarheid onder uiterst data-arme omstandigheden zonder fine-tuning. DINOv2 presteerde consequent beter dan ResNet-50 en CLIP, wat suggereert dat self-supervised vision transformers beter geschikt zijn voor fijnmazige hand-object-interacties in dit domein.
2. Negatieve Correlatie tussen Herkenningsaccuraatheid en Competentie: Een primaire bevinding is een statistisch significante negatieve trend tussen herkenningsaccuraatheid en door instructeurs beoordeelde competentie ($\rho = -0,524, p = 0,012$ voor mIoU). Deze relatie is robuust tegenover zes confounder-controles. De auteurs interpreteren dit als volgt: studenten met hogere competentie produceren diversere, vloeiendere en protocol-consequente workflows die inherent moeilijker zijn om te matchen voor een prototype-gebaseerde classifier, terwijl studenten met lagere competentie meer repetitieve, gestandaardiseerde gedragingen vertonen die makkelijker te classificeren zijn.
3. Identificatie van Pedagogisch Informatieve Signalen: Per-item analyse toont aan dat de negatieve trend het sterkst tot uiting komt in verwachte gedragingen gerelateerd aan patiëntveiligheidsprotocollen (bijvoorbeeld "Gebruikt patiëntidentificatie") en teamcommunicatie. Eenvoudige sequentie-features (bijvoorbeeld schermtijdratio) toonden geen significante relatie met competentie, wat suggereert dat de moeilijkheidsgraad van classificatie zelf het informatieve signaal is.
4. Temporale Workflow-verschillen: Vergelijkingen van procesmodellen tonen aan dat studenten met hogere prestaties meer diverse actie-overgangen vertonen en strikter adhere aan protocol-consequente progressies (bijvoorbeeld directe overgangen in medicatiebereiding), terwijl studenten met lagere prestaties meer aarzeling tonen (bijvoorbeeld onnodig routeren via "Scherm"-controles) en onregelmatige workflowpaden.

4. Resultaten

• Actierecognitie: In de cross-sample (leave-one-out) instelling was de prestatie lager dan binnen-sample, wat de domeinverschuiving benadrukt veroorzaakt door individuele verschillen in uiterlijk, camerahoek en workflow-volgorde. De prestatie plateauerde echter rond de 10–15 shots, wat aangeeft dat de bottleneck generalisatie is en niet representatiecapaciteit.
• Competentie-correlatie:
  • mIoU: $\rho = -0,524$ ($p=0,012$).
  • MOF: $\rho = -0,439$ ($p=0,041$).
  • F1: $\rho = -0,433$ ($p=0,044$).
  • Studenten met lagere prestaties (mediaan split) hadden 9,5% hogere MOF en 8,3% hogere mIoU dan studenten met hogere prestaties.
• Per-item Analyse: De sterkste negatieve correlaties werden gevonden voor "Communiceert effectief met het team" ($\rho = -0,470$) en "Gebruikt patiëntidentificatie" ($\rho = -0,455$). Procedurele items die op een statische, repetitieve manier werden uitgevoerd, toonden geen associatie.
• Procesmodellen: Groepen met hogere prestaties toonden een hogere frequentie van directe "Prep Med $\to$ Apply Med"-overgangen (46% versus 38% voor lage presteerders) en consistentere "Hygiëne $\to$ Scherm"-overgangen (76%), wat wijst op betere infectiecontrole en workflow-vloeiendheid.

5. Betekenis en Claims

Het artikel claimt dat herkenningsaccuraatheid kan dienen als een complementair pedagogisch signaal in geautomatiseerde competentiebeoordeling. In tegenstelling tot de aanname dat hogere accurate altijd betere prestaties aangeeft, suggereert het onderzoek dat in klinische simulatie lagere herkenningsaccuraatheid hogere competentie kan aangeven, omdat expert-leerlingen diverse, adaptieve workflows vertonen die afwijken van rigide templates.

De auteurs stellen een twee-niveau beoordelingsperspectief voor:

1. Voorspelde Actietijdlijnen: Bieden een grove gedragsamenvatting van wat de student deed.
2. Herkenningmoeilijkheid (bijvoorbeeld mIoU/F1): Dient als een complementair signaal van hoe de student de taak uitvoerde, en vangt mogelijk holistische competentie, procedurele flexibiliteit en veiligheidsadherentie die checklist-gebaseerde instrumenten zouden kunnen missen.

Het onderzoek benadrukt dat hoewel visiegebaseerde analyse observeerbaar gedrag en workflow-diversiteit kan vastleggen, het fundamenteel beperkt is in het vastleggen van klinisch redeneren en de inhoud van verbale communicatie. De auteurs blijven bescheiden over hun claims, met de opmerking dat met $N=22$ de bevindingen exploratief zijn en verdere validatie vereisen. Zij suggereren dat toekomstig werk zich moet richten op protocol-bewust monitoring met formele methoden en mining van gepersonaliseerde competentietrajecten.