Validation design changes wearable stress-state classification performance in hospital nurses
Deze studie toont aan dat hoewel op wearables gebaseerde stressclassificaties voor verpleegkundigen in ziekenhuizen een hoge interne nauwkeurigheid kunnen vertonen, hun prestaties significant verslechteren wanneer ze worden geëvalueerd op niet eerder bekende individuen, wat het kritieke belang van validatie op deelnemerniveau benadrukt om transportabiliteit te waarborgen vóór operationeel gebruik.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je een wereld voor waarin een eenvoudige polsband een verpleegkundige kan vertellen wanneer zij te gestrest raakt om veilig te kunnen werken, wat potentieel burn-out en fouten in een druk ziekenhuis kan voorkomen. Dit idee berust op draagbare sensoren die de subtiele signalen van het lichaam volgen, zoals veranderingen in de elektrische geleidbaarheid van de huid, de hartslag en de huidtemperatuur. Deze apparaten leggen een continue stroom van gegevens vast, die worden onderverdeeld in kleine segmenten van één minuut om naar patronen te zoeken die wijzen op stress. De hoop is dat we door een computer te leren deze patronen te herkennen, een hulpmiddel kunnen creëren dat zorgverleners ondersteunt. Er blijft echter een cruciale vraag over: werkt een computer die leert om stress bij de ene persoon te herkennen, ook daadwerkelijk wanneer hij in aanraking komt met een totaal nieuw persoon?
Een recente studie door onderzoekers Fuat Kahraman, Gözde Özsezer en Gülengül Mermer onderzocht precies dit probleem met behulp van gegevens van een groep van vijftien vrouwelijke verpleegkundigen die tijdens de pandemie deze sensoren droegen. De onderzoekers wilden zien of de indrukwekkende resultaten die vaak in computermodellen worden gezien, echt waren of dat ze simpelweg het resultaat waren van het modelleren van de specifieke gewoonten van de mensen op wie ze getraind waren. Ze namen een publieke dataset met meer dan elf miljoen seconden aan opgenomen gegevens en testten hoe goed verschillende computeralgoritmen de stressniveaus van de verpleegkundigen konden classificeren als laag, gemiddeld of hoog. De studie richtte zich op twee verschillende manieren om de modellen te testen: één waarbij de computer tijdens de training enkele gegevens van een verpleegkundige zag en andere gegevens van diezelfde verpleegkundige tijdens het testen, en een andere waarbij de computer werd getest op een verpleegkundige die hij nog nooit eerder had gezien.
De resultaten onthulden een schokkende kloof tussen deze twee testmethoden. Wanneer de computer mocht leren van de ene verpleegkundige en vervolgens werd getest op latere momenten van diezelfde verpleegkundige, presteerde hij met bijna perfecte nauwkeurigheid en behaalde scores zo hoog als 0,990. Dit suggereerde dat het model ongelooflijk goed was in de taak. Echter, toen de onderzoekers de test veranderden om te zien of het model een nieuwe verpleegkundige kon verwerken die hij nog nooit eerder had ontmoet, daalde de prestatie dramatisch. Voor het best presterende model daalde de nauwkeurigheid van 0,948 naar een veel lager gemiddelde van 0,661. Sterker nog, de nauwkeurigheid voor individuele nieuwe verpleegkundigen varieerde enorm, van zo laag als 0,32 tot zo hoog als 0,90. Dit betekent dat hoewel de computer gemakkelijk de stresspatronen van de mensen die hij had bestudeerd kon herkennen, hij aanzienlijk moeite had om die kennis toe te passen op een vreemde. De studie vond dat het model zwaar vertrouwde op huidgeleidbaarheid en huidtemperatuur om zijn voorspellingen te doen, maar zelfs met deze sterke signalen kon het zijn leerproces niet generaliseren naar nieuwe individuen.
De onderzoekers keken ook nauwlettend naar hoe de stresslabels werden gecreëerd. De gegevens kwamen niet van een arts die stress diagnosticeerde; in plaats daarvan suggereerde een algoritme momenten van hoge stress, en de verpleegkundigen zelf beoordeelden deze suggesties na hun diensten. Dit proces betekent dat de labels beïnvloed kunnen zijn door precies die sensordata die de computer probeerde te leren, waardoor het voor het model gemakkelijker werd om correct te raden zonder de onderliggende fysiologie werkelijk te begrijpen. Omdat de studie beperkt was tot een kleine groep verpleegkundigen van één enkel ziekenhuis tijdens een specifieke periode, en omdat de computermodellen niet werden getest op nieuwe ziekenhuizen of nieuwe groepen mensen, waarschuwen de auteurs dat deze tools niet klaar zijn voor gebruik in de echte wereld. Zij benadrukken dat hoge nauwkeurigheidscijfers uit interne tests misleidend kunnen zijn en dat voordat een dergelijk systeem gebruikt kan worden om ziekenhuispersoneel te ondersteunen, bewezen moet worden dat het betrouwbaar werkt op mensen die het nog nooit heeft ontmoet, met duidelijk bewijs dat het helpt in plaats van schaadt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.