Validation design changes wearable stress-state classification performance in hospital nurses
Diese Studie zeigt, dass Wearable-basierte Stressklassifikatoren für Krankenhauspflegekräfte zwar eine hohe interne Genauigkeit aufweisen können, ihre Leistungsfähigkeit jedoch signifikant sinkt, wenn sie an ungesehenen Individuen evaluiert werden, was die kritische Notwendigkeit einer Validierung auf Teilnehmerebene hervorhebt, um die Transportierbarkeit vor dem operativen Einsatz zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der ein einfaches Armband einer Pflegekraft mitteilen könnte, wann sie zu gestresst ist, um sicher zu arbeiten, was potenziell Burnout und Fehler verhindern könnte. Diese Idee beruht auf tragbaren Sensoren, die die subtilen Signale des Körpers verfolgen, wie etwa Veränderungen der elektrischen Leitfähigkeit der Haut, der Herzfrequenz und der Hauttemperatur. Diese Geräte erfassen einen kontinuierlichen Datenstrom, der in winzige Ein-Minuten-Segmente unterteilt wird, um nach Mustern zu suchen, die auf Stress hindeuten. Die Hoffnung ist, dass wir durch das Beibringen dieser Muster an einen Computer ein Werkzeug schaffen können, das dem Gesundheitspersonal hilft. Es bleibt jedoch eine entscheidende Frage: Funktioniert ein Computer, der lernt, Stress bei einer Person anhand ihrer Daten zu erkennen, tatsächlich, wenn er auf eine völlig neue Person trifft?
Eine aktuelle Studie der Forscher Fuat Kahraman, Gözde Özsezer und Gülengül Mermer untersuchte genau dieses Problem anhand von Daten einer Gruppe von fünfzehn Krankenschwestern, die während der Pandemie diese Sensoren trugen. Die Forscher wollten herausfinden, ob die beeindruckenden Ergebnisse, die man oft in Computermodellen sieht, real sind oder ob sie lediglich das Ergebnis der Tatsache sind, dass die Modelle die spezifischen Gewohnheiten der Menschen auswendig gelernt haben, an denen sie trainiert wurden. Sie nahmen einen öffentlichen Datensatz mit über elf Millionen Sekunden aufgezeichneter Daten und testeten, wie gut verschiedene Computeralgorithmen die Stresslevel der Krankenschwestern als niedrig, mittel oder hoch klassifizieren konnten. Die Studie konzentrierte sich auf zwei verschiedene Testmethoden: eine, bei der der Computer während des Trainings einige Daten einer Krankenschwester sah und andere Daten derselben Krankenschwester während des Tests erhielt, und eine andere, bei der der Computer an einer Krankenschwester getestet wurde, die er zuvor noch nie gesehen hatte.
Die Ergebnisse zeigten eine erschreckende Lücke zwischen diesen beiden Testmethoden. Wenn der Computer erlauben wurde, von einer Krankenschwester zu lernen und dann an späteren Momenten derselben Krankenschwistin getestet wurde, arbeitete er mit nahezu perfekter Genauigkeit und erreichte Werte von bis zu 0,990. Dies deutete darauf hin, dass das Modell unglaublich gut in der Aufgabe war. Als die Forscher jedoch den Test änderten, um zu sehen, ob das Modell eine brandneue Krankenschwester bewältigen konnte, die es zuvor noch nie erlebt hatte, sank die Leistung drastisch. Für das leistungsstärkste Modell fiel die Genauigkeit von 0,948 auf einen viel niedrigeren Durchschnittswert von 0,661. Tatsächlich variierte die Genauigkeit für einzelne neue Krankenschwestern stark und reichte von so niedrig wie 0,32 bis hin zu so hoch wie 0,90. Das bedeutet, dass der Computer zwar die Stressmuster der Menschen, die er studiert hatte, leicht erkennen konnte, es ihm jedoch erheblich schwerfiel, sein Wissen auf einen Fremden anzuwenden. Die Studie fand heraus, dass das Modell sich stark auf die Hautleitfähigkeit und die Hauttemperatur verließ, um seine Vermutungen anzustellen, aber selbst mit diesen starken Signalen konnte es sein Lernen nicht auf neue Individuen generalisieren.
Die Forscher untersuchten auch genau, wie die Stress-Labels erstellt wurden. Die Daten stammten nicht von einem Arzt, der Stress diagnostizierte; stattdessen schlug ein Algorithmus Momente hohen Stresses vor, und die Krankenschwestern überprüften diese Vorschläge nach ihren Schichten. Dieser Prozess bedeutet, dass die Labels möglicherweise durch genau die Sensordaten beeinflusst wurden, die der Computer zu lernen versuchte, was es dem Modell erleichterte, korrekt zu raten, ohne die zugrunde liegende Physiologie wirklich zu verstehen. Da die Studie auf eine kleine Gruppe von Krankenschwestern aus einem einzigen Krankenhaus während einer bestimmten Zeit beschränkt war und die Computermodelle nicht an neuen Krankenhäusern oder neuen Personengruppen getestet wurden, mahnen die Autoren, dass diese Werkzeuge nicht bereit für den realen Einsatz sind. Sie betonen, dass hohe Genauigkeitswerte aus internen Tests irreführend sein können und dass, bevor ein solches System zur Unterstützung des Krankenhauspersonals eingesetzt werden kann, bewiesen werden muss, dass es zuverlässig bei Menschen funktioniert, die es noch nie getroffen hat, mit klaren Beweisen, dass es hilft und nicht schadet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.