Validation design changes wearable stress-state classification performance in hospital nurses
Cette étude démontre que, bien que les classificateurs de stress basés sur des dispositifs portables pour les infirmiers hospitaliers puissent présenter une précision interne élevée, leurs performances se dégradent considérablement lorsqu'ils sont évalués sur des individus inédits, soulignant la nécessité critique d'une validation au niveau des participants pour garantir la transportabilité avant toute utilisation opérationnelle.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez un monde où un simple bracelet pourrait signaler à une infirmière lorsqu'elle devient trop stressée pour travailler en toute sécurité, évitant ainsi potentiellement l'épuisement professionnel et les erreurs. Cette idée repose sur des capteurs portables qui suivent les signaux subtils du corps, tels que les changements dans la conductivité électrique de la peau, la fréquence cardiaque et la température cutanée. Ces dispositifs capturent un flux continu de données, les décomposant en minuscules segments d'une minute pour rechercher des schémas indiquant le stress. L'espoir est qu'en apprenant à un ordinateur à reconnaître ces schémas, nous puissions créer un outil qui aide les travailleurs de la santé. Cependant, une question cruciale demeure : un ordinateur qui apprend à reconnaître le stress dans les données d'une personne fonctionne-t-il réellement lorsqu'il rencontre une personne totalement nouvelle ?
Une étude récente menée par les chercheurs Fuat Kahraman, Gözde Özsezer et Gülengül Mermer a examiné exactement ce problème en utilisant les données d'un groupe de quinze infirmières hospitalières qui portaient ces capteurs pendant la pandémie. Les chercheurs voulaient voir si les résultats impressionnants souvent observés dans les modèles informatiques étaient réels ou s'ils étaient simplement le résultat de la mémorisation des habitudes spécifiques des personnes sur lesquelles ils ont été entraînés. Ils ont utilisé un ensemble de données publiques contenant plus de onze millions de secondes de données enregistrées et ont testé la capacité de différents algorithmes informatiques à classifier les niveaux de stress des infirmières comme faibles, moyens ou élevés. L'étude s'est concentrée sur deux méthodes de test différentes : une où l'ordinateur voyait certaines données d'une infirmière pendant l'entraînement et d'autres données de cette même infirmière pendant le test, et une autre où l'ordinateur était testé sur une infirmière qu'il n'avait jamais vue auparavant.
Les résultats ont révélé un écart frappant entre ces deux méthodes de test. Lorsque l'ordinateur était autorisé à apprendre d'une infirmière pour ensuite être testé sur des moments ultérieurs de cette même infirmière, il performait avec une précision quasi parfaite, atteignant des scores allant jusqu'à 0,990. Cela suggérait que le modèle était incroyablement doué pour la tâche. Cependant, lorsque les chercheurs ont modifié le test pour voir si le modèle pouvait gérer une nouvelle infirmière qu'il n'avait jamais rencontrée, la performance a chuté de manière spectaculaire. Pour le modèle le plus performant, la précision est passée de 0,948 à une moyenne beaucoup plus basse de 0,661. En fait, la précision pour les nouvelles infirmières individuelles variait considérablement, allant d'un bas de 0,32 à un haut de 0,90. Cela signifie que, bien que l'ordinateur puisse facilement reconnaître les schémas de stress des personnes qu'il a étudiées, il peinait considérablement à appliquer cette connaissance à une inconnue. L'étude a constaté que le modèle s'appuyait fortement sur la conductivité cutanée et la température cutanée pour faire ses suppositions, mais même avec ces signaux forts, il ne pouvait pas généraliser son apprentissage à de nouveaux individus.
Les chercheurs ont également examiné de près la manière dont les étiquettes de stress ont été créées. Les données ne provenaient pas d'un médecin diagnostiquant le stress ; au lieu de cela, un algorithme suggérait des moments de stress élevé, et les infirmières révisaient ces suggestions après leurs services. Ce processus signifie que les étiquettes auraient pu être influencées par les données mêmes des capteurs que l'ordinateur tentait d'apprendre, rendant plus facile pour le modèle de deviner correctement sans réellement comprendre la physiologie sous-jacente. Comme l'étude était limitée à un petit groupe d'infirmières d'un seul hôpital pendant une période spécifique, et comme les modèles informatiques n'ont pas été testés sur de nouveaux hôpitaux ou de nouveaux groupes de personnes, les auteurs avertissent que ces outils ne sont pas prêts pour une utilisation dans le monde réel. Ils soulignent que les chiffres de précision élevés issus des tests internes peuvent être trompeurs et qu'avant qu'un tel système puisse être utilisé pour soutenir le personnel hospitalier, il doit être prouvé qu'il fonctionne de manière fiable sur des personnes qu'il n'a jamais rencontrées, avec des preuves claires qu'il aide plutôt qu'il ne nuit.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.