Validation design changes wearable stress-state classification performance in hospital nurses
Questo studio dimostra che, sebbene i classificatori dello stress basati su dispositivi indossabili per gli infermieri ospedalieri possano mostrare un'elevata accuratezza interna, le loro prestazioni degradano significativamente quando valutati su individui non precedentemente visti, evidenziando la critica necessità di una validazione a livello di partecipante per garantire la trasportabilità prima dell'uso operativo.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Immaginate un mondo in cui un semplice braccialetto potesse comunicare a un infermiere quando sta diventando troppo stressato per lavorare in sicurezza, potenzialmente prevenendo il burnout e gli errori in un ospedale affollato. Questa idea si basa su sensori indossabili che monitorano i segnali sottili del corpo, come i cambiamenti nella conduzione elettrica della pelle, la frequenza cardiaca e la temperatura cutanea. Questi dispositivi catturano un flusso continuo di dati, suddividendoli in piccoli segmenti di un minuto per cercare schemi che indichino lo stress. La speranza è che, insegnando a un computer a riconoscere questi schemi, si possa creare uno strumento che aiuti gli operatori sanitari. Tuttavia, rimane una domanda critica: un computer che impara a riconoscere lo stress nei dati di una persona funziona davvero quando incontra una persona completamente nuova?
Uno studio recente condotto dai ricercatori Fuat Kahraman, Gözde Özsezer e Gülengül Mermer ha investigato esattamente questo problema utilizzando i dati di un gruppo di quindici infermiere ospedaliere che indossavano questi sensori durante la pandemia. I ricercatori volevano vedere se i risultati impressionanti spesso osservati nei modelli informatici fossero reali o se fossero semplicemente il risultato del fatto che i modelli avessero memorizzato le abitudini specifiche delle persone su cui erano stati addestrati. Hanno preso un dataset pubblico contenente oltre undici milioni di secondi di dati registrati e hanno testato quanto bene diversi algoritmi informatici riuscissero a classificare i livelli di stress delle infermiere come bassi, medi o alti. Lo studio si è concentrato su due diversi modi di testare i modelli: uno in cui il computer vedeva alcuni dati di un'infermiera durante l'addestramento e altri dati della stessa infermiera durante il test, e un altro in cui il computer veniva testato su un'infermiera che non aveva mai visto prima.
I risultati hanno rivelato un divario sorprendente tra questi due metodi di test. Quando al computer era permesso di apprendere da un'infermiera e poi di essere testato su momenti successivi della stessa infermiera, otteneva un'accuratezza quasi perfetta, raggiungendo punteggi fino a 0,990. Ciò suggeriva che il modello fosse incredibilmente bravo nel compito. Tuttavia, quando i ricercatori hanno cambiato il test per vedere se il modello potesse gestire una nuova infermiera che non aveva mai incontrato prima, le prestazioni sono crollate drasticamente. Per il modello con le migliori prestazioni, l'accuratezza è scesa da 0,948 a una media molto più bassa di 0,661. In effetti, l'accuratezza per i singoli nuovi soggetti variava enormemente, da un minimo di 0,32 a un massimo di 0,90. Ciò significa che, mentre il computer poteva facilmente riconoscere gli schemi di stress delle persone che aveva studiato, faticava significativamente ad applicare quella conoscenza a uno sconosciuto. Lo studio ha rilevato che il modello faceva affidamento pesantemente sulla conduttività cutanea e sulla temperatura cutanea per fare le sue ipotesi, ma anche con questi segnali forti, non riusciva a generalizzare il suo apprendimento a nuovi individui.
I ricercatori hanno anche esaminato attentamente come venivano creati i giudizi sullo stress. I dati non provenivano da un medico che diagnosticava lo stress; invece, un algoritmo suggeriva i momenti di stress elevato e le infermiere stesse revisionavano questi suggerimenti dopo i loro turni. Questo processo significa che le etichette potrebbero essere state influenzate proprio dai dati dei sensori che il computer stava cercando di apprendere, rendendo più facile per il modello indovinare correttamente senza comprendere realmente la fisiologia sottostante. Poiché lo studio era limitato a un piccolo gruppo di infermiere di un singolo ospedale durante un periodo specifico, e poiché i modelli informatici non sono stati testati su nuovi ospedali o su nuovi gruppi di persone, gli autori avvertono che questi strumenti non sono pronti per l'uso nel mondo reale. Essi sottolineano che gli alti numeri di accuratezza derivanti dai test interni possono essere fuorvianti e che, prima che un tale sistema possa essere utilizzato per supportare il personale ospedaliero, deve essere dimostrato che funzioni in modo affidabile su persone che non ha mai incontrato, con prove chiare che aiuti piuttosto che danneggi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.