I dispositivi indossabili come gli smartwatch si sono trasformati da semplici tracker di fitness in potenti strumenti per il monitoraggio continuo della salute, offrendo una finestra sui ritmi del corpo che un tempo era accessibile solo in ospedale. Questi gadget raccolgono un flusso costante di dati, come la frequenza cardiaca, le fasi del sonno e il movimento, creando una cronologia dettagliata dello stato fisiologico di una persona. Tuttavia, questi dati sono raramente perfetti. I sensori possono perdere contatto con la pelle, le batterie possono esaurirsi o la connettività può interrompersi, lasciando lacune nella cronologia. Quando si verificano queste lacune, spesso avvengono in gruppi; se il sensore perde il contatto, smette di registrare più misurazioni contemporaneamente, invece di saltare solo un singolo numero qui e là. Per dare un senso a questo quadro incompleto, gli scienziati utilizzano modelli informatici per colmare le parti mancanti, un processo chiamato imputazione. La qualità di questi valori inseriti è fondamentale, poiché essi costituiscono la base per qualsiasi futura previsione sulla salute, come la previsione di una crisi epilettica o il rilevamento di un'infezione. Se il modello indovina in modo errato, l'intera analisi sanitaria costruita su di esso potrebbe essere fallace.

Per anni, i ricercatori hanno testato questi modelli di riempimento utilizzando un metodo che assume che i dati mancanti avvengano casualmente, come gocce di pioggia che cadono su una finestra. Prendevano un dataset completo, cancellavano casualmente alcuni punti e vedevano se il modello riusciva a indovinarli nuovamente. Questo approccio, tuttavia, non riflette come i dispositivi indossabili falliscono realmente. Nel mondo reale, quando un sensore si interrompe, spesso lascia un vuoto lungo e continuo in cui molti diversi parametri vengono persi insieme. Uno studio condotto da Skye Goodman e colleghi dell'Università di Bristol, dell'Università di Manchester e dell'Università di Birmingham sfida il vecchio modo di testare. Analizzando i dati di una persona con epilessia che indossava uno smartwatch Garmin, i ricercatori hanno sviluppato un nuovo protocollo di test che imita queste lacune raggruppate e realistiche. Hanno scoperto che il modo standard di testare i modelli stava nascondendo le loro vere debolezze e punti di forza, e che cambiare semplicemente il modo in cui i modelli vengono addestrati e testati poteva migliorare drasticamente le loro prestazioni.

I ricercatori hanno iniziato studiando i pattern specifici dei dati mancanti nel loro dataset. Hanno scoperto che i nove diversi parametri sanitari registrati dall'orologio non fallivano in modo indipendente. Al contrario, erano strettamente legati all'hardware che li produceva. Ad esempio, frequenza cardiaca, intervalli inter-battito e punteggi di stress dipendono tutti da un sensore ottico al polso. Quando quel sensore perdeva il contatto, tutte quelle misurazioni svanivano simultaneamente. Al contrario, il conteggio dei passi proveniva da un sensore diverso, l'accelerometro, che aveva i propri schemi di guasto. Le lacune variavano anche enormemente in lunghezza: alcuni parametri presentavano solo brevi interruzioni di un singolo momento, mentre altri, come la frequenza cardiaca, subivano interruzioni lunghe che potevano durare ore. Il team si rese conto che un singolo metodo uniforme di test non poteva catturare questa complessità. Hanno creato un nuovo sistema di valutazione che estraeva questi vuoti dal mondo reale dai dati di addestramento, li categorizzava per lunghezza in contenitori tipici, moderati e severi, e poi iniettava questi esatti pattern nei dati di test. Ciò ha garantito che i modelli fossero testati sugli stessi tipi di mancanze raggruppate e difficili che avrebbero affrontato nel mondo reale.

Quando i ricercatori hanno applicato questo protocollo realistico, i risultati sono stati sorprendenti. Hanno testato due modelli avanzati di deep learning, noti come BRITS e SAITS, progettati per gestire complessi dati di serie temporali. Sotto il vecchio metodo di test casuale, questi modelli sembravano comportarsi ragionevolmente bene. Tuttavia, testati contro le lacune raggruppate e realistiche, le loro prestazioni sono diminuite significativamente, rivelando che erano stati eccessivamente fiduciosi. Lo studio ha dimostito che i modelli erano stati addestrati su dati in cui i valori mancanti erano sparsi casualmente, quindi non avevano mai imparato come gestire la situazione in cui un intero blocco di dati era scomparso. Per risolvere questo problema, il team ha regolato il processo di addestramento in modo che i modelli fossero esposti allo stesso tipo di mancanza a blocchi durante la fase di apprendimento. Questo semplice cambiamento ha avuto un effetto profondo: il tasso di errore per il modello BRITS negli scenari di lacuna più gravi è sceso del 43 percento. Questo miglioramento non è stato un piccolo aggiustamento; ha trasformato un modello che faticava in condizioni realistiche in uno che performava in modo robusto.

Lo studio ha anche rivelato che nessun modello è il migliore in tutto. I ricercatori hanno scoperto che l'approccio migliore dipende interamente dal tipo specifico di dati e dalla lunghezza della lacuna. Per le caratteristiche a movimento lento, come un conteggio giornaliero dei passi o un punteggio della "body battery" che cambia molto gradualmente, un metodo semplice e classico chiamato interpolazione lineare — che essenzialmente traccia una linea retta tra l'ultimo punto noto e il successivo — era spesso il più accurato, specialmente per le lacune brevi. Tuttavia, per i segnali dinamici e che cambiano rapidamente come la frequenza cardiaca, i modelli avanzati di deep learning erano di gran lunga superiori, in particolare quando le lacune erano lunghe. I ricercatori hanno anche scoperto che aggiungere informazioni sull'ora del giorno e sui ritmi circadiani naturali del corpo aiutava i modelli a fare ipotesi migliori quando i dati erano mancanti. Questo è stato particolarmente vero per il modello BRITS, che ha visto miglioramenti significativi nell'accuratezza per la frequenza cardiaca e i dati sul sonno quando venivano inclusi questi indizi basati sul tempo.

Interessante è stato il fatto che lo studio abbia evidenziato un compromesso tra accuratezza e la forma dei dati. Mentre un modello, l'esteso BRITS, era migliore nel prevedere il valore esatto di un punto mancante, l'altro modello, SAITS, era migliore nel preservare la forma statistica complessiva dei dati. Questa distinzione è vitale per le applicazioni mediche. Un modello che indovina il valore medio potrebbe essere accurato in media, ma potrebbe fallire nel catturare eventi rari ed estremi, come un improvviso picco della frequenza cardiaca che spesso precede una crisi. I ricercatori hanno scoperto che entrambi i modelli tendevano a smussare questi estremi, potenzialmente nascondendo proprio i segnali che i medici hanno bisogno di vedere. Ciò suggerisce che, sebbene i modelli siano potenti, devono ancora essere perfezionati per garantire che non perdano anomalie critiche e salvavita.

Le conclusioni di questo articolo portano un messaggio chiaro per il futuro della tecnologia sanitaria indossabile. Il modo in cui testiamo questi modelli conta quanto i modelli stessi. L'uso di metodi di test irrealistici e casuali dà un falso senso di sicurezza e oscura le vere capacità della tecnologia. Adottando un protocollo che rispecchia la realtà disordinata e raggruppata di come i sensori falliscono, i ricercatori possono sviluppare migliori strategie per colmare le lacune. Lo studio conclude che non esiste un unico "miglior" modello per tutte le situazioni; al contrario, l'approccio più efficace sarà probabilmente un sistema ibrido che sceglie lo strumento giusto per il compito specifico, che si tratti di una semplice linea per i dati lenti o di una rete neurale complessa per i segnali dinamici. Questo spostamento di prospettiva, dal cercare una soluzione universale al comprendere le sfumature dei dati, è un passo critico verso la costruzione di sistemi di monitoraggio della salute più affidabili ed efficaci per il futuro.