Subject Identity Is a Major Source of Variance in EEG Spectral Features and Can Inflate Machine Learning Evaluation
Questo studio dimostra che l'identità del soggetto è una fonte dominante di varianza nelle caratteristiche spettrali dell'EEG che può gonfiare artificialmente le prestazioni del machine learning quando le valutazioni utilizzano suddivisioni standard dei dati, rendendo quindi necessari protocolli di valutazione basati sul soggetto per garantire una scoperta valida di biomarcatori.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Il cervello umano è un complesso motore di attività elettrica e gli scienziati utilizzano da tempo una tecnica chiamata elettroencefalografia, o EEG, per ascoltare il suo ronzio. Posizionando dei sensori sul cuoio capelluto, i ricercatori possono catturare i segnali ritmici del cervello mentre pensa, riposa o si muove. Negli ultimi anni, l'apprendimento automatico si è unito a questo sforzo, offrendo strumenti potenti per trovare schemi in questi segnali che potrebbero rivelare lo stato mentale di una persona, rilevare una malattia come la depressione o prevedere come si comporterà. La speranza è che questi modelli informatici possano apprendere le specifiche firme biologiche di una condizione, separando il segnale di una malattia dal rumore di un cervello sano. Tuttavia, affinché questi modelli possano essere affidabili, devono essere testati equamente. Se un programma per computer impara a riconoscere una persona specifica piuttosto che la malattia che ha, sembrerà funzionare perfettamente in un test ma fallirà completamente nel mondo reale. Questo rischio di confondere l'identità di una persona con la sua condizione medica è il puzzle centrale che questa nuova ricerca affronta.
Un team di ricercatori si è posto l'obiettivo di misurare quanto dell'informazione contenuta nelle registrazioni standard delle onde cerebrali appartenga alla singola persona piuttosto che al compito che sta svolgendo o al momento in cui è stata registrata. Hanno analizzato i dati di quattro diversi gruppi di persone, che spaziavano da pazienti con disturbo depressivo maggiore a volontari che eseguivano semplici compiti motori. I dati provenivano da varie fonti, da apparecchiature di ricerca all'avanguardia con decine di sensori a cuffie più semplici, di grado consumer, con solo pochi sensori. Gli scienziati hanno suddiviso i dati delle onde cerebrali in specifiche bande di frequenza, osservando la potenza di diversi ritmi, e poi si sono posti una domanda fondamentale: guardando questi schemi, quanto di ciò che vedete è unico per quella specifica persona e quanto è solo un cambiamento nella sessione di registrazione o nel compito?
La risposta che hanno trovato è stata sorprendente. Nel modo standard in cui questi segnali cerebrali vengono solitamente analizzati, l'identità della persona che registra i dati era di gran lunga la principale fonte di variazione. Attraverso i diversi studi, i ricercatori hanno calcolato che la "impronta digitale" unica dell'attività cerebrale di una persona rappresentava circa il settanta-ottanta per cento delle differenze totali osservate nei dati. Al contrario, i cambiamenti che avvenivano semplicemente perché una registrazione veniva effettuata in un giorno diverso, o perché la persona stava svolgendo un compito leggermente diverso, costituivano solo una minima frazione della variazione. Per mettere questo dato in prospettiva, la differenza tra due diverse persone sedute nella stessa stanza era quasi trenta volte superiore alla differenza tra la stessa persona seduta nella stessa stanza in due giorni diversi. Ciò significa che le onde cerebrali di un singolo individuo sono così distinte da formare una firma stabile e misurabile che persiste nel tempo, durando per mesi anche mentre la vita quotidiana della persona cambia.
Poiché questa firma personale è così forte, i ricercatori hanno testato se un computer potesse usarla per identificare le persone, proprio come uno scanner di impronte digitali. Hanno addestrato dei modelli per riconoscere gli individui utilizzando i dati da un insieme di registrazioni cerebrali e poi li hanno testati su nuove registrazioni delle stesse persone effettuate in un secondo momento. I risultati sono stati quasi perfetti. I modelli potevano distinguere una persona dall'altra con estrema precisione, anche quando le registrazioni erano state effettuate a distanza di mesi. In alcuni test, il computer identificava correttamente la persona giusta quasi ogni singola volta, dimostrando che i modelli di onde cerebrali contengono un codice robusto e duraturo per l'identità individuale. Questa capacità di riconoscere una persona non era limitata alle apparecchiature di ricerca di alta qualità; era presente anche nei dati provenienti da cuffie più semplici, di grado consumer, sebbene l'effetto fosse più debole quando il compito cambiava drasticamente.
La parte più critica dello studio, tuttavia, è stata vedere cosa accade quando questa potente capacità di riconoscere le persone interferisce con la diagnosi medica. I ricercatori hanno simulato un errore comune nel modo in cui questi studi vengono spesso condotti: dividendo i dati per segmenti di onde cerebrali invece che per persona. In questa configurazione difettosa, alcuni clip di onde cerebrali di un paziente potrebbero finire nel gruppo di addestramento, mentre altri clip della stessa persona potrebbero finire nel gruppo di test. Quando hanno eseguito un modello di apprendimento automatico per rilevare il disturbo depressivo maggiore usando questo metodo, il computer ha ottenuto punteggi vicini alla perfezione. Sembrava di aver appreso perfettamente la malattia. Ma quando i ricercatori hanno costretto il modello a essere testato correttamente — mantenendo tutti i dati di una singola persona interamente separati dai dati di addestramento — le prestazioni sono diminuite significamente.
L'indagine ha rivelato perché il primo test era così fuorviante. Il computer non aveva in realtà imparato a riconoscere i segni della depressione. Inveve, aveva imparato a riconoscere i pazienti stessi. Poiché la diagnosi era fissa per ogni persona nello studio, il modello aveva semplicemente memorizzato chi era malato e chi era sano identificando la propria firma d'onda cerebrale unica. Quando i ricercatori hanno addestrato un modello per riconoscere solo le persone, senza mai mostrargli le etichette mediche, esso era ancora in grado di predire la diagnosi perfettamente. Questo ha dimostrato che gli alti punteggi del test difettoso erano un'illusione creata dal modello utilizzando l'identità come una scorciatoia. Lo studio conclude che, affinché l'apprendimento automatico nelle scienze del cervello sia affidabile, i ricercatori devono trattare l'identità della persona come un fattore principale da controllare. Devono assicurarsi che il computer non veda mai la stessa persona sia nella fase di addestramento che in quella di test, altrimenti potrebbe apparire come se avesse scoperto una svolta medica quando ha solo imparato il nome di una persona.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.