Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches
Questo studio dimostra che l'imputazione k-nearest neighbours (KNN) supera sia la sostituzione con la mediana che l'imputazione multipla mediante equazioni concatenate (MICE) nel preservare la fedeltà della distribuzione e l'integrità strutturale multivariata di dataset clinici reali attraverso diversi livelli di mancanza di dati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della ricerca medica, i dati sono la linfa vitale della scoperta. Medici e scienziati si affidano alle registrazioni della storia clinica dei pazienti, ai risultati di laboratorio e agli esiti dei trattamenti per comprendere le malattie e migliorare l'assistenza. Tuttavia, le cartelle cliniche del mondo reale sono raramente perfette. I pazienti saltano gli appuntamenti, le macchine si guastano o i medici semplicemente dimenticano di annotare una specifica misurazione. Queste lacune, note come dati mancanti, creano un problema: se un ricercatore tenta di analizzare un elenco di numeri con dei buchi, i risultati possono essere fuorvianti o impossibili da calcolare. Per risolvere questo problema, i ricercatori spesso colmano i vuoti utilizzando un processo chiamato imputazione. Il modo più comune e semplice per farlo è guardare tutti i numeri disponibili per una specifica misurazione, trovare il valore centrale e incollare lo stesso numero in ogni spazio vuoto. Sebbene sia facile da fare, presenta un difetto noto: appiattisce la naturale varietà dei dati, facendo apparire un gruppo diversificato di pazienti più simile tra loro di quanto non sia in realtà. Un approccio più sofisticato prevede l'uso di complessi modelli informatici per indovinare quali potrebbero essere i numeri mancanti basandosi su come essi si relazionano con altre informazioni riguardanti il paziente. La domanda che la comunità scientifica si pone è se il metodo semplice sia sufficiente o se il metodo complesso sia necessario per mantenere l'onestà dei dati.
Un team di ricercatori di Valencia, in Spagna, si è posto l'obiettivo di rispondere a questa domanda testando tre diversi modi per colmare le lacune nelle reali cartelle cliniche. Non hanno creato dati finti per testare le loro teorie; al contrario, hanno utilizzato due grandi collezioni reali di informazioni sui pazienti. Il primo gruppo era composto da 408 pazienti che si erano sottoposti a trapianto di polmone, una procedura complessa in cui i medici monitorano decine di misurazioni prima, durante e dopo l'intervento. Il secondo gruppo comprendeva 1.700 pazienti che avevano avuto un attacco cardiaco, con registrazioni dettagliate dei loro parametri vitali e della loro storia medica. In entrambi i gruppi, molti numeri erano mancanti. Nel gruppo dei trapianti di polmone, alcune misurazioni erano mancanti in un numero di pazienti che andava dallo 0,2 percento fino al 77,9 percento. Nel gruppo dell'attacco cardiaco, i dati mancanti variavano dallo 0,24 percento a oltre il 63 percento. I ricercatori volevano vedere quale metodo di riempimento di questi vuoti preservasse meglio la vera forma e le relazioni dei dati originali.
Il team ha confrontato tre strategie specifiche. La prima era l'approccio standard e semplice: sostituire ogni numero mancante con la mediana, ovvero il valore centrale dei numeri effettivamente registrati. Il secondo metodo era chiamato "k-nearest neighbours" (k-vicini più prossimi), che funziona individuando i pazienti nel database che sono più simili a quello con il dato mancante e usando i loro valori per formulare un tentativo. Il terzo era una tecnica statistica altamente complessa nota come "multiple imputation" (imputazione multipla), che esegue una serie di modelli sofisticati per generare diverse versioni possibili dei dati mancanti e poi ne fa la media. I ricercatori hanno poi misurato quanto i dati inseriti corrispondessero ai dati originali completi utilizzando un righello statistico che verifica se la distribuzione dei numeri appare la stessa. Hanno anche controllato se le relazioni tra diverse variabili, come ad esempio il modo in cui l'età potrebbe relazionarsi con la pressione sanguigna, rimanessero intatte.
I risultati sono stati sorprendenti per molti che si aspettano che il metodo più complesso sia sempre il migliore. Il metodo semplice di utilizzare il valore centrale ha effettivamente distorto i dati, comprimendo la varietà dei numeri e facendo apparire il dataset meno diversificato di quanto fosse realmente. Tuttavia, il modello statistico complesso, a più fasi, è performato ancora peggio in questo specifico test. Ha introdotto gli errori più grandi e ha alterato le relazioni tra le variabili più di qualsiasi altro metodo. Il metodo che ha ottenuto le prestazioni migliori è stato l'approccio k-nearest neighbours. Esso ha preservato la naturale diffusione dei dati e ha mantenuto le relazioni tra le diverse misurazioni mediche più accurate rispetto sia al semplice metodo del valore centrale che al modello complesso. Nel gruppo del trapianto di polmone, il modello complesso ha distorto i dati per quasi il 39 percento delle variabili, mentre il metodo k-nearest neighbours ha distorto solo l'11 percento. Nel gruppo dell'attacco cardiaco, il modello complesso ha distorto il 39 percento delle variabili, mentre il metodo k-nearest neighbours ne ha distorti solo l'11 percento.
I ricercatori hanno scoperto che, all'aumentare della quantità di dati mancanti, tutti i metodi commettono più errori, ma il metodo k-nearest neighbours commette errori molto più lentamente. Quando una variabile presentava una percentuale elevata di numeri mancanti, il metodo semplice del valore centrale e il modello complesso hanno entrambi incontrato difficoltà, ma il metodo k-nearest neighbours ha retto meglio. Ciò è probabilmente dovuto al fatto che il modello complesso cerca di costruire una regola matematica perfetta per ogni singola variabile, il che diventa difficile quando ci sono molte variabili e non abbastanza pazienti da cui imparare. Il metodo k-nearest neighbours, al contrario, si limita a guardare i pazienti più simili e ne copia il modello, il che funziona bene anche quando i dati sono disordinati o incompleti.
Questo studio non suggerisce che il modello statistico complesso sia inutile. Quel modello è progettato per uno scopo diverso: fornire un intervallo di possibili risposte e tenere conto dell'incertezza derivante dal non conoscere i numeri reali, il che è fondamentale per certi tipi di analisi statistica profonda. Tuttavia, per molti ricercatori che hanno semplicemente bisogno di un dataset pulito e completo per descrivere un gruppo di pazienti o per esplorare le relazioni tra le variabili, il modello complesso può essere eccessivo e persino controproducente. Le scoperte suggeriscono che, per creare una versione singola e affidabile di un dataset medico, il metodo k-nearest neighbours offre un equilibrio potente. È molto più accurato del semplice metodo del valore centrale, che è ancora ampiamente utilizzato, ed è più facile da usare del modello complesso, richiedendo meno decisioni tecniche al ricercatore.
Lo studio evidenzia una lezione pratica per la scienza medica: a volte, lo strumento più sofisticato non è quello migliore per il compito da svolgere. Nella realtà disordinata delle cartelle cliniche ospedaliere, dove i dati sono spesso incompleti e i profili dei pazienti sono unici, un metodo che osserva i pazienti simili per colmare i vuoti può preservare meglio la vera storia dei dati rispetto a una rigida formula matematica. Scegliendo lo strumento giusto, i ricercatori possono garantire che i modelli scoperti nei loro dati riflettano la realtà dei pazienti che stanno studiando, piuttosto che gli artefatti creati dal modo in cui hanno cercato di correggere i numeri mancanti. Questo lavoro fornisce una via chiara per gli scienziati che desiderano mantenere l'onestà dei propri dati senza restare intrappolati in una complessità non necessaria.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.