Evaluating missing-data workflows under hospital-structured missingness: a simulation-calibrated study in eICU and MIMIC-IV

Nel moderno ospedale, la storia di un paziente è spesso raccontata non solo da ciò che viene scritto, ma anche da ciò che manca. Quando un medico prescrive un esame del sangue, il risultato appare nella cartella clinica elettronica. Ma se l'esame non viene mai prescritto, o se la macchina non riesce a inviare i dati, la cartella mostra uno spazio vuoto. Per decenni, i ricercatori che analizzano questi massicci archivi digitali hanno trattato questi vuoti come semplici errori da correggere o ignorare. Hanno presupposto che un risultato mancante fosse solo un numero mancante, slegato dalle condizioni del paziente o dalle abitudini dell'ospedale. Tuttavia, nella realtà, un valore mancante è spesso un messaggio. Può significare che un medico ha deciso che un test non era necessario, o che un determinato ospedale non dispone dell'attrezzatura per eseguirlo. Quando queste lacune non sono casuali ma seguono schemi legati all'ospedale o al background del paziente, possono silenziosamente distorcere l'intero quadro di ciò che i dati stanno dicendo.

Questa è la sfida centrale esplorata da un nuovo studio che ha esaminato come i ricercatori gestiscono questi pezzi mancanti di informazione nei database di terapia intensiva. I ricercatori volevano sapere se i modi standard per colmare i vuoti stessero in realtà cambiando le risposte a importanti quesiti medici. Si sono concentrati su uno scenario specifico e ad alto rischio: il confronto del rischio di morte in ospedale tra diversi gruppi razziali ed etnici. L'obiettivo non era dimostrare che un gruppo fosse biologicamente più fragile di un altro, ma vedere se il metodo utilizzato per pulire i dati potesse far sembrare che esistesse una differenza dove non ce n'era, o nascondere una differenza che invece era realmente presente. Testando questi metodi contro una verità nota creata in una simulazione al computer, lo studio ha rivelato che la scelta di come gestire i dati mancanti non è solo un dettaglio tecnico; è una decisione che cambia fondamentalmente chi viene studiato e il significato dei risultati.

I ricercatori si sono rivolti a due enormi collezioni di dati reali provenienti dalle unità di terapia intensiva degli Stati Uniti. Un database, noto come eICU, raccoglieva informazioni da 206 diversi ospedali, catturando i diversi modi in cui l'assistenza medica viene erogata nel paese. L'altro, MIMIC-IV, proveniva da un singolo grande ospedale accademico. Si sono concentrati su otto comuni esami del sangue eseguiti entro il primo giorno di degenza, come misurazioni dei globuli bianchi, della funzione renale e della salute del fegato. Nel mondo reale, questi test non sono sempre disponibili. Nel database dell'ospedale singolo, solo circa il 24 percento dei pazienti aveva tutti gli otto risultati registrati. Nel database multi-ospedaliero, il numero era leggermente superiore, al 36 percento, ma le lacune erano tutt'altro che casuali. Alcuni ospedali avevano dati per quasi tutti i pazienti, mentre altri avevano risultati mancanti per quasi tutti. In alcuni casi, interi ospedali non avevano valori registrati per test specifici come lattato o bilirubina, suggerendo che il dato mancante fosse una caratteristica strutturale di quei centri medici specifici, non un glitch casuale.

Per vedere come questa assenza influenzasse i risultati, il team ha applicato cinque diversi metodi standard utilizzati dagli scienziati per gestire i record incompleti. Un metodo semplicemente scartava qualsiasi paziente con un singolo test mancante. Un altro colmava i vuoti con il valore centrale trovato nei dati e aggiungeva una nota per indicare che il valore era mancante. Un terzo metodo cercava di pesare i pazienti rimanenti per rappresentare quelli che erano stati esclusi. Altri due metodi utilizzavano complessi algoritmi informatici per indovinare i numeri mancanti basandosi sulle altre informazioni disponibili per quel paziente, con una versione che cercava di tenere conto dello specifico ospedale in cui il paziente era stato trattato. I ricercatori hanno poi utilizzato queste cinque diverse versioni dei dati per calcolare la differenza nei tassi di mortalità tra i gruppi razziali.

I risultati sono stati sorprendenti. A seconda del metodo utilizzato, la stima della differenza nei tassi di mortalità tra i gruppi oscillava selvaggiamente. In un caso, confrontando i pazienti asiatici con i pazienti bianchi nel database dell'ospedale singolo, il metodo che semplicemente scartava i record incompleti suggeriva che i pazienti asiatici avessero un rischio di morte inferiore. Eppure, un metodo diverso che colmava i numeri mancanti suggeriva che avessero un rischio più elevato. L'entità di questa oscillazione era di quasi tre punti percentuali, una differenza abbastanza grande da cambiare completamente la conclusione dello studio. Nel database multi-ospedaliero, le oscillazioni erano altrettanto drammatiche, con stime per i pazienti ispanici che passavano da un rischio inferiore a un rischio superiore a seconda del flusso di lavoro. Lo studio ha dimostrato che il metodo scelto non aggiungeva solo un po' di rumore ai dati; cambiava la direzione del reperto.

Per capire perché ciò fosse accaduto, i ricercatori hanno costruito una simulazione al computer dove conoscevano la verità esatta. Hanno creato un mondo virtuale di 60 ospedali e migliaia di pazienti, programmando i dati mancanti affinché apparissero in schemi specifici che imitavano il mondo reale. Poiché conoscevano la vera risposta in questa simulazione, potevano misurare esattamente quanto ogni metodo fosse errato. Hanno scoperto che quando i dati mancanti erano legati alla struttura ospedaliera, anche i metodi più sofisticati faticavano. Il metodo che cercava di tenere conto del contesto ospedaliero performava meglio di altri, ma non era perfetto. Produceva comunque errori e intervalli di confidenza troppo stretti per essere affidabili. La simulazione ha anche rivelato che nessun metodo poteva risolvere completamente il problema se il dato mancante era legato alla gravità non registrata del paziente in un modo che il computer non poteva vedere. Quando l'assenza era guidata da fattori che il modello non poteva conoscere, ogni singolo metodo rimaneva distorto, producendo stime errate di diversi punti percentuali.

Lo studio ha anche esaminato come la fiducia dei ricercatori nei propri risultati fosse influenzata. Nella scienza, un risultato è solitamente accompagnato da un intervallo di incertezza, un margine di errore che dice quanto siamo sicuri. I ricercatori hanno scoperto che alcuni metodi producevano intervalli troppo stretti, dando un falso senso di precisione. Nella simulazione, quando i dati mancanti erano abbondanti e strutturati per ospedale, gli intervalli di confidenza per alcuni metodi coprivano la risposta vera meno del 30 percento delle volte, nonostante dovessero coprirla il 95 percento delle volte. Ciò significa che se un ricercatore avesse utilizzato uno di questi metodi difettosi, starebbe affermando di essere molto sicuro di un risultato che era in realtà piuttosto incerto. Lo studio ha evidenziato che riportare semplicemente un numero senza controllare come i dati mancanti fossero stati gestiti è come misurare una stanza con un righello che si restringe e si espande a seconda della temperatura.

Uno dei risultati più significativi è stato che la scelta del metodo cambiava la popolazione oggetto di studio. Quando i ricercatori scartavano semplicemente i pazienti con dati mancanti, si ritrovavano con un gruppo che appariva diverso dalla folla originale. Nei dati del mondo reale, i pazienti che avevano tutti i risultati dei test di laboratorio erano spesso più anziani o avevano caratteristiche diverse rispetto a quelli che non li avevano. Colmando i vuoti con medie o ipotesi complesse, i ricercatori stavano di fatto creando una nuova popolazione sintetica che potrebbe non esistere nel mondo reale. Lo studio ha dimostrato che la differenza di rischio "standardizzata" calcolata non era una verità universale sulla malattia, ma una risposta specifica a una domanda specifica su un gruppo specifico di persone definito dal metodo usato per pulire i dati.

I ricercatori hanno concluso che non esiste una singola soluzione magica per i dati mancanti nelle cartelle cliniche ospedaliere. L'idea che un modello matematico più complesso risolverà automaticamente il problema è stata smentita dalle loro simulazioni. Persino un modello che tenta esplicitamente di tenere conto delle differenze tra gli ospedali non garantisce un risultato accurato. Lo studio sostiene che i ricercatori devono smettere di trattare i dati mancanti come un passaggio tecnico di pulizia e iniziare a trattarli come una parte fondamentale della domanda che stanno ponendo. Prima di trarre qualsiasi conclusione, devono mappare esattamente dove i dati mancano e perché. Devono essere onesti su quale gruppo di persone rappresentano i loro risultati. E devono testare i loro risultati contro diverse ipotesi sul motivo per cui i dati mancano, riconoscendo che se l'assenza è guidata da fattori nascosti, i risultati potrebbero essere errati.

In definitiva, questo lavoro funge da avvertimento e da guida per il futuro della ricerca medica che utilizza le cartelle cliniche elettroniche. Mostra che il modo in cui gestiamo i vuoti nei nostri dati può essere importante quanto i dati stessi che possediamo. Se ignoriamo i modelli di assenza dei dati, rischiamo di costruire la conoscenza medica su una base che si sposta a ogni cambiamento di metodologia. Lo studio non offre un nuovo strumento perfetto per risolvere il problema, ma fornisce una mappa chiara dei pericoli. Suggerisce che la strada da seguire richiede trasparenza, test rigorosi e la disponibilità ad accettare che alcune domande sulle disparità sanitarie potrebbero rimanere incerte finché non comprenderemo meglio perché i dati mancano. L'obiettivo non è trovare un numero perfetto, ma comprendere i limiti di ciò che i nostri dati possono dirci.