Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

Immagina di essere un detective che cerca di smistare una pila disordinata di scatole misteriose in gruppi ordinati in base a ciò che contengono. Nel mondo della medicina, gli scienziati spesso fanno proprio questo con i dati dei pazienti, un processo chiamato "fenotipizzazione non supervisionata". Invece di indovinare quali pazienti siano simili, usano i computer per trovare schemi nascosti nei punteggi dei controlli di routine, come quanto bene un paziente ricordi le cose, come si sente emotivamente o quanto sia facile per lui muoversi. L'obiettivo è scoprire "sottogruppi" naturali di pazienti che i medici possono utilizzare per fornire cure migliori e più personalizzate.

Tuttavia, ci sono due trappole subdole che possono rovinare il lavoro del detective. Primo, i dati raramente sono perfetti; alcune scatole mancano di etichette o di contenuti (questo è chiamato "dati mancanti"). Se ti limiti a indovinare cosa manca, potresti accidentalmente creare gruppi che esistono solo a causa delle tue supposizioni, non perché i pazienti siano effettivamente diversi. Secondo, c'è una trappola chiamata "circolarità". Questo accade se usi un indizio specifico per smistare le scatole e poi ti stupisci quando scopri che lo stesso indizio è la ragione principale per cui le scatole sono diverse. È come smistare un mazzo di carte in base al colore e poi sostenere di aver scoperto una nuova regola magica secondo cui "le carte rosse sono rosse".

Un team di ricercatori ha deciso di testare quanto bene questi metodi di rilevazione reggano quando applicati alle cartelle cliniche reali di pazienti con lesioni cerebrali traumatiche (TBI). Volevano vedere se i gruppi di pazienti trovati dal computer fossero reali, stabili e utili, o se fossero solo un castello di carte costruito su numeri mancanti e logica circolare.

Il Grande Esperimento di Smistamento dei Pazienti

I ricercatori hanno esaminato 582 pazienti che erano stati ricoverati per lesioni cerebrali. Avevano cinque diversi "pagelle" per ogni paziente: test per la memoria e il pensiero (MMSE e MoCA), test per la depressione (GDS e Hamilton) e un test per quanto fosse facile svolgere le attività quotidiane come mangiare o vestirsi (Barthel ADL).

In un mondo perfetto, ogni paziente avrebbe un punteggio per ogni singolo test. Ma nella realtà disordinata di un ospedale affollato, i dati vanno perduti. In questo studio, solo il 17,7% dei pazienti (103 su 582) aveva tutti e cinque i punteggi. Il test della depressione e il test delle attività quotidiane erano i più probabili a mancare, apparendo in quasi il 40% e il 30% dei record, rispettivamente.

Il team ha eseguito un programma per computer standard per smistare questi pazienti in gruppi. Il programma, utilizzando un metodo chiamato "imputazione della mediana" (che fondamentalmente riempie i vuoti con il valore centrale dei dati esistenti), ha deciso che il modo migliore per smistare tutti era in cinque gruppi distinti. Uno di questi gruppi sembrava particolarmente interessante: un gruppo "Hamilton-estremo" di pazienti con punteggi di depressione molto alti.

Ma poi, i ricercatori hanno iniziato il loro "stress test" per vedere se questi gruppi fossero reali o solo un'illusione.

Il Test di Stabilità: I gruppi tengono insieme?
Hanno provato a scuotere i dati scegliendo casualmente i pazienti più volte (una tecnica chiamata bootstrapping). Se i gruppi fossero reali, gli stessi pazienti dovrebbero finire negli stessi gruppi ogni volta. Invece, i gruppi sono crollati come un castello di sabbia bagnata. I punteggi di stabilità erano molto bassi (tra 0,211 e 0,454), ben al di sotto della soglia di 0,75 necessaria per dire: "Sì, questo è un gruppo solido". Quando hanno provato diversi algoritmi di smistamento, i risultati concordavano appena tra loro.

Il Test dei Dati Mancanti: Il metodo di riempimento dei vuoti conta?
Successivamente, hanno provato a riempire i punteggi mancanti utilizzando un metodo più complesso chiamato "Imputazione Multipla" (MICE), che crea 20 versioni diverse del dataset con diverse ipotesi per i numeri mancanti. Quando hanno eseguito lo smistamento su queste 20 versioni, i gruppi risultanti erano quasi completamente diversi dal gruppo originale di cinque. Il punteggio di accordo era un minuscolo 0,157. Ciò suggerisce che l'originale gruppo di cinque non era una scoperta della vera natura dei pazienti, ma piuttosto un riflesso di come i ricercatori avessero scelto di riempire i vuoti.

Il Test del "Caso Completo": E se guardassimo solo i dati perfetti?
Hanno provato a smistare solo i 103 pazienti che avevano tutti i loro punteggi. Quando lo hanno fatto, il computer non voleva più cinque gruppi; ne preferiva tre. Il gruppo "Hamilton-estremo" che sembrava così importante nel dataset completo è scomparso o è cambiato completamente. In effetti, in questo gruppo più piccolo, i pazienti con alti livelli di depressione avevano in realtà punteggi di memoria migliori, l'opposto di quanto suggerito dall'analisi originale. I ricercatori hanno concluso che questo specifico gruppo "depresso" era probabilmente un artefatto — un modello falso creato dal modo in cui i dati mancanti sono stati gestiti.

La Trappola della Circolarità: Abbiamo usato l'esito per definire l'input?
Infine, hanno testato il problema della "circolarità". Nell'analisi originale, hanno usato il punteggio delle "attività quotidiane" (Barthel ADL) per aiutare a smistare i pazienti, e poi hanno controllato se i gruppi erano bravi a prevedere il punteggio delle "attività quotidiane". Inaspettatamente, i gruppi lo erano molto! Il legame statistico era molto forte.

Ma poi, hanno rimosso il punteggio delle "attività quotidiane" dall'intero processo di smistamento e hanno usato solo i test del pensiero e dell'umore. Quando hanno cercato di prevedere nuovamente il punteggio delle "attività quotidiane" usando questi nuovi gruppi, il legame è svanito. Il punteggio statistico è sceso da un forte 0,395 a un minuscolo 0,005. Questo ha dimostrato che la "forte connessione" che pensavano di aver trovato non era dovuta al fatto che i gruppi fossero naturalmente diversi nel loro funzionamento; era semplicemente perché avevano usato il punteggio funzionale per costruire i gruppi. È stato un classico caso di guardarsi allo specchio e pensare di aver scoperto un nuovo volto.

La Conclusione

Lo studio conclude che, sebbene la fenotipizzazione non supervisionata sembri uno strumento potente per trovare nuovi sottotipi di pazienti, essa è incredibilmente fragile. In questo caso specifico di lesione cerebrale traumatica, i "gruppi" che il computer ha trovato erano altamente sensibili a come i dati mancanti venivano gestiti e erano in gran parte un'illusione causata dall'uso del risultato come input.

I ricercatori suggeriscono che, prima che i medici inizino a usare questi gruppi generati dal computer per prendere decisioni cliniche, la scienza debba eseguire un audit rigoroso. Devono controllare se i gruppi rimangono stabili quando i dati vengono ricampionati, se sopravvivono a diversi modi di riempire i numeri mancanti e, soprattutto, devono assicurarsi di non usare accidentalmente il risultato per definire il gruppo. Finché questi controlli non saranno effettuati, i "sottotipi" trovati nei dati ospedalieri di routine dovrebbero essere trattati come ipotesi interessanti da investigare, non come fatti provati.