External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

Nel contesto ad alta intensità di una terapia intensiva, i pazienti arrivano spesso con una pressione sanguigna così bassa che i loro corpi non riescono a pompare abbastanza sangue verso gli organi vitali. Per tenerli in vita, i medici somministrano farmaci potenti chiamati vasopressori per stringere i vasi sanguigni e alzare la pressione. A volte, il primo farmaco non è sufficiente e l'équipe medica deve aggiungerne un secondo, come la vasopressina, per mantenere stabile il paziente. Prevedere quando un paziente avrà bisogno di questo secondo farmaco è una sfida complessa. Non si tratta solo della biologia del paziente; si tratta anche di come i diversi ospedali registrano le proprie azioni, di quali farmaci hanno a disposizione e di quando decidono di intensificare le cure. I ricercatori sperano da tempo di costruire modelli informatici che possano analizzare i dati attuali di un paziente — come la frequenza cardiaca, la chimica del sangue e i dosaggi attuali dei farmaci — e prevedere con certezza quando verrà ordinato un nuovo farmaco. Se un tale modello funzionasse perfettamente, potrebbe avvisare i medici affinché esaminino il caso di un paziente prima, potenzialmente prevenendo una crisi prima che accada.

Un team di ricercatori si è messo in campo per testare un modello di previsione specifico progettato per individuare il segnale che un paziente sta per ricevere la vasopressina. Hanno costruito il loro modello utilizzando i dati di un singolo, grande ospedale accademico negli Stati Uniti, analizzando migliaia di cartelle cliniche per trovare i modelli che precedevano la somministrazione del farmaco. Il modello è stato addestrato per osservare quindici diverse informazioni, come il dosaggio attuale del primo farmaco, la frequenza cardiaca e i livelli di determinate sostanze chimiche nel sangue. L'obiettivo era creare uno strumento che potesse dire a un medico: "Questo paziente è ad alto rischio di aver bisogno di vasopressina nelle prossime 24 ore". Per vedere se questo strumento fosse davvero utile, i ricercatori non si sono limitati a testarlo sui dati dello stesso ospedale dove è stato creato. Hanno preso lo stesso identico modello, senza cambiare un singolo numero, e lo hanno applicato a un set di dati completamente diverso proveniente da una rete di decine di ospedali in tutto il paese. Questo è il test definitivo per qualsiasi strumento di previsione medica: può funzionare in un nuovo luogo, con pazienti diversi e medici diversi, o funziona solo nell'ambiente specifico in cui è stato creato?

I risultati di questo test hanno rivelato una distinzione cruciale e piuttosto sorprendente. Quando il modello ha esaminato il nuovo gruppo di pazienti, era ancora molto bravo a classificarli. Se si fossero allineati tutti i pazienti dal rischio più basso al rischio più alto, il modello avrebbe posizionato correttamente vicino alla cima della lista i pazienti che hanno effettivamente ricevuto il farmaco. In termini statistici, il modello ha preservato la sua capacità di distinguere tra coloro che avrebbero ricevuto il farmaco e coloro che non lo avrebbero fatto. Tuttavia, il modello è fallito completamente nel dire la verità riguardo ai numeri effettivi. Nell'ospedale originale, il modello prevedeva che circa il 14 percento dei pazienti avrebbe avuto bisogno del farmaco, e questo corrispondeva alla realtà. Ma applicato ai nuovi ospedali, il modello prevedeva che il 16 percento dei pazienti ne avrebbe avuto bisogno, mentre in realtà solo il 9 percento ne aveva effettivamente bisogno. Il modello sovrastimava costantemente il rischio. Era come una previsione meteorologica che prediceva correttamente che avrebbe piovuto nei giorni in cui effettivamente pioveva, ma diceva che c'era il 90 percento di probabilità di pioggia in giorni in cui la probabilità era solo del 30 percento.

Questa discrepanza tra la classificazione e la probabilità reale è un reperto significativo perché cambia il modo in cui lo strumento può essere utilizzato. I ricercatori hanno scoperto che le previsioni del modello non erano solo leggermente errate; erano distorte in un modo che rendeva i numeri inaffidabili per prendere decisioni mediche dirette. Negli ospedali della nuova rete, le previsioni del modello erano troppo disperse, il che significa che era troppo sicuro riguardo agli estremi. Pensava che alcuni pazienti fossero quasi certi di ricevere il farmaco e altri quasi certi di non riceverlo, quando la realtà era molto più moderata. Anche quando i ricercatori hanno cercato di regolare il modello semplicemente spostando la media delle previsioni verso l'alto o verso il basso per adattarla alla nuova realtà, il problema non è stato risolto. La forma delle previsioni rimaneva errata. Ciò suggerisce che il modo in cui i diversi ospedali documentano le loro cure, o le soglie specifiche che utilizzano per decidere quando somministrare un farmaco, siano così diversi che un singolo modello non può essere semplicemente copiato e incollato da un luogo all'altro.

Lo studio ha anche esaminato se il modello potesse essere migliorato imparando dai nuovi dati. Hanno testato un metodo in cui il modello riceveva una piccola quantità di nuove informazioni dagli ospedali locali per regolare le sue impostazioni interne. Hanno scoperto che, anche con questo apprendimento locale, il modello faticava ad adattarsi perfettamente, specialmente quando guardava ai singoli ospedali anziché all'intero gruppo. Infatti, molti degli ospedali individuali nella nuova rete avevano pochissimi pazienti che ricevevano il farmaco, rendendo statisticamente impossibile costruire una versione personalizzata affidabile per ciascuno di essi. I ricercatori hanno concluso che, sebbene il modello possa servire come utile strumento di classificazione per aiutare i medici a dare priorità ai pazienti da esaminare per primi, non può essere utilizzato per fornire una percentuale specifica di probabilità che un paziente avrà bisogno del farmaco. Non può dire a un medico: "C'è il 40 percento di probabilità che questo paziente abbia bisogno di vasopressina", perché quel numero sarebbe probabilmente sbagliato.

In definitiva, questa ricerca evidenzia un limite fondamentale nell'uso delle cartelle cliniche elettroniche per prevedere i trattamenti medici. L'esito che il modello cercava di prevedere non era un evento biologico come un attacco cardiaco, ma una decisione umana registrata in un sistema informatico. Poiché quella decisione dipende dalle abitudini locali, dai farmaci disponibili e dagli stili di documentazione, il "segnale" che il modello rileva è un mix di fisiologia del paziente e cultura ospedaliera. Il modello ha imparato la cultura del primo ospedale così bene da non riuscire a separarla dalla biologia del paziente quando si è spostato in un nuovo luogo. I ricercatori sottolineano che questo strumento non dovrebbe essere utilizzato per avviare automaticamente il trattamento o per fare affermazioni definitive su un paziente. Invece, potrebbe essere utile in una "modalità silenziosa", in cui segnala discretamente i pazienti ad alto rischio affinché un medico umano possa esaminarli, a condizione che il team locale controlli e regoli prima i numeri per adattarli alla realtà del proprio ospedale. Lo studio serve come promemoria che, in medicina, un modello che funziona in un posto non è garantito che funzioni in un altro, e che comprendere la differenza tra classificare i pazienti e prevedere il loro rischio esatto è essenziale per un'assistenza sicura ed efficace.