📊 statistics

Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

Questo articolo dimostra che, per garantire prestazioni predittive imparziali e compatibilità attraverso l'intero ciclo di vita del modello di predizione clinica, i ricercatori devono allineare le strategie di gestione dei dati mancanti durante lo sviluppo e la validazione con i vincoli specifici dell'implementazione del modello, come l'uso dell'imputazione multipla quando i dati mancanti sono esclusi o il mantenimento di metodi di imputazione coerenti quando i dati mancanti sono consentiti.

Autori originali: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Pubblicato 2026-02-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere uno chef che cerca di creare la ricetta perfetta per un nuovo piatto (un Modello di Predizione Clinica). Il tuo obiettivo è prevedere come reagirà un cliente al piatto. Per farlo, hai bisogno di ingredienti specifici (predittori come età, pressione sanguigna, ecc.). Ma a volte, non hai tutti gli ingredienti quando stai cucinando, o i tuoi clienti potrebbero non aver fornito tutte le informazioni sulle loro preferenze alimentari.

Questo articolo riguarda come gestire questi "ingredienti mancanti" in tre diverse fasi del tuo processo di cucina:

Sviluppo: Creare la ricetta nella tua cucina sperimentale.
Validazione: Assaggiare la ricetta con un nuovo gruppo di persone per vedere se funziona.
Distribuzione (Deployment): Servire il piatto al grande pubblico.

Gli autori hanno scoperto che il modo in cui gestisci gli ingredienti mancanti nella tua cucina sperimentale e nella tua sessione di assaggio deve corrispondere a come prevedi di servire il piatto al pubblico. Se non li fai corrispondere, la tua ricetta fallirà, o crederai che sia deliziosa quando invece è terribile.

Ecco la ripartizione delle loro scoperte utilizzando analogie semplici:

Le due regole principali del gioco

Gli autori propongono due regole d'oro per gestire i dati mancanti:

La regola della "Nessuna Degradazione": Quando sviluppi la tua ricetta, devi gestire gli ingredienti mancanti in modo da garantire che il piatto finale abbia lo stesso sapore della versione "perfetta" (dove avevi tutti gli ingredienti).
La regola della "Verità": Quando validi (testi) la tua ricetta, devi gestire gli ingredienti mancanti in modo da darti un punteggio onesto. Non vuoi ingannare te stesso facendoti credere che la ricetta sia migliore o peggiore di quanto sia realmente.

Scenario A: Il ristorante "Rigido" (Nessun dato mancante consentito)

Immagina un ristorante elegante dove lo chef rifiuta di cucinare un piatto a meno che il cliente non fornisca ogni singolo ingrediente presente nel menù. Se a un cliente manca un ingrediente, lo chef dice: "Mi dispiace, non posso cucinare per lei".

Il consiglio del documento: Se il tuo piano è quello di essere questo chef rigido, devi sviluppare e testare la tua riczione utilizzando l'Imputazione Multipla (MI).
- L'analogia: Pensa all'Imputazione Multipla come a un "indovino magico" che colma gli spazi vuoti degli ingredienti mancanti basandosi su ciò che sai, ma che lo fa tenendo conto dell'incertezza. Fondamentalmente, questo "indovino magico" ha bisogno di conoscere l'esito finale (al cliente è piaciuto il piatto?) per fare buone ipotesi durante la fase di sviluppo.
- La trappola: Se sviluppi la tua ricetta usando l' "Imputazione della Media" (ovvero indovinare semplicemente l'ingrediente medio per tutti) o l' "Analisi dei Casi Completi" (ovvero scartare qualsiasi cliente a cui manca un ingrediente), la tua ricetta sarà debole. Quando proverai finalmente a servirla al pubblico rigido, avrà un cattivo sapore (degradazione del modello).

Scenario B: Il Food Truck "Flessibile" (Dati mancanti consentiti)

Ora, immagina un food truck dove lo chef è disposto ad accettare ingredienti mancanti. Se un cliente dimentica di dire se è allergico alla frutta a guscio, lo chef usa semplicemente un "livello predefinito" standard o un metodo specifico di "indovinare" per continuare a cucinare.

Il consiglio del documento: Se il tuo piano è quello di essere questo chef flessibile, devi usare lo stesso identico metodo per colmare gli ingredienti mancanti durante lo sviluppo, il test e il servizio.
- L'analogia: Se decidi di usare un' "Imputazione per Regressione" (un tipo specifico di indovinare intelligente basato su altri ingredienti) per riempire i vuoti per i tuoi clienti, devi usare lo stesso metodo di "indovinare intelligente" quando crei la ricetta e quando la testi.
- La trappola: Se crei la ricetta usando l' "Imputazione della Media" (medie) ma poi dici ai tuoi clienti: "Non preoccupatevi, useremo un metodo di 'Indovinare Intelligente' per colmare le vostre informazioni mancanti", la ricetta si romperà. La matematica non coinciderà. Il documento ha scoperto che mescolare i metodi (come sviluppare con un metodo e validare con un altro) porta quasi sempre a un punteggio distorto: pensi che il tuo food truck sia un successo, ma in realtà sta fallendo.

Il "Sotto-modello di Pattern" (Il caso speciale)

Il documento ha anche esaminato un metodo chiamato Sotto-modelli di Pattern (Pattern Sub-Models).

L'analogia: Invece di una grande ricetta, scrivi quattro mini-ricette diverse:
1. Una per i clienti che hanno fornito tutte le informazioni.
2. Una per i clienti a cui manca l'ingrediente A.
3. Una per i clienti a cui manca l'ingrediente B.
4. Una per i clienti che mancano di entrambi.
Il consiglio del documento: Se intendi usare questo approccio delle "mini-ricette" al food truck, devi sviluppare e testare usando esattamente questo stesso approccio di "mini-ricette". Non puoi sviluppare con le mini-ricette e poi testare mediando tutto insieme.

La grande lezione

Gli autori hanno eseguito migliaia di simulazioni al computer e controllato dati reali sulla chirurgia per dimostrare il loro punto. Hanno scoperto che le pratiche comuni sono spesso errate.

Errore comune: Molti ricercatori sviluppano un modello usando un metodo (come l'Imputazione Multipla) per ottenere statistiche migliori, ma poi lo distribuiscono usando un metodo più semplice (come l'Imputazione della Media) perché è più facile da programmare in un'app.
Il risultato: Questo crea un "paradosso del bugiardo". Il modello sembra ottimo in laboratorio, ma quando arriva nel mondo reale, le sue prestazioni sono scarse, oppure i punteggi di prestazione sono completamente sbagliati.

Sintesi in una frase

Per costruire uno strumento di predizione medica affidabile, devi decidere per primo come gestirai i dati mancanti quando lo strumento verrà effettivamente utilizzato nel mondo reale, e poi devi usare lo stesso identico metodo per costruire e testare lo strumento; mescolare e abbinare i metodi porta a modelli rotti e a una falsa fiducia.

Sintesi Tecnica: Compatibilità dei Metodi di Gestione dei Dati Mancanti attraverso le Fasi di Produzione di Modelli di Predizione Clinica

Definizione del Problema
I dati mancanti nelle variabili predittive rappresentano una sfida pervasiva durante l'intero ciclo di vita dei Modelli di Predizione Clinica (CPM), che abbraccia lo sviluppo, la validazione e l'implementazione. Mentre la ricerca metodologica ha ampiamente affrontato i dati mancanti per l'inferenza causale (concentrandosi su stime dei parametri non influenzate da bias), gli obiettivi della modellazione predittiva sono differenti: l'obiettivo primario è una predizione accurata e ben calibrata su nuovi individui. Le pratiche attuali spesso mancano di una guida su come le decisioni relative alla gestione dei dati mancanti durante lo sviluppo e la validazione debbano allinearsi con la strategia di implementazione prevista. Nello specifico, non è chiaro se i metodi utilizzati per gestire la mancanza di dati durante la costruzione e il test del modello siano "compatibili" con il modo in cui il modello verrà infine utilizzato nella pratica clinica. Le incongruenze — come l'uso dell'Imputazione Multipla (MI) durante lo sviluppo e dell'Imputazione della Media durante l'implementazione — possono portare a stime delle prestazioni distorte o al degrado del modello.

Metodologia
Gli autori hanno investigato questo problema attraverso due approcci complementari: uno studio di simulazione su larga scala e un'analisi empirica di dati chirurgici reali.

Studio di Simulazione:
- Design: Seguendo il framework ADEMP, lo studio ha simulato una popolazione target di 200.000 individui con due predittori ( $X_1, X_2$ ) e un esito binario. $X_1$ era soggetto a mancanza di dati, mentre $X_2$ e l'esito erano completamente osservati.
- Meccanismi di Mancanza: Sono stati utilizzati sei Grafi Aciclici Diretti (DAG) per indurre meccanismi di Mancanza Completamente Casuale (MCAR), Mancanza Casuale (MAR) e Mancanza Non Casuale (MNAR). Le proporzioni di dati mancanti variavano dal 10% al 50%, e le correlazioni tra i predittori sono state variate.
- Metodi di Gestione: Cinque strategie sono state valutate in ogni fase (sviluppo, validazione, implementazione):
  - Analisi dei Casi Completi (CCA)
  - Imputazione Media/Moda
  - Imputazione di Regressione Deterministica Singola (RI)
  - Imputazione Multipla (MI), testata sia con l'esito incluso (MI-with-Y) che escluso (MI-no-Y).
  - Sotto-modelli di Pattern (PSM).
- Criteri di Compatibilità: Lo studio ha definito la "compatibilità" basandosi su due principi:
  1. Minimizzazione del Degrado del Modello: La differenza tra le prestazioni del modello implementato e le prestazioni del vero modello sotto una specifica strategia di implementazione.
  2. Validazione Non Distorta: Il processo di validazione deve fornire una stima non distorta delle prestazioni del modello quando implementato sotto quella stessa strategia.
- Scenari: Lo studio ha testato tutte le combinazioni di strategie di sviluppo, validazione e implementazione attraverso 600 scenari.
Analisi Empirica:
- Dati: Gli autori hanno utilizzato il North-West Clinical Outcomes Research Registry (NCORR), che contiene 6.600 pazienti sottoposti a resezione polmonare.
- Compito: Predire la mortalità a 90 giorni post-chirurgia utilizzando un modello di regressione logistica basato sul RESECT-90 CPM.
- Procedura: È stato utilizzato il campionamento bootstrap per creare 100 dataset di sviluppo. I modelli sono stati sviluppati utilizzando i vari metodi di gestione dei dati mancanti e poi validati contro il dataset originale, applicando le corrispondenti strategie di validazione per valutare il bias delle prestazioni.

Risultati Chiave
I risultati della simulazione e l'analisi empirica hanno dimostrato costantemente che la compatibilità dipende fortemente dalla strategia di implementazione prevista:

Implementazione che Richiede Dati Completi (E-all):
- Per minimizzare il degrado e garantire una validazione non distorta, i modelli dovrebbero essere sviluppati e validati utilizzando l'Imputazione Multipla includendo l'esito (MI-with-Y) o i dati completamente osservati.
- Sotto meccanismi di mancanza complessi (ad esempio, MNAR), anche MI-with-Y mostrava un certo grado di degrado, ma rimaneva superiore agli altri metodi.
- L'uso di CCA o dell'Imputazione della Media per lo sviluppo ha portato a un significativo degrado del modello quando implementato sotto una strategia E-all.
Implementazione che Permette Dati Mancanti:
- Quando un CPM è destinato a essere implementato permettendo la presenza di dati mancanti (utilizzando un metodo specifico come l'Imputazione della Media, RI, MI-no-Y o PSM), lo stesso metodo deve essere utilizzato sia durante lo sviluppo che durante la validazione.
- Imputazione Media/Moda: Sviluppare con MI e implementare con l'Imputazione della Media ha prodotto stime delle prestazioni distorte ed errori di calibrazione.
- Imputazione di Regressione (RI) & PSM: Questi metodi hanno funzionato bene solo quando le strategie di sviluppo, validazione e implementazione erano identiche.
- MI-no-Y: Sebbene teoricamente attraente per l'implementazione, l'uso di MI-no-Y durante lo sviluppo ha portato a stime distorte dell'associazione predittore-esito, causando un degrado quando implementato sotto una strategia E-MI.
Bias di Validazione:
- Un risultato critico è stato che il bias di validazione era guidato principalmente dal metodo utilizzato per gestire i dati mancanti durante la validazione, piuttosto che dal metodo utilizzato durante lo sviluppo.
- Se un modello viene validato utilizzando un metodo diverso dalla strategia di implementazione prevista, le stime delle prestazioni saranno distorte, indipendentemente da come il modello è stato originariamente costruito.

Significatività e Rivendicazioni
Il documento sostiene che la decisione di come gestire i dati mancanti durante l'implementazione deve fondamentalmente informare le decisioni prese durante lo sviluppo e la validazione. Gli autori affermano che:

Le Pratiche Attuali sono Difettose: Le comuni combinazioni di metodi trovate in letteratura (ad esempio, sviluppare con MI e validare/implementare con l'Imputazione della Media) producono frequentemente stime delle prestazioni predittive distorte e modelli sub-ottimali.
L'Allineamento è Essenziale: Per ottenere la compatibilità, i ricercatori devono lavorare a ritroso partendo dalla strategia di implementazione.
- Se l'obiettivo è un modello per pazienti con dati completi, utilizzare MI-with-Y (o dati completi) in tutto il processo.
- Se l'obiettivo è un modello per pazienti con dati mancanti, utilizzare lo stesso metodo di imputazione (ad esempio, RI o PSM) in tutto lo sviluppo, la validazione e l'implementazione.
Implicazioni Pratiche: Gli autori sottolineano che, sebbene MI-with-Y sia statisticamente robusto per l'implementazione con dati completi, è spesso poco pratico per l'implementazione (richiedendo l'accesso ai dati originali o risorse computazionali complesse). Pertanto, se un modello deve gestire dati mancanti nella pratica, gli sviluppatori dovrebbero dare priorità ai metodi deterministici come l'Imputazione di Regressione o i Sotto-modelli di Pattern fin dall'inizio, invece di cercare di adattare un modello costruito per dati completi.

Lo studio conclude che, senza questo allineamento, la traduzione dei CPM nella pratica clinica rischia di basarsi su stime di prestazioni imprecise, compromettendo potenzialmente l'assistenza ai pazienti.