Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records

Sintetico ma non Realistico

Definizione del Problema
I dati sanitari sintetici sono sempre più proposti come sostituti preservanti della privacy dei veri record medici elettronici (EMR) per facilitare la condivisione dei dati e lo sviluppo di modelli. Tuttavia, la valutazione di questi dati sintetici rimane dominata da metriche di somiglianza statistica (ad es., l'appaiamento delle distribuzioni marginali) e dalle prestazioni predittive a valle. Gli autori sostengono che queste metriche standard non riescono a riflettere la validità clinica. Nello specifico, le attuali pratiche di valutazione spesso trascurano se i dati sintetici preservino le proprietà strutturali necessarie per un'inferenza epidemiologica affidabile, come le distribuzioni dei sottogruppi, le stime di rischio calibrate e le corrette strutture di dipendenza causale. Di conseguenza, i dati sintetici possono apparire "realistici" secondo le metriche standard, pur fallendo nel supportare conclusioni cliniche o scientifiche valide.

Metodologia
Per affrontare questo disallineamento, gli autori propongono un framework di valutazione multidimensionale basato sull'epidemiologia, che valuta i dati sintetici attraverso tre dimensioni distinte corrispondenti a domande di ricerca descrittiva, predittiva e causale:

1. Fedeltà Descrittiva: Valuta la riproduzione delle proprietà statistiche osservabili, incluse le distribuzioni marginali e, crucialmente, i riassunti stratificati attraverso sottopopolazioni predefinite (ad es., gruppi di età e quintili di stato socioeconomico) per rilevare distorsioni specifiche per sottogruppo.
2. Utilità Clinica: Valuta la capacità dei dati di supportare compiti predittivi utilizzando l'analisi del tempo all'evento. Gli autori impiegano il modello dei rischi proporzionali di Cox per valutare:
   • Hazard Ratios (HR): Preservazione dell'entità degli effetti delle covariate.
   • Calibrazione: L'accordo tra le probabilità di evento previste e le frequenze osservate, misurato tramite la metrica distanza-da-1 ($D_{21}$), sia a livello di popolazione che attraverso gli strati.
3. Validità Strutturale: Valuta la preservazione delle strutture di dipendenza di ordine superiore utilizzando la scoperta causale. L'algoritmo Greedy Equivalence Search (GES) viene applicato sia ai dati reali che a quelli sintetici per recuperare grafi aciclici diretti (DAG). Le prestazioni sono misurate utilizzando la Structural Hamming Distance (SHD), la precisione/richiamo/F1 di adiacenza e la precisione/richiamo/F1 di orientamento.

Configurazione Sperimentale
Il framework è stato applicato a PRIME-CVD, una coorte simulata di 50.000 adulti generata da un Grafo Aciclico Diretto (DAG) con struttura nota (ground-truth). Questo dataset consente una rigorosa validazione delle proprietà statistiche, cliniche e causali. Gli autori hanno valutato quattro paradigmi generativi rappresentativi sotto un'unica rappresentazione:

• WGAN-GP: Reti Generative Avversarie con penalità del gradiente, aumentate con un regolarizzatore di correlazione.
• WGAN-GP + VAE: Un approccio ibrido che sostituisce il prior fisso con una distribuzione latente appresa tramite un Variational Autoencoder.
• DDPM: Modelli di Diffusione Probabilistica di Denoising che utilizzano il denoising iterativo.
• MCM (Masked Conditional Model): Un approccio di autoencoding basato su masking che apprende la ricostruzione condizionale.

Risultati Chiave
La valutazione ha rivelato che, sebbene tutti i modelli abbiano riprodotto con successo le distribuzioni marginali a livello di popolazione, nessuno ha preservato simultaneamente la struttura dei sottogruppi, le stime degli effetti e la struttura delle dipendenze:

• Distorsione dei Sottogruppi: Tutti i modelli hanno mostrato deviazioni aumentate nelle distribuzioni condizionali attraverso i quintili socioeconomici (IRSD) rispetto al livello di popolazione. In particolare, DDPM e MCM hanno mostrato una varianza ridotta e distribuzioni più nette per le variabili continue.
• Utilità Clinica:
  • Hazard Ratios: I metodi basati su GAN e MCM hanno prodotto HR più vicini alla verità fondamentale (ground truth), mentre DDPM ha prodotto HR sostanzialmente più grandi per molteplici covariate.
  • Calibrazione: Sebbene WGAN-GP abbia ottenuto la migliore calibrazione a livello di popolazione ($D_{21} = 0,048$), tutti i modelli hanno mostrato errori di calibrazione significativi quando stratificati per stato socioeconomico (ad es., gli errori di WGAN-GP variavano da 0,15 a 0,35 tra i quintili).
• Validità Strutturale:
  • Recupero del Grafo: Nessun modello è riuscito a identificare sia l'Età che l'IRSD come nodi esogeni nei grafi recuperati.
  • Relazioni Spurie: I dati sintetici hanno generalmente prodotto grafi più densi rispetto alla verità fondamentale, indicando relazioni spurie. MCM ha ottenuto la Structural Hamming Distance più bassa (16) e i punteggi F1 più alti per adiacenza e orientamento, mentre DDPM ha mostrato la maggiore deviazione strutturale (32).

Significatività e Rivendicazioni
L'articolo sostiene che le attuali pratiche di valutazione sovrastimano la qualità dei dati sanitari sintetici. Gli autori dimostrano che un'elevata fedeltà distributiva non garantisce l'utilità clinica o la validità strutturale. In particolare:

• I modelli con una forte fedeltà marginale possono presentare una scarsa calibrazione e relazioni distorte, portando a inferenze inaffidabili.
• I tre flussi di valutazione (descrittivo, predittivo, causale) non sono intercambiabili; un modello può avere successo in una dimensione pur fallendo in altre.
• I risultati mettono in discussione il prevalente "trade-off tra realismo e privacy", suggerendo che i problemi di fedeltà siano attualmente il collo di bottiglia principale piuttosto che i rischi per la privacy.
• Gli autori concludono che l'inserimento di dati sintetici non realistici nei modelli decisionali rischia di introdurre bias che potrebbero infine danneggiare i pazienti reali. Raccomandano di adottare una valutazione informata dal dominio basata sulla capacità di supportare conclusioni cliniche e scientifiche valide, piuttosto che fare affidamento esclusivamente su metriche di somiglianza statistica.

Lo studio è modesto nella sua portata, riconoscendo che la valutazione è stata condotta su un singolo dataset (PRIME-CVD) con una verità fondamentale nota, che potrebbe non catturare tutte le complessità dei veri dati EMR del mondo reale. Tuttavia, i risultati servono come motivazione per spostare gli standard di valutazione verso framework con basi epidemiologiche.