Sintesi Tecnica: Accelerare la Ricerca Riproducibile nella Generazione di EHR Sintetici

1. Definizione del Problema

La generazione di cartelle cliniche elettroniche (EHR) sintetiche ad alta fedeltà è essenziale per far avanzare la ricerca medica preservando al contempo la privacy dei pazienti. Tuttavia, il campo affronta una crisi della riproducibilità causata da barriere sistemiche:

• Infrastruttura Disgiunta: I modelli generativi esistenti (ad es., MedGAN, CorGAN, PromptEHR) sono implementati in codebase disparate con dipendenze incompatibili, dimensioni dei dataset codificate (hard-coded) e design procedurali che ostacolano il confronto diretto.
• Frammentazione della Valutazione: Non esiste un framework di benchmarking unificato. Le metriche vengono riportate in modo incoerente e gli strumenti standardizzati moderni (ad es., sdmetrics) spesso non riescono a gestire l'alta dimensionalità e la natura sequenziale dei dati EHR.
• Perdita di Granularità: Per gestire la scarsità (sparsity), i ricercatori spesso troncano i codici ICD-9 dal vocabolario completo (6.955 codici) a categorie a tre cifre (1.071 codici). Questa pratica scarta informazioni clinicamente vitali sulla "coda lunga" (ad es., distinguere tra diabete complicato e non complicato) e maschera le scarse prestazioni dei modelli sui codici rari.
• Incoerenza Architetturale: Le implementazioni dello stesso algoritmo spesso divergono in capacità (ad es., alcune versioni PyTorch di MedGAN supportano solo matrici binarie, omettendo il supporto originale per le matrici di conteggio).

2. Metodologia

Gli autori introducono un framework di benchmarking leggero ed end-to-end costruito sulla libreria PyHealth, mantenuta dalla comunità. Il framework unifica la pipeline dalla ingestione dei dati alla valutazione, garantendo che tutti i modelli consumino input identici e producano output in un formato standardizzato.

2.1. Rappresentazione Unificata dei Dati

Il framework adotta uno schema a livello di visita in formato lungo (ID Soggetto, ID Visita, Codice), coerente con gli standard della comunità come MEDS. Questo schema preserva:

• Struttura Temporale: I confini delle visite e l'ordine delle visite.
• Ripetizioni dei Codici: La frequenza dei codici all'interno delle visite.
• Granularità: L'intero vocabolario ICD-9 (6.955 codici) anziché sottoinsiemi troncati.

Tutti gli output sintetici, indipendentemente dalla rappresentazione interna del generatore (matrici statiche o sequenze dinamiche), vengono convertiti in questa struttura relazionale normalizzata prima della valutazione.

2.2. Baseline Reimplementate

Gli autori reimplementano e scalano quattro forti baseline per supportare la piena granularità ICD-9:

1. MedGAN: Ripristina il supporto originale alla matrice di conteggio (omesso nelle precedenti versioni PyTorch) per modellare conteggi interi illimitati per diagnosi.
2. CorGAN: Estende l'architettura convoluzionale da 6 a 8 strati per gestire nativamente lo spazio di output a 6.955 dimensioni, sostituendo l'originale troncamento a 3 cifre.
3. PromptEHR: Un modello sequence-to-sequence basato su BART condizionato dai dati demografici. Gli autori introducono la generazione guidata dalla frequenza (miscelazione dei logit del modello con le frequenze empiriche dei codici) e l'inizializzazione della traiettoria condizionata ai dati demografici per migliorare il realismo clinico senza aumentare i dati con record reali di pazienti.
4. HALO: Un modello autoregressivo gerarchico (moduli a livello di visita e a livello di codice) che era già pronto per la produzione e richiedeva modifiche minime.
5. Baseline GPT-2: Un transformer autoregressivo leggero e general-purpose (8 strati, dimensione dell'embedding 512) implementato per testare se siano necessarie architetture specializzate.

2.3. Suite di Valutazione Agnostica rispetto all'Architettura

Il framework impiega una rigorosa suite di valutazione agnostica rispetto al modello:

• Fedeltà (Utilità):
  • Prevalenza Statistica: Misura l'allineamento della distribuzione marginale utilizzando $R^2$, correlazione di Pearson e RMSE.
  • Fedeltà Basata sul Discriminatore: Addestra un classificatore binario (LSTM per dati sequenziali, Random Forest per dati appiattiti) per distinguere i dati reali da quelli sintetici. Il Punteggio Discriminativo ($1 - 2|0.5 - \text{Accuratezza}|$) quantifica l'indistinguibilità.
• Privacy:
  • Nearest Neighbor Adversarial Accuracy Risk (NNAAR): Una metrica di distanza di set consapevole delle sequenze (distanza di Hamming modificata) che misura se i campioni sintetici sono più vicini ai dati di addestramento rispetto ai dati di test tenuti da parte.
  • Membership Inference Attack (MIA): Testa se un avversario può distinguere i membri dell'addestramento dai non membri basandosi sulla distanza dai dati sintetici.

3. Contributi Chiave

1. Restauro Architetturale e Scalabilità: Gli autori ripristinano le capacità perse (modalità di conteggio MedGAN) ed estendono le architetture (strati CorGAN) per supportare l'intero vocabolario ICD-9, andando oltre i sottoinsiemi troncati utilizzati nei lavori precedenti.
2. Benchmarking Standardizzato: Forniscono una pipeline unificata che consente un confronto equo e affiancato di generatori basati su GAN e su Transformer utilizzando metriche di privacy e utilità coerenti.
3. Infrastruttura Estendibile: Costruito su PyHealth, il framework offre un singolo pacchetto pip install e workflow interattivi su Colab, abbassando la barriera ingegneristica per la ricerca futura.
4. Analisi della Coda Lunga (Long-Tail): Il framework valuta esplicitamente le prestazioni sui codici rari, rivelando i fallimenti dei modelli che i benchmark troncati nascondono.

4. Risultati

La valutazione è stata condotta su dati MIMIC-III con 10.000 pazienti.

• Trade-off tra Fedeltà e Utilità:
  • Modelli Sequenziali (HALO, PromptEHR, GPT-2): Hanno ottenuto Punteggi Discriminativi superiori (più vicini a 0.5, indicando un'alta indistinguibilità). Hanno catturato con successo le distribuzioni congiunte e le dinamiche temporali.
  • Modelli Flat (MedGAN, CorGAN): Hanno ottenuto un'alta Utilità Statistica (alta $R^2$ sulla prevalenza marginale) ma bassi Punteggi Discriminativi. Hanno fallito nel catturare le complesse correlazioni congiunte, rendendoli facilmente distinguibili dai dati reali.
• Privacy: Tutti i modelli hanno dimostrato una robusta protezione della privacy, con un'accuratezza MIA vicina al caso casuale (0.5) e punteggi NNAAR trascurabili, indicando che non vi è una memorizzazione significativa dei dati di addestramento.
• Prestazioni della Baseline GPT-2: Sorprendentemente, la leggera baseline GPT-2 ha ottenuto il Punteggio Discriminativo più alto (0.355) tra i modelli sequenziali, superando le architetture specializzate in termini di realismo, sebbene sia rimasta leggermente indietro nella prevalenza marginale ($R^2$) rispetto a HALO.
• Prestazioni sulla Coda Lunga:
  • Espandendo l'ambito di valutazione al 99° percentile dei codici rari, HALO e PromptEHR hanno mantenuto un'alta $R^2$, dimostrando la capacità di modellare le dipendenze rare.
  • CorGAN è crollato completamente ($R^2 \approx 0$) sui codici rari.
  • GPT-2 ha performato bene fino al 97.5° percentile, ma è degradato bruscamente al 99° percentile, evidenziando la difficoltà di generare codici estremi della coda lunga senza meccanismi specializzati.
  • Rischi di Privacy: L'inclusione di codi rari ha aumentato i rischi MIA per tutti i modelli, suggerendo che i codici rari agiscano come quasi-identificatori.

5. Significato e Rivendicazioni

L'articolo sostiene di fornire un punto di partenza per la riproducibilità guidata dalla comunità piuttosto che un benchmark finale e immutabile. Il suo significato risiede in:

• Abbassamento delle Barriere: Unificando le diverse baseline sotto un'unica pipeline, permette ai ricercatori di concentrarsi sull'innovazione scientifica piuttosto che sulla reimplementazione del codice o sulla gestione dei conflitti di dipendenza.
• Esposizione dei Fallimenti Nascosti: Il framework rivela che, sebbene i modelli possano apparire di successo su metriche marginali e troncate, spesso falliscono nel catturare la distribuzione congiunta e la realtà della coda lunga dei dati EHR.
• Sfida alla Specializzazione: La forte prestazione della baseline general-purpose GPT-2 suggerisce che architetture complesse e specifiche del dominio potrebbero non essere sempre necessarie per la sintesi EHR ad alta fedeltà.
• Preparazione al Futuro: Gli autori posizionano il framework come un "substrato vivente" destinato ad essere esteso dalla comunità per supportare l'ICD-10, ulteriori modalità (laboratorio, parametri vitali) e metriche di privacy più forti.

Gli autori dichiarano esplicitamente di non pretendere che le baseline precedenti fossero irriproducibili al momento del loro rilascio, né che questo framework resisterà permanentemente al debito tecnico. Sostengono invece che lo stato attuale di repository disgiunti rende il confronto attuale quasi impossibile, e che questo lavoro fornisce il substrato necessario per abilitare una ricerca equa, scalabile e riproducibile in futuro.