Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records

Technische Samenvatting: Synthetisch maar niet Realistisch

Probleemstelling
Synthetische gezondheidszorggegevens worden steeds vaker voorgesteld als een privacy-beschermend alternatief voor echte elektronische medische dossiers (EMR's) om gegevensdeling en modelontwikkeling te faciliteren. De evaluatie van deze synthetische gegevens wordt echter gedomineerd door statistische gelijkenis-metrieken (bijv. het matchen van marginale distributies) en downstream voorspellende prestaties. De auteurs stellen dat deze standaardmetrieken er niet in slagen de klinische validiteit te reflecteren. Concreet schieten bestaande evaluatiepraktijken vaak tekort in het beoordelen of synthetische gegevens de structurele eigenschappen behouden die nodig zijn voor betrouwbare epidemiologische inferentie, zoals accurate subgroepverdelingen, gekalibreerde risicoschattingen en correcte causale afhankelijkheidsstructuren. Bijgevolg kunnen synthetische gegevens onder standaardmetrieken "realistisch" lijken, terwijl ze falen in het ondersteunen van valide klinische of wetenschappelijke conclusies.

Methodologie
Om deze discrepantie aan te pakken, stellen de auteurs een multidimensionaal evaluatiekader voor dat geworteld is in de epidemiologie, waarbij synthetische gegevens worden beoordeeld over drie afzonderlijke dimensies die overeenkomen met descriptieve, predictieve en causale onderzoeksvragen:

1. Descriptieve Getrouwheid (Descriptive Fidelity): Evalueert de reproductie van observeerbare statistische eigenschappen, inclusief marginale distributies en, cruciaal, gestratificeerde samenvattingen over vooraf gedefinieerde subpopulaties (bijv. leeftijdsgroepen en sociaaleconomische kwintielen) om subgroep-specifieke distorties te detecteren.
2. Klinische Bruikbaarheid (Clinical Utility): Beoordeelt het vermogen van de gegevens om voorspellende taken te ondersteunen met behulp van time-to-event analyse. De auteurs gebruiken het Cox proportional hazards model om het volgende te evalueren:
   • Hazard Ratio's (HR's): Behoud van covariaat-effectgroottes.
   • Kalibratie: De overeenstemming tussen voorspelde gebeurtenis-waarschijnlijkheden en geobserveerde frequenties, gemeten via de distance-to-1 metriek ($D_{21}$), zowel op populatieniveau als over strata heen.
3. Structurele Validiteit (Structural Validity): Evalueert het behoud van hogere-orde afhankelijkheidsstructuren met behulp van causale ontdekking (causal discovery). Het Greedy Equivalence Search (GES) algoritme wordt toegepast op zowel echte als synthetische gegevens om gerichte acyclische grafen (DAG's) te herstellen. De prestaties worden gemeten met behulp van Structural Hamming Distance (SHD), evenals adjacency precision/recall/F1 en orientation precision/recall/F1.

Experimentele Opzet
Het kader werd toegepast op PRIME-CVD, een gesimuleerde cohort van 50.000 volwassenen gegenereerd uit een handgespecificeerde Directed Acyclic Graph (DAG) met een bekende grondwaarheid (ground-truth structuur). Deze dataset maakt rigoureuze validatie van statistische, klinische en causale eigenschappen mogelijk. De auteurs evalueerden vier representatieve generatieve paradigma's onder een uniforme representatie:

• WGAN-GP: Generative Adversarial Networks met een gradient penalty, uitgebreid met een correlatie-regularisator.
• WGAN-GP + VAE: Een hybride benadering waarbij de vaste prior wordt vervangen door een geleerde latente distributie via een Variational Autoencoder.
• DDPM: Denoising Diffusion Probabilistic Models met iteratieve denoising.
• MCM (Masked Conditional Model): Een masking-gebaseerde autoencoding-benadering die conditionele reconstructie leert.

Belangrijkste Resultaten
De evaluatie toonde aan dat hoewel alle modellen de marginale distributies op populatieniveau succesvol reproduceerden, geen van de modellen simultaan de subgroepstructuur, effectschattingen en afhankelijkheidsstructuur behield:

• Subgroep-distortie: Alle modellen vertoonden verhoogde afwijkingen in conditionele distributies over sociaaleconomische (IRSD) kwintielen vergeleken met het populatieniveau. Opvallend genoeg vertoonden DDPM en MCM een verminderde variantie en scherpere distributies voor continue variabelen.
• Klinische Bruikbaarheid:
  • Hazard Ratio's: GAN-gebaseerde methoden en MCM produceerden HR's die het dichtst bij de grondwaarheid lagen, terwijl DDPM substantieel grotere HR's produceerde voor meerdere covariaten.
  • Kalibratie: Hoewel WGAN-GP de beste kalibratie op populatieniveau bereikte ($D_{21} = 0,048$), vertoonden alle modellen significante kalibratiefouten wanneer zij werden gestratificeerd naar sociaaleconomische status (bijv. de fouten van WGAN-GP varieerden van 0,15 tot 0,35 over de kwintielen).
• Structurele Validiteit:
  • Grafiekherstel: Geen enkel model slaagde erin om zowel Leeftijd als IRSD als exogene knopen te identificeren in de herstelde grafieken.
  • Spurieuze Relaties: Synthetische gegevens leverden over het algemeen dichtere grafieken op dan de grondwaarheid, wat wijst op spurieuze relaties. MCM behaalde de laagste Structural Hamming Distance (16) en de hoogste F1-scores voor zowel adjacency als orientation, terwijl DDPM de grootste structurele afwijking vertoonde (32).

Betekenis en Claims
Het artikel beweert dat huidige evaluatiepraktijken de kwaliteit van synthetische gezondheidszorggegevens overschatten. De auteurs demonstreren dat een hoge distributieve getrouwheid geen garantie biedt voor klinische bruikbaarheid of structurele validiteit. Specifiek:

• Modellen met een sterke marginale getrouwheid kunnen een slechte kalibratie en vertekende relaties vertonen, wat leidt tot onbetrouwbare inferentie.
• De drie evaluatiestromen (descriptief, predictief, causaal) zijn niet uitwisselbaar; een model kan succesvol zijn in één dimensie terwijl het in andere dimensies faalt.
• De bevindingen dagen de heersende "realisme-privacy-trade-off" uit, waarbij wordt gesuggereerd dat problemen met getrouwheid momenteel de primaire bottleneck vormen in plaats van privacyrisico's.
• De auteurs concluderen dat het integreren van onrealistische synthetische gegevens in besluitvormingsmodellen het risico met zich meebrengt dat er bias wordt geïntroduceerd die uiteindelijk echte patiënten schade kan berokkenen. Zij pleiten voor een domein-geïnformeerde beoordeling gebaseerd op het vermogen om valide klinische en wetenschappelijke conclusies te ondersteunen, in plaats van uitsluitend te vertrouwen op statistische gelijkenis-metrieken.

De studie is bescheiden in haar reikwijdte en erkent dat de evaluatie werd uitgevoerd op een enkele dataset (PRIME-CVD) met een bekende grondwaarheid, wat mogelijk niet alle complexiteiten van echte EMR-data vangt. De resultaten dienen echter als motivatie om de evaluatiestandaarden te verschuiven naar epidemiologisch gefundeerde kaders.