Technische Samenvatting: Versnelling van Reproduceerbaar Onderzoek in Synthetische EHR-generatie

1. Probleemstelling

De generatie van hoogwaardige synthetische Elektronische Gezondheids Dossiers (EHR) is essentieel voor het bevorderen van medisch onderzoek met behoud van de privacy van patiënten. Het veld staat echter voor een reproduceerbaarheidscrisis gedreven door systemische barrières:

• Disfunctionele Infrastructuur: Bestaande generatieve modellen (bijv. MedGAN, CorGAN, PromptEHR) zijn geïmplementeerd in uiteenlopende codebases met incompatibele afhankelijkheden, hard-coded datasetdimensies en procedurele ontwerpen die vergelijking van kop-tot-kop verhinderen.
• Gefragmenteerde Evaluatie: Er is geen verenigd benchmark-framework. Metrieken worden inconsistent gerapporteerd en moderne gestandaardiseerde tools (bijv. sdmetrics) slagen er vaak niet in de hoogdimensionale en sequentiële aard van EHR-data te verwerken.
• Verlies van Granulariteit: Om schaarste te beheersen, trachten onderzoekers vaak ICD-9-codes te reduceren van de volledige vocabulaire (6.955 codes) naar driecijferige categorieën (1.071 codes). Deze praktijk verwerpt klinisch cruciale informatie uit de 'long-tail' (bijv. het onderscheid tussen gecompliceerde versus ongecompliceerde diabetes) en maskeert de slechte prestaties van modellen op zeldzame codes.
• Architecturale Inconsistentie: Implementaties van hetzelfde algoritme divergeren vaak in capaciteit (bijv. sommige PyTorch-porten van MedGAN ondersteunen alleen binaire matrices, waardoor de oorspronkelijke ondersteuning voor count-matrices wordt weggelaten).

2. Methodologie

De auteurs introduceren een lichtgewicht, end-to-end benchmarking-framework gebouwd op de door de community onderhouden PyHealth-bibliotheek. Het framework verenigt de pijplijn van dataingestie tot evaluatie, waardoor gegarandeerd wordt dat alle modellen identieke inputs consumeren en outputs produceren in een gestandaardiseerd formaat.

2.1. Verenigde Datarepresentatie

Het framework hanteert een visit-level long-format schema (Subject ID, Visit ID, Code), consistent met community-standaarden zoals MEDS. Dit schema bewaart:

• Temporele Structuur: Grenzen van bezoeken en de volgorde van bezoeken.
• Code-repetities: Frequentie van codes binnen bezoeken.
• Granulariteit: Volledige ICD-9-vocabulaire (6.955 codes) in plaats van getrunceerde subsets.

Alle synthetische outputs, ongeacht de interne representatie van de generator (statische matrices of dynamische sequenties), worden omgezet in deze genormaliseerde relationele structuur vóór evaluatie.

2.2. Geherimplementeerde Baselines

De auteurs herimplementeren en schalen vier sterke baselines om de volledige ICD-9 granulariteit te ondersteunen:

1. MedGAN: Herstelt de oorspronkelijke count matrix support (weggelaten in eerdere PyTorch-porten) om ongekende integer-counts per diagnose te modelleren.
2. CorGAN: Breidt de convolutionele architectuur uit van 6 naar 8 lagen om de 6.955-dimensionale outputruimte inheems te kunnen verwerken, ter vervanging van de oorspronkelijke 3-cijferige truncatie.
3. PromptEHR: Een BART-gebaseerd sequence-to-sequence model geconditioneerd op demografie. De auteurs introduceren frequentie-gestuurde generatie (het mengen van model-logits met empirische code-frequenties) en demografisch-geconditioneerde traject-initialisatie om klinische realisme te verbeteren zonder data aan te vullen met echte patiëntendossiers.
4. HALO: Een hiërarchisch autoregressief model (visit-level en code-level modules) dat al productie-klaar was en minimale aanpassingen vereiste.
5. GPT-2 Baseline: Een lichtgewicht, algemeen doelgericht autoregressief transformer (8 lagen, 512 embedding dimensie) geïmplementeerd om te testen of gespecialiseerde architecturen noodzakelijk zijn.

2.3. Architectuur-Agnostische Evaluatiesuite

Het framework maakt gebruik van een rigoureuze, model-agnostische evaluatiesuite:

• Fidelity (Utility):
  • Statistische Prevalentie: Meet de uitlijning van de marginale distributie met behulp van $R^2$, Pearson correlatie en RMSE.
  • Discriminator-gebaseerde Fidelity: Traint een binaire classifier (LSTM voor sequentiële data, Random Forest voor geflatteerde data) om echt van synthetische data te onderscheiden. De Discriminative Score ($1 - 2|0.5 - \text{Accuracy}|$) kwantificeert de ononderscheidbaarheid.
• Privacy:
  • Nearest Neighbor Adversarial Accuracy Risk (NNAAR): Een sequentie-bewuste set-afstand metriek (gemodificeerde Hamming afstand) die meet of synthetische samples dichter bij de trainingsdata liggen dan bij de gehouden-afstaande testdata.
  • Membership Inference Attack (MIA): Test of een tegenstander trainingsleden van niet-leden kan onderscheiden op basis van de afstand tot synthetische data.

3. Belangrijkste Bijdragen

1. Architecturale Restauratie en Schaling: De auteurs herstellen verloren gegane capaciteiten (MedGAN count mode) en breiden architecturen uit (CorGAN lagen) om de volledige ICD-9 vocabulaire te ondersteunen, waarmee ze verder gaan dan de getrunceerde subsets gebruikt in eerder werk.
2. Gestandaardiseerde Benchmarking: Ze bieden een verenigde pijplijn die een eerlijke, zij-aan-zij vergelijking mogelijk maakt van GAN-gebaseerde en Transformer-gebaseerde generators met consistente privacy- en utility-metrieken.
3. Uitbreidbare Infrastructuur: Gebouwd op PyHealth, biedt het framework een enkele pip install package en interactieve Colab-workflows, wat de engineering-barrière voor toekomstig onderzoek verlaagt.
4. Long-Tail Analyse: Het framework evalueert expliciet de prestaties op zeldzame codes, waardoor foutmodi worden blootgelegd die door getrunceerde benchmarks verborgen blijven.

4. Resultaten

De evaluatie werd uitgevoerd op MIMIC-III data met 10.000 patiënten.

• Fidelity vs. Utility Trade-off:
  • Sequentiële Modellen (HALO, PromptEHR, GPT-2): Bereikten superieure Discriminative Scores (dichter bij 0.5, wat duidt op hoge ononderscheidbaarheid). Ze slaagden erin gezamenlijke distributies en temporele dynamiek te vangen.
  • Flat Modellen (MedGAN, CorGAN): Bereikten een hoge Statistische Utility (hoge $R^2$ op marginale prevalentie) maar slechte Discriminative Scores. Ze faalden in het vangen van complexe gezamenlijke correlaties, waardoor ze gemakkelijk te onderscheiden waren van echte data.
• Privacy: Alle modellen vertoonden robuuste privacybescherming, met MIA-accuratesse nabij willekeurige gokken (0.5) en verwaarloosbare NNAAR-scores, wat aangeeft dat er geen significante memorisatie van trainingsdata plaatsvindt.
• GPT-2 Baseline Prestaties: Verrassend genoeg bereikte de lichtgewicht GPT-2 baseline de hoogste Discriminative Score (0.355) onder de sequentiële modellen, waarbij het gespecialiseerde architecturen overtrof qua realisme, hoewel het iets achterliep in marginale prevalentie ($R^2$) vergeleken met HALO.
• Long-Tail Prestaties:
  • Naarmate de evaluatie-scope uitbreidde naar de 99e percentiel van zeldzame codes, behielden HALO en PromptEHR een hoge $R^2$, wat hun vermogen aantoont om zeldzame afhankelijkheden te modelleren.
  • CorGAN stortte volledig in ($R^2 \approx 0$) op zeldzame codes.
  • GPT-2 presteerde goed tot de 97.5e percentiel, maar degradeerde scherp bij de 99e percentiel, wat de moeilijkheid benadrukt van het genereren van extreme long-tail codes zonder gespecialiseerde mechanismen.
  • Privacy Risico's: De inclusie van zeldzame codes verhoogde de MIA-risico's voor alle modellen, wat suggereert dat zeldzame codes fungeren als quasi-identificatoren.

5. Betekenis en Claims

Het artikel claimt een startpunt voor community-gestuurd reproduceerbaar onderzoek te bieden in plaats van een definitieve, onveranderlijke benchmark. De betekenis ligt in:

• Verlagen van Barrières: Door uiteenlopende baselines onder een enkele pijplijn te verenigen, kunnen onderzoekers zich richten op wetenschappelijke innovatie in plaats van het herimplementeren van code of het beheren van afhankelijkheidsconflicten.
• Blootleggen van Verborgen Foutmodi: Het framework onthult dat hoewel modellen succesvol kunnen lijken op getrunceerde, marginale metrieken, ze vaak falen in het vangen van de gezamenlijke distributie en de long-tail realiteit van EHR-data.
• Uitdagen van Specialisatie: De sterke prestaties van de algemene GPT-2 baseline suggereren dat complexe, domeinspecifieke architecturen niet altijd noodzakelijk zijn voor hoogwaardige EHR-synthese.
• Toekomstbestendigheid: De auteurs positioneren het framework als een "levend substraat" bedoeld om door de community uitgebreid te worden met ICD-10, aanvullende modaliteiten (labs, vitale functies) en sterkere privacy-metrieken.

De auteurs verklaren expliciet dat zij niet beweren dat voorgaande baselines onreproduceerbaar waren bij hun release, noch dat dit framework permanent de technische schuld zal weerstaan. In plaats daarvan stellen zij dat de huidige staat van uiteenlopende repositories een directe vergelijking bijna onmogelijk maakt, en dat dit werk het noodzakelijke substraat biedt om eerlijk, schaalbaar en reproduceerbaar onderzoek mogelijk te maken.