Technische Samenvatting: Een Gefilterde Mixture-of-Generators voor Volledig Synthetische Survival Training

Probleemstelling

Survival analyse is cruciaal voor klinische besluitvorming in domeinen zoals oncologie en cardiologie, maar het trainen van robuuste modellen wordt gehinderd door structurele databeperkingen. Gebeurtenissen (events) accumuleren over lange follow-up perioden, wat resulteert in kleine cohortgroottes, terwijl privacyregels de uitwisseling van data tussen instellingen beperken. Hoewel synthetische tabulaire generatie een potentieel middel biedt voor data-augmentatie en privacy-bewuste gegevensdeling, worstelen bestaande benaderingen in dit regime. Enkele generatieve modellen die getraind zijn op kleine survival-cohorten, slagen er vaak niet in om de onderliggende populatieverdeling getrouw te karakteriseren. Bijgevolg presteren "train-on-synthetic, test-on-real" (TSTR) pipelines consequent slechter dan trainen op echte data, omdat synthetische sets er niet in slagen de specifieke regio's van de datamanifold te dekken die vereist zijn voor downstream model-generalisatie.

Methodologie: FoGS Pipeline

De auteurs stellen FoGS voor (Filtered Mixture-of-Generators for Survival analysis), een tweelags optimalisatiepipeline die de constructie van synthetische data herdefinieert: niet als een generatieprobleem, maar als een steekproefselectieprobleem. Het doel is om een synthetische trainingsset met een hoge bruikbaarheid te construeren door de beste monsters te selecteren uit een heterogene pool, gestuurd door een per-monster plausibiliteitssignaal.

1. Generator Pool en Kandidaatgeneratie

FoGS trekt een kandidaatpool van synthetische monsters uit vier architecturaal verschillende tabulaire generatoren, om ervoor te zorgen dat de pool niet gebonden is aan de inductieve bias van een enkele architectuur:

• ARF: Adversarial Random Forests (niet-parametrische dichtheidschatting).
• Bayesian Network: Expliciete factorisatie met hill-climbing structuurleren.
• TabDDPM: Denoising diffusion modellen voor gemengde categorische en numerieke kenmerken.
• SurvivalCTGAN: Een CTGAN-variant aangepast voor gecensureerde survival data (het genereren van covariaten via een GAN en event-tijden via een survival head).

Elke generator $g$ wordt getraind op de echte trainingssplit $D_r$ en produceert een kandidaatpool $D_g$ van grootte $N_g = \lceil \kappa N_r \rceil$ (waarbij $\kappa=100$ in experimenten). De unie van deze pools vormt de kandidaatset $D_{synth}$.

2. Per-Sample Plausibiliteitsscore

In plaats van een enkele metriek te gebruiken, hanteert FoGS een ensemble van zeven survivalmodellen (inclusief Cox, DeepSurv, DeepHit, RSF, FPBoost, XGBoost-Cox, en een gewogen ensemble) die getraind zijn op de echte data $D_r$ om elk synthetisch monster te scoren. Elke scorer wijst twee 'proper scoring rule' verliezen toe aan een monster:

• Integrated Brier Score (IBS): Meet de voorspellingsnauwkeurigheid over de tijd.
• Negative Log-Likelihood (NLL): Meet de probabilistische kalibratie.

Lage verlieswaarden duiden op een synthetisch monster dat plausibel is met betrekking tot de echte populatieverdeling.

3. Selectiebeleid

De gefilterde synthetische dataset $D^*_s$ wordt geconstrueerd via een selectieoperator $\Phi$ die wordt gedefinieerd door een beleidsvector $\pi$. Dit beleid bevat:

• Generator Quota's ($p_g$): Het aandeel monsters dat uit de pool van elke generator wordt getrokken.
• Scorer Gewichten ($w_{m,k}$): Aggregatiegewichten voor de IBS en NLL verliezen over de zeven scorers.
• Random Complement ($\rho$): Een fractie van de monsters die uniform willekeurig uit de pool wordt geselecteerd, terwijl de resterende fractie $(1-\rho)$ deterministisch wordt geselecteerd op basis van het laagste geaggregeerde verlies. Dit balanceert plausibiliteit (het selecteren van hoogwaardige monsters) met populatie-dekking (het behouden van zeldzame gevallen in de staarten).
• Stratificatie Vlaggen ($b_{alt}, b_{alc}$): Optionele beperkingen om ervoor te zorgen dat de geselecteerde set overeenkomt met de event-tijdverdeling en de censureringsgraad van de echte data.

4. Tweelags Optimalisatie

De pipeline optimaliseert $\pi$ via geneste lussen:

• Inner Loop: Traint een downstream survivalmodel (geïnstantieerd als XGBoost-Cox) op de gefilterde set $D^*_s$ en optimaliseert de hyperparameters $\theta$ om een samengestelde validatiescore te maximaliseren ($C_{val} - 2 \cdot IBS_{val}$) op een gehouden echte validatiesplit.
• Outer Loop: Optimaliseert het selectiebeleid $\pi$ om de IBS van het resulterende downstream model op de echte validatiesplit te minimaliseren. Dit zorgt ervoor dat het selectiebeleid specifiek wordt afgestemd op de downstream bruikbaarheid.

Belangrijkste Bijdragen

1. FoGS Pipeline: De eerste pipeline die de constructie van synthetische data voor survival analyse optimaliseert door het te herformuleren als een steekproefselectieprobleem over een heterogene generatorpool, gestuurd door per-monster plausibiliteitssignalen.
2. Uitgebreide Benchmarking: Evaluatie over 16 publieke survival datasets, waarbij wordt aangetoond dat FoGS de prestaties van training op echte data evenaart of overtreft voor de meerderheid van de cohorten.
3. Structurele Inzichten: Identificatie van twee sturende fenomenen in de selectie van synthetische data:
   • Een kwaliteit–dekking trade-off, waarbij het behouden van een niet-triviaal willekeurig deel van de monsters noodzakelijk is om de populatie-dekking te bewaren en overrepresentatie van dichte regio's te voorkomen.
   • Dataset-afhankelijkheid, waarbij geen enkele scorer-wegingsstrategie de overhand heeft over alle cohorten; optimale gewichten moeten per dataset worden afgestemd.

Resultaten

Geëvalueerd op 16 publieke datasets met de TSTR-paradigma en XGBoost-Cox als downstream model:

• Prestatiewinst: FoGS verbeterde zowel de C-index als de IBS op 9 van de 16 datasets en ten minste één metriek op 13 van de 16 datasets.
• Statistische Significantie: De gemiddelde verbeteringen waren +2.17 in C-index en +0.67 in IBS. Eenzijdige Wilcoxon signed-rank tests leverden $p=0.039$ voor C-index en $p=0.035$ voor IBS op.
• Ablatie Studies:
  • Het beperken van FoGS tot een enkele generator (zelfs de best presterende ARF) resulteerde in een lagere geaggregeerde bruikbaarheid dan de volledige vier-generator pool.
  • Het vervangen van het getunede selectiebeleid door een willekeurige trekking uit dezelfde pool veroorzaakte een daling in prestaties tot onder de real-data baseline ($\Delta C = -0.50$), wat bevestigt dat de verbetering voortkomt uit het selectiebeleid, en niet uit de generatoren zelf.
• Privacy: De gefilterde set vertoonde geen significante verslechtering in de nearest-neighbour privacy marge (NNDR) ten opzichte van ongefilterde willekeurige sampling ($p=0.087$).

Betekenis

Het artikel stelt dat het filteren van monsters over een heterogene generatorpool een levensvatbaar substituut is voor training op echte data in privacy-beperkte klinische settings.

De betekenis ligt in de verschuiving van het paradigma van "betere data genereren" naar "betere data selecteren". Door de constructie van synthetische data te behanden als een beleidsgestuurd selectieprobleem over een heterogene generatorpool, overwint FoGS de beperkingen van kleine cohortgroottes waar enkele generatoren er niet in slagen complexe distributies te vatten. Het framework maakt het mogelijk voor instellingen om synthetische cohorten veilig te delen zonder patiëntgegevens op individueel niveau prijs te geven, terwijl de bruikbaarheid van downstream survivalmodellen gelijk blijft aan, of zelfs beter is dan, training op echte data alleen. De aanpak is modulair, waardoor nieuwe generatoren of scorers kunnen worden geïntegreerd zonder de kern van de pipeline te wijzigen.