Geometric Characterisation and Structured Trajectory Surrogates for Clinical Dataset Condensation

Titel: Geometrische Karakterisering en Gestructureerde Trajectoïde-Surrogaten voor Datasetcondensatie in Klinische Datasets

1. Het Probleem

In het moderne machine learning, en specifiek in de gezondheidszorg, is de toegang tot grote datasets vaak beperkt door strenge governance, privacywetgeving en operationele kosten. Datasetcondensatie (het creëren van compacte synthetische datasets die de trainingsnut van grote real-world datasets behouden) is een veelbelovende oplossing.

Een veelgebruikte methode hiervoor is Trajectory Matching (TM). Hierbij wordt synthetische data getraind om de veranderingen in modelparameters (de "trajectoïde") na te bootsen die optreden tijdens het trainen op echte data. Echter, er is een fundamenteel probleem:

• De structuur van het supervisie-signaal (de SGD-trajectoïde) is slecht begrepen.
• Echte SGD-trajectoïden zijn vaak "ruisachtig", stochastisch en hebben een breed spectrale karakteristiek (veel richtingen met zwakke correlatie).
• Een vaste, kleine synthetische dataset heeft een beperkt bereik aan gradiënten (een "reachable gradient span").
• Er ontstaat een representabiliteitsknelpunt: Als het supervisie-signaal breder is dan wat de synthetische dataset kan reproduceren, blijft er een onvermijdelijke fout over. Dit is vooral problematisch in klinische settingen met lage prevalentie (zeldzame ziekten), waar de updates voor de minderheidsklasse al schaars en inconsistent zijn.

2. Methodologie

De auteurs introduceren een nieuwe aanpak genaamd Bézier Trajectory Matching (BTM) en onderbouwen deze met een geometrische analyse.

A. Geometrische Karakterisering
De auteurs bewijzen wiskundig dat de fout in trajectory matching ondergrens is door de projectie van de echte parameterveranderingen op de gradiënten die bereikbaar zijn vanuit de synthetische dataset.

• Rank-knelpunt: Als de "teacher" (echte) trajectoïde een hoge effectieve rang heeft (veel verschillende richtingen), kan een lage-rang synthetische dataset deze niet volledig nabootsen.
• Spectrale analyse: Echte SGD-trajectoïden spreiden hun energie uit over vele richtingen. BTM streeft naar een supervisie-signaal dat geconcentreerd is in een paar coherente richtingen.

B. Bézier Trajectory Matching (BTM)
In plaats van de ruwe, stochastische SGD-trajectoïden op te slaan en na te bootsen, vervangt BTM deze door leerbare kwadratische Bézier-krommen.

• Constructie: Voor elk paar (startpunt $\theta_0$, eindpunt $\theta_T$) wordt een Bézier-kromme gedefinieerd met één leerbare controlepunt $\phi$.
  $$\Phi(t) = (1-t)^2\theta_0 + 2t(1-t)\phi + t^2\theta_T$$
• Optimalisatie: Het controlepunt $\phi$ wordt geoptimaliseerd om de gemiddelde trainingsfout langs het pad te minimaliseren. Dit zorgt voor een pad dat niet alleen de eindpunten verbindt, maar ook door gebieden met lage fout loopt (een "smooth descent profile").
• Voordeel:
  1. Laag-rang supervisie: Alle verplaatsingen binnen één Bézier-kromme liggen in een 2-dimensionale deelruimte. Dit creëert een gestructureerd, laag-rang supervisie-signaal dat beter past bij de beperkingen van een kleine synthetische dataset.
  2. Opslag-efficiëntie: In plaats van duizenden checkpoints op te slaan, worden slechts drie vectoren per trajectoïde opgeslagen (start, controlepunt, eind), wat leidt tot een enorme reductie in geheugengebruik.

3. Belangrijkste Bijdragen

1. Geometrische Analyse: Een formele karakterisering van trajectory matching als een beperkt subruimte-benaderingsprobleem, wat aantoont dat er een onoverkomelijke fout bestaat als het supervisie-signaal buiten het bereik van de synthetische dataset valt.
2. Empirische Analyse: Het aantonen dat standaard SGD-supervisie vaak spectrally breed is, wat vooral schadelijk is in klinische scenario's met onbalans (lage prevalentie).
3. BTM Algoritme: De introductie van Bézier Trajectory Matching, dat ruwe SGD-trajectoïden vervangt door geoptimaliseerde, gestructureerde surrogaten. Dit resulteert in een robuuster supervisie-signaal en aanzienlijk minder opslagruimte.

4. Resultaten

De methode is getest op vijf klinische datasets (tabulaire data en tijdreeksen) van NHS-ziekenhuizen (UK) en publieke ICU-benchmarks (eICU, MIMIC-III).

• Prestatie: BTM presteert consistent gelijk aan of beter dan bestaande state-of-the-art methoden (zoals MTT, FTD, DATM, MCT).
• Lage Prevalentie & Lage Budget: De grootste winst wordt behaald in scenario's met weinig data en zeldzame gebeurtenissen (bijv. Birmingham dataset met 0.8% prevalentie). Hier verbetert BTM de AUPRC (Area Under Precision-Recall Curve) met tot 17,9% ten opzichte van de beste baseline.
• Opslag: BTM reduceert de opslagvereisten voor trajectoïden met een factor 20x tot 33x vergeleken met het opslaan van volledige SGD-trajectoïden.
• Generalisatie: BTM toont betere generalisatie over verschillende modelarchitecturen (bijv. van MLP naar TCN of LSTM) dan baselines, wat suggereert dat het gestructureerde signaal minder afhankelijk is van specifieke optimalisatiedynamieken.
• Ablatie: Experimenten tonen aan dat het simpelweg "glad maken" van trajectoïden (zoals bij convexified trajectories) niet voldoende is; het pad moet expliciet geoptimaliseerd worden om de fout te minimaliseren (zoals BTM doet).

5. Betekenis en Impact

• Klinische Toepasbaarheid: BTM maakt datasetcondensatie praktischer voor de gezondheidszorg door de opslagkosten drastisch te verlagen en de prestaties te verbeteren in kritieke scenario's met zeldzame ziekten.
• Theoretisch Inzicht: Het werk verschuift de focus van het simpelweg nabootsen van stochastische optimalisatiepaden naar het begrijpen en structureren van het supervisie-signaal. Het benadrukt dat de kwaliteit en structuur van het signaal belangrijker zijn dan de hoeveelheid aan ruwe data.
• Privacy en Governance: Hoewel BTM geen privacygarantie biedt (dit vereist nog steeds differentieel privacy), maakt het het veiliger en efficiënter om methodologisch onderzoek te doen op synthetische data die afgeleid is van gevoelige gezondheidsgegevens, zonder de volledige datasets te hoeven delen.

Conclusie:
De auteurs concluderen dat effectieve datasetcondensatie niet alleen afhangt van hoeveel supervisie er wordt geboden, maar vooral van hoe die supervisie is gestructureerd. Door ruwe SGD-trajectoïden te vervangen door gestructureerde, laag-rang Bézier-surrogaten, kunnen compacte synthetische datasets de trainingsnut van grote klinische datasets beter behouden, zelfs onder strenge beperkingen.