Technische Samenvatting: PRIVATELY FINE-TUNED LLMS BEWAREN TEMPORELE DYNAMIEK IN TABULAIRE DATA

Probleemformulering

Huidig onderzoek naar differentieel private synthetische tabulaire data (DPSD) richt zich voornamelijk op onafhankelijke en identiek verdeelde (i.i.d.) rijen, waarbij één rij overeenkomt met een uniek individu. Dit paradigma slaagt er niet in de complexiteit van longitudinale datasets aan te pakken, zoals elektronische patiëntendossiers (EHR) of logs van serviceverzoeken, waarbij een enkele gebruiker een volledige sequentie van gebeurtenissen (een sub-tabel) over een bepaalde tijd bijdraagt. In deze settings is de eenheid van eigendom de volledige tabel (traject), niet de individuele rij.

Bestaande benaderingen proberen dit aan te passen door gebruikers-trajecten te "plat te slaan" tot hoogdimensionale vectoren met een vaste breedte (het concateneren van alle tijdstappen in één enkele rij) om standaard marginale mechanismen (bijv. AIM, Private-PGM) toe te passen. De auteurs stellen dat deze strategie fundamenteel ontoereikend is. Het platslaan laat de dimensionaliteit van het domein exploderen, introduceert kunstmatige schaarste door padding, en dwingt privacy-mechanismen om te vertrouwen op laag-orde lokale marginalen om binnen het budget te blijven. Gevolgelijk falen deze methoden om langetermijn-temporele afhankelijkheden te vangen, wat resulteert in gegenereerde trajecten die lokaal plausibel zijn maar globaal incoherent (bijv. het mengen van verschillende gebruikersprofielen). Bovendien is het toepassen van groepsprivacy op platgeslagen data overdreven restrictief, aangezien het groepen rijen beschermt die bij verschillende gebruikers kunnen behoren.

Methodologie: Het PATH-framework

Om deze beperkingen aan te pakken, introduceren de auteurs PATH (Private Autoregressive Trajectory Histories), een generatief framework dat de volledige gebruikers-tabel behandelt als de eenheid van synthese en gebruik maakt van de autoregressieve capaciteiten van Large Language Models (LLMs).

Kerncomponenten

1. Definitie van de Privacy-eenheid: Het framework definieert de privacy-eenheid expliciet als de volledige gebruikers-tabel $D^{(i)}$. Twee datasets worden als naburig beschouwd als de ene kan worden verkregen door het toevoegen of verwijderen van exact één traject van een gebruiker. Dit zorgt ervoor dat de privacygarantie de volledige temporele geschiedenis van een individu beschermt.
2. Serialisatie: Gebruikers-tabellen worden deterministisch geserialiseerd naar token-sequenties met behulp van een schema-definitie gevolgd door een rij-voor-rij codering (bijv. [Rij 1]: charttime is ..., heartrate is ...). Rij-delimiting tokens stimuleren het model om temporele stappen te onderscheiden.
3. Trainingsstrategie:
   • DP Fine-tuning: De auteurs fine-tunen vooraf getrainde LLM's (specifiek de Gemma 3-familie, 1B en 4B parameters) met behulp van Differentially Private Stochastic Gradient Descent (DP-SGD).
   • Dynamisch Vensteren: Om robuust leren van transities in elke fase van een traject te garanderen, gebruikt het trainingsproces een dynamische vensterstrategie. Voor elke gebruiker wordt een splitsingspunt gesampled om een context (geschiedenis) en een doel (voortzetting) te crenëren. Dit stelt het model in staat om te leren van de volledige diversiteit van de geschiedenis van een gebruiker, terwijl een sensitiviteit van 1 per gebruiker per stap behouden blijft.
   • Dichtheidsgebaseerde Sampling: Splitsingspunten worden gesampled op basis van de empirische distributie van tabel-lengtes om bias naar korte contexten te voorkomen.
   • Architectuur: Low-Rank Adaptation (LoRA) wordt gebruikt om een klein deel van de parameters bij te werken, wat de dimensionaliteit van gradiënt-updates vermindert die ruisinjectie vereisen.
4. Inference en Selectie:
   • Autoregressieve Generatie: Synthetische tabellen worden rij-voor-rij gegenereerd, waarbij elke nieuwe rij wordt geconditioneerd op het schema en de eerder gegenereerde rijen.
   • Robuuste Parsing: Een multi-staps parsing-strategie handelt malafide outputs af, waarbij teruggevallen wordt op schema-matching of gedeeltelijke infilling.
   • Private Selectie: Om een hoge bruikbaarheid te garanderen, filtert een private selectiemechanisme een overgegenereerde pool van kandidaat-tabellen. Deze stap gebruikt een differentieel private stemprocedure gebaseerd op semantische embeddings (Gecko) om de meest representatieve tabellen te selecteren zonder extra privacybudget te verbruiken boven het toegewezen selectiebudget.

Belangrijkste Bijdragen

1. Privacy-eenheid als Volledige Tabel: Het artikel is de eerste die de volledige gebruikers-tabel als de privacy-eenheid voor differentieel private data-synthese formaliseert en demonstreert een praktische toepassing voor het behoud van temporele trajecten.
2. Nieuw Framework voor Temporele Trends: PATH introduceert een methodologie voor het fine-tunen van LLM's om gestructureerde, multi-rij tabulaire data te genereren, gebruikmakend van een tweestaps-proces van autoregressieve rij-generatie en private selectie om temporele afhankelijkheden te bewaren.
3. Nieuwe Metrieken: De auteurs stellen Table-wise Distance to Closest Record (TDCR) voor, een metriek aangepast van Distance to Closest Record (DCR) die Dynamic Time Warping (DTW) gebruikt om de distributionele getrouwheid van gegenereerde gebruikers-trajecten tegenover echte data te evalueren, waarbij falen in het repliceren van de temporele vorm wordt bestraft.
4. Uitgebreide Empirische Evaluatie: Het framework wordt geëvalueerd op synthetische HMM-data, MIMIC-IV vitale functies en NYC 311 serviceverzoeken, waarbij het superieure prestaties levert ten opzichte van de state-of-the-art marginale baselines.

Experimentele Resultaten

De auteurs voerden uitgebreide evaluaties uit over drie datasets:

• MIMIC-IV (Vitale Functies): PATH (Gemma 4B) presteerde significant beter dan marginale baselines (AIM, Direct Mechanism). Bij $\epsilon=2.0$ verminderde PATH de TDCR met meer dan 50% (0.289 vs. 0.736 voor AIM) en verminderde de fouten in toestands-transities met bijna 50%. Cruciaal is dat PATH een hoge marginale getrouwheid behield terwijl het de temporele dynamiek vastlegde die marginale methoden misten.
• Synthetische HMM-data: Op data met bekende grondwaarheid transitie-kansen, demonstreerde PATH een superieur vermogen om het onderliggende latente proces te vangen. Hoewel marginale methoden lagere univariate marginale divergentie bereikten, produceerden zij trajecten met prohibitief hoge HMM log-likelihoods (wat duidt op ongeldige sequenties). De door PATH gegenereerde sequenties kwamen nauw overeen met de ware HMM likelihood distributie.
• NYC 311 (Spatiotemporeel): PATH slaagde erin complexe geospatiale distributies, diurnale ritmes en transities in type klachten te bewaren. Non-private few-shot prompting (Gemini 2.5 Flash-Lite) slaagde er niet in om de volledige distributie te generaliseren, wat vaak leidde tot mode collapse, terwijl private fine-tuning de populatievariëteit effectief vastlegde.

Belangrijkste Bevindingen:

• Plat Slaan is Onvoldoende: Het plat slaan van longitudinale data leidt tot een "catastrofaal" verlies van bruikbaarheid door de explosie van dimensionaliteit en het onvermogen van marginale mechanismen om globale afhankelijkheden te vangen.
• LLM's vs. Marginals: Terwijl marginale methoden excelleren in geaggregeerde statistieken in eenvoudige, goed gedefinieerde datasets, domineren LLM's in het vangen van temporele dynamiek en toestandstransities, wat een "best of both worlds" oplossing biedt voor complexe longitudinale data.
• Fine-tuning vs. Prompting: Private fine-tuning is effectiever dan in-context learning (few-shot prompting) voor distributie-matching. Prompting leidt vaak tot mode collapse en faalt in het vangen van het volledige support van de data-manifold.
• Model Schaling: Grotere modellen (Gemma 4B) vertonen een grotere robuustheid onder strikte privacy-budgetten ($\epsilon < 2.0$) vergeleken met kleinere varianten, waarschijnlijk door sterkere vooraf getrainde semantische priors die het leren stabiliseren wanneer de DP-ruis hoog is.

Betekenis en Claims

Het artikel claimt dat PATH de eenheid van differential privacy herdefinieert van het individuele record naar de volledige gebruikers-tabel, waarmee een fundamentele kloof in de synthese van gevoelige temporele data wordt gedicht. De auteurs stellen dat hun werk aantoont dat LLM's, wanneer ze privaat gefine-tuned worden, effectieve synthesizers kunnen zijn voor sequentiële tabulaire domeinen, waarbij ze complexe temporele dynamiek behouden die traditionele marginale mechanismen niet kunnen vangen.

De betekenis ligt in de operationalisering van een multi-tabel privacy-eenheid, wat essentieel is voor toepassingen zoals EHR-analyse waar de geschiedenis van een patiënt een coherent traject is in plaats van een verzameling onafhankelijke records. De resultaten suggereren dat voor longitudinale data de "eenheid van synthese" ertoe doet: het behandelen van een gebruikers-traject als een enkele autoregressieve sequentie is een efficiëntere en effectievere representatie dan het plat slaan van gebruikers-geschiedenissen. Het artikel concludeert dat private fine-tuning een robuuste oplossing biedt voor het delen van data in sequentiële domeinen, waardoor de release van hoogwaardige synthetische data mogelijk wordt die zowel privacy als temporele coherentie respecteert.