EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

1. Probleemstelling

Moderne machine learning-systemen zijn sterk afhankelijk van grote hoeveelheden data. Veel waardevolle tekstcorpora (zoals medische dossiers, interne documenten of gebruikersfeedback) zijn echter gevoelig en kunnen niet vrijelijk worden gedeeld vanwege privacywetten. Hoewel Large Language Models (LLMs) krachtige hulpmiddelen zijn voor het genereren van synthetische data, lijden bestaande methoden voor privé tekstgeneratie aan ernstige inefficiënties:

• Data-intensief: Ze vereisen vaak grote hoeveelheden privédata om bruikbare kwaliteit te bereiken.
• Rekenkundig zwaar: Methoden zoals privé-finetuning zijn duur, en inferentie-tijd methoden (zoals privé-predictie) leiden tot hoge privacykosten die meescalen met het aantal gegenereerde tokens.
• Kwaliteitsverlies: Bestaande methoden genereren vaak data met lage fideliteit (niet representatief voor de bron) of onvoldoende privacy, vooral in scenario's met weinig data.

De kernvraag is: Hoe kunnen we efficiënt hoogwaardige synthetische data genereren met strikte privacygaranties, zonder dat de privacykosten meescalen met het aantal gegenereerde samples?

2. Methodologie: EPSVEC

De auteurs introduceren EPSVEC (Efficient and Private Synthetic data generation via dataset Vectors). De kern van deze methode is het verschuiven van de privacybehoefte van individuele tokens of samples naar een compacte, éénmalige representatie van het datasetverschil.

A. Dataset Vectors (De Kern)

In plaats van de data zelf te beschermen, extraheren de auteurs een dataset vector: een enkele richting in de activeringsruimte (hidden states) van een LLM die de distributieverschillen tussen een publieke referentie en de privédoeldata vastlegt.

• Extractie: De methode vergelijkt embeddings van privédata ($D^+$) met synthetische data gegenereerd door een LLM ($D^-$) op basis van dezelfde prompt. Het verschil in de gemiddelde hidden states tussen deze twee sets vormt de basisvector.
• Privatisering: Deze vector wordt gepubliceerd met Differential Privacy (DP). Door clipping (om de gevoeligheid te beperken) en het toevoegen van Gaussisch ruis, wordt gegarandeerd dat de vector geen informatie prijsgeeft over individuele records in de privédataset.
• Herbruikbaarheid: Eenmaal gegenereerd en gepubliceerd, kan deze vector oneindig vaak worden gebruikt om synthetische data te sturen, zonder extra privacykosten.

B. Sturing van de Generatie (Steering)

Tijdens de inferentie wordt de gepubliceerde, verstoorde dataset vector injecteerd in de hidden states van het LLM op specifieke lagen. Dit "stuurt" de generatie van het model weg van de standaard publieke prior en richting de verdeling van de privédata.

• Formule: $z_{\ell,t} \leftarrow z_{\ell,t} + \beta_\ell v_\ell$, waarbij $z$ de hidden state is, $v$ de vector, en $\beta$ de sterkte van de sturing.

C. Gebruik van Pretrained (Base) Modellen en Fixed-Shots

De auteurs stellen vast dat Instruction-tuned (IT) modellen vaak leiden tot een verlies aan diversiteit ("diversity collapse") en te gestandaardiseerde output. Daarom gebruikt EPSVEC Pretrained (Base) modellen, die een bredere stilistische variatie bieden.

• Uitdaging: Base modellen zijn moeilijker te controleren met prompts.
• Oplossing: Fixed-shot prompting. De auteurs genereren een kleine set van voorbeelden (fixed shots) die representatief zijn voor de privédata. Dit gebeurt via een DP-histogrammechanisme om de beste kandidaten uit een synthetische pool te selecteren zonder de privacy te schenden. Deze vaste prompts stabiliseren de generatie en verbeteren de fideliteit.

3. Belangrijkste Bijdragen

1. Decoupling van Privacy en Generatie: EPSVEC koppelt het privacybudget los van het generatieproces. De privacykosten worden slechts éénmalig betaald bij het extraheren van de vector. Daarna kunnen willekeurig veel samples van willekeurige lengte worden gegenereerd zonder extra privacykosten.
2. Efficiëntie: De methode is computerefficiënt en vereist geen dure training of grote batchgroottes tijdens de generatie, in tegenstelling tot methoden zoals Private Prediction (PP) of DP-finetuning.
3. Verbeterde Fideliteit in Low-Data Regimes: Door gebruik te maken van dataset vectors en base-modellen, presteert EPSVEC uitstekend zelfs wanneer er zeer weinig privédata beschikbaar is.
4. Formele Privacygaranties: De methode biedt strikte $(\epsilon, \delta)$-differential privacy garanties, bewezen via subsampling en composities van privacymechanismen.

4. Resultaten

De auteurs evalueren EPSVEC op vier datasets (IMDb, Yelp, BioRxiv, OpenReview) en vergelijken het met state-of-the-art baselines zoals AUG-PE, InvisibleInk, en Private Prediction (PP/PP++).

• Distributie-uitlijning (MAUVE): EPSVEC++ (de versie met base-modellen en fixed-shots) behaalt aanzienlijk betere MAUVE-scores (een maatstaf voor de gelijkenis tussen synthetische en echte data). Op de IMDb-dataset bereikt het een score van 72.3 bij $\epsilon=5$, wat een verbetering is van ongeveer 150% ten opzichte van de beste concurrent (PP++).
• Downstream Utility: Wanneer synthetische data van EPSVEC wordt gebruikt om een BERT-classifier te finetunen, worden vergelijkbare nauwkeurigheden behaald als bij het gebruik van echte data.
• Efficiëntie: EPSVEC vereist aanzienlijk minder rekentijd en minder privédata om 2.000 samples te genereren dan concurrenten. Concurrenten zoals PP++ falen vaak bij het genereren van lange teksten of grote hoeveelheden data onder strikte privacybudgetten.
• Robuustheid: De methode werkt goed over verschillende modelarchitecturen (LLaMA, Qwen, Gemma, OLMo) en is minder gevoelig voor de grootte van de gegenereerde dataset.

5. Betekenis en Impact

EPSVEC vertegenwoordigt een paradigmaverschuiving in privé synthetische data-generatie:

• Schaalbaarheid: Het oplost het schaalbaarheidsprobleem van bestaande inferentie-tijd methoden door de privacykosten te beperken tot een eenmalige stap. Dit maakt het mogelijk om grote corpora te genereren voor onderzoek en benchmarking zonder de privacy van individuen te riskeren.
• Toepasbaarheid: Het maakt het mogelijk om gevoelige domeinen (zoals biomedische data of peer-review feedback) te benutten voor modelontwikkeling, waar data anders ontoegankelijk zou zijn.
• Technische Innovatie: Het toont aan dat "steering vectors" effectief kunnen worden gebruikt als herbruikbare, gepubliceerde controle-signalen voor dataset-uitlijning, wat een nieuwe richting opent voor representatie-engineering in LLMs.

Kortom, EPSVEC biedt een praktische, schaalbare en privacy-bewuste oplossing om de kloof tussen de behoefte aan data en de beperkingen van privacywetgeving te overbruggen, met name in scenario's met beperkte data.