EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

1. Problemstellung

Moderne Machine-Learning-Systeme sind extrem datenhungrig, doch viele wertvolle Textkorpora (z. B. medizinische Aufzeichnungen, interne Dokumente, Nutzerfeedback) sind sensibel und unterliegen Datenschutzbestimmungen, was ihre direkte Weitergabe verhindert.

• Herausforderung: Bestehende Methoden zur Erzeugung privater synthetischer Daten sind ineffizient.
  • Trainingsbasierte Ansätze (z. B. privates Fine-Tuning mit DP-SGD) sind rechenintensiv und benötigen große Datenmengen.
  • Inferenz-basierte Ansätze (z. B. privates Vorhersagen oder Token-Aggregation) sind oft rechen- und datenintensiv, skalieren schlecht mit der Anzahl der generierten Tokens und erfordern große Batch-Größen, um brauchbare Qualität zu erreichen.
• Ziel: Eine Methode zu entwickeln, die hochwertige synthetische Daten mit strengen Datenschutzgarantien (Differential Privacy, DP) erzeugt, dabei recheneffizient ist, auch bei kleinen Datenmengen funktioniert und unbegrenzt viele Proben ohne zusätzlichen Datenschutzkosten generieren kann.

2. Methodik: EPSVEC

Das vorgeschlagene Framework EPSVEC (Efficient and Private Synthetic data generation via dataset Vectors) nutzt sogenannte Datensatz-Vektoren (Dataset Vectors), um die Generierung von Large Language Models (LLMs) zu steuern, ohne das Modell neu zu trainieren.

Kernkonzept: Datensatz-Vektoren

Ein Datensatz-Vektor ist eine einzelne Richtung im Aktivierungsraum (Embedding-Space) eines LLMs, die die Verteilungsverschiebung (Distributional Shift) zwischen einer öffentlichen Referenzverteilung und dem privaten Ziel-Datensatz kompakt kodiert.

• Theoretische Basis: Basierend auf der Linear Representation Hypothesis, die besagt, dass semantische Konzepte und Attribute als lineare Richtungen im Aktivierungsraum kodiert sind.
• Vorteil: Diese Vektoren werden einmalig extrahiert und privatisiert. Danach können sie beliebig oft zur Generierung verwendet werden, ohne den privaten Datenschutzbudget (Privacy Budget) weiter zu belasten.

Der EPSVEC-Prozess (Schritt-für-Schritt)

1. Extraktion privater Datensatz-Vektoren:
   • Es wird ein privater Datensatz $D^+$ und ein synthetischer Referenzdatensatz $D^-$ (generiert durch Standard-Prompting) erstellt.
   • Die versteckten Zustände (Hidden States) beider Datensätze werden durch das LLM extrahiert.
   • Der Unterschied zwischen den gemittelten Embeddings von $D^+$ und $D^-$ wird berechnet, um den Vektor zu erhalten, der die spezifischen Merkmale des privaten Datensatzes repräsentiert.
   • Privatisierung: Um Differential Privacy zu gewährleisten, werden die Vektoren durch Clipping (Begrenzung der Sensitivität pro Beispiel) und Hinzufügen von Gaußschem Rauschen (Gaussian Noise) geschützt.
2. Steuerung der Generierung (Vector Injection):
   • Während der Inferenz werden die privat geschützten Vektoren in die versteckten Zustände des LLMs injiziert (additive Intervention: $z_{\ell,t} \leftarrow z_{\ell,t} + \beta_\ell v_\ell$).
   • Dies lenkt die Dekodierung des Modells in Richtung der Zielverteilung, ohne dass weitere private Daten benötigt werden.
3. Verwendung von Pretrained (Base) Modellen und Fixed-Shot Prompts:
   • Modellwahl: Das Paper zeigt, dass Instruction-Tuned (IT) Modelle oft zu wenig Diversität aufweisen und zu homogenisierten Texten neigen. Daher werden Pretrained (PT/Base) Modelle bevorzugt, die eine breitere stilistische Vielfalt bieten.
   • Fixed-Shot Prompts: Da Base-Modelle schwerer zu steuern sind, werden feste Prompt-Beispiele (Fixed-Shots) verwendet. Diese werden jedoch nicht direkt aus den privaten Daten kopiert (was die Privatsphäre verletzen würde), sondern durch einen DP-geschützten Histogramm-Mechanismus aus einer synthetischen Kandidatenpool ausgewählt, der den privaten Daten am nächsten kommt. Diese festen Beispiele stabilisieren die Generierung.

3. Wichtige Beiträge

• Entkopplung von Datenschutz und Generierung: Im Gegensatz zu herkömmlichen Methoden, bei denen jeder generierte Token oder jede Probe den Datenschutzbudget verbraucht, wird bei EPSVEC nur der Vektor einmal privatisiert. Die nachfolgende Generierung beliebiger Mengen an Daten ist kostenlos in Bezug auf den Datenschutz.
• Effizienz: Die Methode ist rechen- und dateneffizient. Sie benötigt keine großen Batch-Größen und funktioniert auch in Szenarien mit sehr wenigen privaten Daten (Low-Data-Regimes).
• Verbesserte Fidelity durch PT-Modelle: Die Kombination aus Pretrained-Modellen, Fixed-Shot-Prompts und Vektor-Injektion führt zu einer signifikant höheren Qualität und Diversität der synthetischen Daten im Vergleich zu Instruction-Tuned-Modellen.
• Formale Garantien: Das Paper liefert strenge Beweise für die Differential Privacy (DP) der extrahierten Vektoren und des gesamten Pipelines, einschließlich der Subsampling-Verstärkung bei großen Datensätzen.

4. Ergebnisse

Die Experimente wurden auf vier Datensätzen durchgeführt (IMDb, Yelp, BioRxiv, OpenReview) und mit aktuellen State-of-the-Art-Baselines (AUG-PE, InvisibleInk, Private Prediction/PP++) verglichen.

• Verteilungstreue (Distributional Alignment): Gemessen am MAUVE-Score (ein Maß für die Ähnlichkeit zwischen synthetischen und realen Texten) übertrifft EPSVEC alle Baselines deutlich, insbesondere in Low-Data-Szenarien.
  • Beispiel: Auf dem IMDb-Datensatz erreichte EPSVEC++ einen MAUVE-Score von 72,3 (bei $\epsilon=5$), während die nächstbeste Methode (PP++) nur 14,9 erreichte.
• Downstream-Nützlichkeit: Wenn synthetische Daten von EPSVEC zum Feinabstimmen eines BERT-Klassifikators verwendet wurden, erreichten sie eine Genauigkeit, die der von Modellen, die mit echten Daten trainiert wurden, sehr nahe kam.
• Ressourceneffizienz:
  • EPSVEC benötigt deutlich weniger Rechenzeit und weniger private Trainingsdaten als Baselines wie PP oder PP++.
  • Andere Methoden scheiterten oft daran, bei strengen Datenschutzbudgets lange Texte zu generieren oder benötigten enorme Batch-Größen, was EPSVEC nicht tut.
• Skalierbarkeit: Die Methode kann unbegrenzt viele Proben beliebiger Länge generieren, ohne dass die Datenschutzgarantien abnehmen.

5. Bedeutung und Fazit

EPSVEC stellt einen Paradigmenwechsel in der Erzeugung privater synthetischer Daten dar. Anstatt jeden Datenpunkt oder Token separat zu schützen, wird die gesamte Verteilungsverschiebung des Datensatzes in einem einzigen, privat geschützten Vektor kodiert.

• Praktische Relevanz: Die Methode ermöglicht es Forschern und Praktikern, hochwertige synthetische Datensätze für sensible Bereiche (z. B. Medizin, Finanzen) zu erstellen, ohne die Privatsphäre der ursprünglichen Nutzer zu gefährden und ohne massive Rechenressourcen zu verschwenden.
• Zukunftsausblick: Die Arbeit zeigt, dass Datenschutz und hohe Datenqualität nicht zwangsläufig im Widerspruch stehen müssen, wenn man die richtige Repräsentationsebene (Aktivierungsraum vs. Token-Ebene) wählt. Zudem liefert sie Einblicke in die Nutzung von Pretrained-Modellen für kontrollierte Generierung und die Rolle von Rauschen als Regularisierer für die Diversität.

Zusammenfassend bietet EPSVEC eine skalierbare, effiziente und hochqualitative Lösung für das Problem des Datenschutzes in der Textgenerierung, die insbesondere dort überlegen ist, wo Daten knapp oder sensibel sind.