EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

1. Il Problema

La generazione di dati sintetici di alta qualità è fondamentale per lo sviluppo del machine learning, specialmente in settori dove i dati reali sono sensibili (es. cartelle cliniche, documenti interni, feedback utente) e non possono essere condivisi liberamente. Sebbene i Large Language Models (LLM) siano potenti generatori di dati sintetici, le attuali soluzioni per la generazione privata presentano gravi limiti:

• Inefficienza computazionale: I metodi basati sull'addestramento (es. fine-tuning privato con DP-SGD) sono costosi e richiedono grandi quantità di dati.
• Costi privati elevati: I metodi di inferenza privata (es. aggregazione di token o filtraggio) spesso richiedono un budget di privacy che scala con il numero di token generati o con la dimensione del batch, rendendo impossibile la generazione su larga scala o di sequenze lunghe.
• Bassa fedeltà: Le strategie naive (zero-shot o few-shot) spesso falliscono nel replicare la distribuzione target o perdono le sfumature stilistiche e semantiche dei dati reali, specialmente in regimi con pochi dati.

L'obiettivo è creare un metodo che sia efficiente, privato (garantendo Differential Privacy - DP) e in grado di generare dati sintetici di alta fedeltà anche con pochi dati privati a disposizione.

2. Metodologia: EPSVEC

Il paper introduce EPSVEC, un approccio leggero che utilizza i vettori di dataset per guidare la generazione dell'LLM senza addestramento aggiuntivo.

A. Vettori di Dataset (Dataset Vectors)

L'idea centrale è che le proprietà distribuzionali di un dataset (stile, sottotemi, flusso semantico) possono essere codificate come una singola direzione nello spazio delle attivazioni dell'LLM.

• Estrazione: Si calcola la differenza media tra le rappresentazioni nascoste (hidden states) di campioni privati ($D^+$) e campioni sintetici generati da prompt zero-shot ($D^-$). Questa differenza cattura il "gap" tra la distribuzione di base del modello e quella del dataset privato.
• Privatizzazione: Il vettore risultante viene privatizzato aggiungendo rumore gaussiano e applicando il clipping della sensibilità, garantendo la Differential Privacy (DP). Una volta rilasciato questo vettore privatizzato, non è necessario spendere ulteriore budget di privacy per generare nuovi campioni.
• Iniezione: Durante l'inferenza, il vettore privatizzato viene iniettato negli stati nascosti dell'LLM a ogni passo di decodifica, "spingendo" (steering) la generazione verso le caratteristiche del dataset target.

B. Modelli Pre-addestrati (Base) e Prompting Fixed-Shot

Gli autori osservano che i modelli Instruction-Tuned (IT) tendono a collassare la diversità linguistica, producendo testi troppo standardizzati.

• Uso di Modelli Base: EPSVEC utilizza modelli pre-addestrati (Base), che offrono una maggiore diversità stilistica, ma sono più difficili da controllare.
• Fixed-Shot Prompting: Per stabilizzare i modelli base, EPSVEC introduce un template di prompt con esempi fissi (fixed-shots). Questi esempi non sono dati reali (che violerebbero la privacy), ma vengono selezionati privatamente da un pool di candidati sintetici utilizzando un meccanismo di istogramma DP. Questo scaffold fornisce un punto di partenza stabile per l'iniezione del vettore.

C. Efficienza e Scalabilità

La caratteristica rivoluzionaria di EPSVEC è la separazione del budget di privacy dalla generazione:

1. Si estrae e privatizza il vettore una sola volta (costo DP fisso).
2. Si possono generare arbitrariamente molti campioni e di lunghezza arbitraria senza costi aggiuntivi di privacy.
3. Il costo computazionale è paragonabile a una generazione standard zero-shot.

3. Contributi Chiave

1. Nuovo Paradigma di Privacy: Sposta il costo della privacy dall'intero processo di generazione (token per token) a una singola rappresentazione vettoriale del dataset.
2. Alta Fedeltà in Regimi a Pochi Dati: Dimostra che i vettori di dataset possono catturare strutture complesse (stile, mix di sottotemi) che i prompt testuali non riescono a comunicare, ottenendo risultati superiori anche con piccoli dataset privati.
3. Ottimizzazione del Modello: Evidenzia l'importanza di combinare modelli Base (per la diversità) con scaffold di prompt Fixed-Shot (per la stabilità), superando i limiti dei modelli Instruction-Tuned.
4. Efficienza Computazionale: Elimina la necessità di grandi batch di dati privati o di aggregazioni costose durante l'inferenza, rendendo la generazione scalabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset (IMDb, Yelp, BioRxiv, OpenReview) confrontando EPSVEC con metodi baselines come AUG-PE, PP (Private Prediction) e InvisibleInk.

• Fedeltà Distribuzionale (MAUVE): EPSVEC supera significativamente tutti i baselines. In particolare, su IMDb, EPSVEC++ raggiunge un punteggio MAUVE del 72.3% (vs 14.9% di PP++ e 0.5% di AUG-PE) con $\epsilon=5$.
• Utilità a Valle: I dati sintetici generati da EPSVEC, quando usati per il fine-tuning di un classificatore BERT, raggiungono accuratezze comparabili a quelle ottenute con dati reali.
• Efficienza:
  • EPSVEC richiede meno dati privati e meno risorse computazionali rispetto ai metodi baselines.
  • A differenza di PP e PP++, che falliscono nel generare sequenze lunghe o grandi quantità di dati sotto vincoli di privacy stretti, EPSVEC mantiene le prestazioni.
  • Funziona bene anche con pochi dati privati (es. 500 campioni) per costruire i vettori.
• Robustezza: Il metodo si dimostra efficace su diverse famiglie di modelli (LLaMA, Qwen, Gemma, OLMo).

5. Significato e Impatto

EPSVEC rappresenta un passo avanti significativo verso la generazione di dati sintetici pratici e sicuri.

• Democratizzazione dell'accesso ai dati: Permette a ricercatori e aziende di creare corpus sintetici che rispecchiano dati sensibili senza dover condividere i dati originali o spendere budget di privacy per ogni singola generazione.
• Superamento dei limiti attuali: Risolve il compromesso tra privacy, qualità e scalabilità che affligge i metodi attuali, rendendo fattibile la generazione di grandi volumi di dati per l'addestramento di modelli in settori regolamentati (sanità, finanza).
• Nuova direzione di ricerca: Introduce l'idea di utilizzare vettori di steering come segnali di controllo riutilizzabili e privatizzati, aprendo la strada a metodi di allineamento distribuzionale più efficienti.

In sintesi, EPSVEC dimostra che è possibile generare dati sintetici di alta qualità, privi di rischi di privacy e computazionalmente efficienti, trasformando il problema della privacy da un vincolo per-token a una rappresentazione di dataset compatta e riutilizzabile.