DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning

1. Il Problema

La generazione di dati sintetici differenzialmente privati (DP) è fondamentale per addestrare modelli linguistici su larga scala (LLM) quando i proprietari dei dati non possono fornire accesso diretto ("eyes-on") ai dati sensibili a causa di vincoli normativi o di privacy.
Attualmente, le metodologie esistenti presentano un compromesso difficile tra qualità dei dati e livello di accesso richiesto:

• Fine-tuning DP (es. DP-SGD): Garantisce la privacy durante l'addestramento del generatore, ma richiede comunque l'esposizione dei dati grezzi privati al modello durante il processo di ottimizzazione, violando il vincolo "eyes-off".
• Metodi "Eyes-Off" (es. Aug-PE): Evitano l'esposizione diretta dei dati privati utilizzando prompt iterativi per guidare un LLM pre-addestrato (frozen). Tuttavia, poiché il modello non viene adattato, i dati sintetici generati spesso mancano di fedeltà al dominio specifico e di qualità strutturale.

L'obiettivo è addestrare un LLM a generare testo sintetico di alta qualità che rispecchi la distribuzione dei dati privati senza mai ingerire esempi privati individuali durante l'addestramento.

2. Metodologia: DP-RFT

Gli autori propongono DP-RFT (Differentially Private Reinforcement Fine-Tuning), un algoritmo di apprendimento per rinforzo (RL) online progettato per adattare i pesi di un LLM a un corpus privato mantenendo la privacy.

Componenti Chiave:

1. Segnale di Ricompensa (DP Votes):

   • Invece di usare i dati grezzi, il sistema calcola un segnale di ricompensa basato sulla similarità tra i campioni sintetici generati e il corpus privato.
   • Viene utilizzata una funzione di similarità (es. embedding testuale) per calcolare quanto un documento sintetico è simile a ciascun documento privato.
   • Protezione DP: Per garantire la privacy, i punteggi di similarità grezzi vengono "clippati" (limitati a una soglia $c$) e sommati. Successivamente, viene aggiunto rumore gaussiano calibrato (meccanismo di Gaussiano) a questa somma prima di restituire la ricompensa al modello. Questo permette di calcolare la ricompensa all'interno del confine dei dati privati e di esporre solo il risultato rumoroso al LLM.

2. Ottimizzazione della Politica (PPO):

   • L'LLM (attore) genera campioni sintetici basati su prompt pubblici (che descrivono il dominio, ma non i dati).
   • Viene utilizzata l'algoritmo Proximal Policy Optimization (PPO) per aggiornare i pesi del modello massimizzando il valore atteso delle ricompense DP.
   • Il modello impara iterativamente a generare testi che massimizzano la similarità con il corpus privato, pur non avendo mai visto i dati originali.

3. Mitigazione dell'Hacking della Ricompensa:

   • Poiché ottimizzare solo la similarità di embedding può portare a risultati privi di senso o che "ingannano" il modello di embedding, viene introdotta una seconda ricompensa, $R_{prompt}$.
   • $R_{prompt}$ valuta l'aderenza del testo generato alle istruzioni del prompt (usando un LLM come giudice e controlli basati su regole).
   • La ricompensa finale è definita come $R_{sim}$ solo se $R_{prompt}$ supera una soglia $\tau$, altrimenti è zero. Questo assicura che il testo sia sia simile al dominio che coerente con le istruzioni.

3. Contributi Chiave

1. Nuovo metodo di Fine-tuning: Introduzione di DP-RFT, che combina una funzione di ricompensa protetta da DP e l'apprendimento per rinforzo per adattare un LLM a un corpus privato senza ingerire mai esempi privati diretti, soddisfacendo il vincolo "eyes-off".
2. Valutazione Estensiva: Sperimentazione su quattro dataset diversi (articoli BBC, abstract medici PubMed, trascrizioni di riunioni QMSum, chat WildChat) che coprono diversi domini e strutture di testo.
3. Analisi Qualitativa e Quantitativa: Dimostrazione che DP-RFT cattura meglio le similarità lessicali e strutturali rispetto ai metodi basati su prompt statici, specialmente per testi lunghi e strutturati.

4. Risultati Sperimentali

Gli esperimenti confrontano DP-RFT con Aug-PE (metodo eyes-off) e DP-FT (metodo eyes-on che viola la privacy nel setting eyes-off).

• Utilità a Valle (Downstream Utility):

  • DP-RFT supera costantemente Aug-PE in termini di accuratezza di previsione del token successivo quando i dati sintetici sono usati per addestrare modelli downstream (BERTSmall e GPT-2).
  • In scenari con budget di privacy stretti ($\epsilon$ basso) e dataset piccoli, DP-RFT supera persino il metodo DP-FT (che richiede accesso ai dati grezzi) per modelli come BERTSmall, colmando il divario tra metodi "eyes-off" e "eyes-on".
  • I miglioramenti sono significativi: fino al 47% di miglioramento relativo su QMSum rispetto ad Aug-PE.

• Fedeltà e Similarità:

  • I dati generati da DP-RFT mostrano una maggiore similarità di embedding (media e massima) e una minore distanza di distribuzione (FID) rispetto ai dati generati da Aug-PE.
  • L'analisi qualitativa rivela che DP-RFT cattura meglio lo stile, il tono e la struttura (es. numero di parole per turno nelle chat) rispetto ai metodi basati su prompt.

• Efficienza Computazionale:

  • Sebbene DP-RFT richieda una fase di addestramento (una tantum), è computazionalmente più efficiente rispetto ad Aug-PE, che richiede 10 iterazioni di generazione massiccia per convergere. DP-RFT genera dati sintetici in modo più efficiente dopo l'addestramento iniziale.

5. Significato e Impatto

DP-RFT rappresenta un passo avanti significativo nella generazione di dati sintetici privati.

• Superamento del Compromesso: Risolve il dilemma tra la necessità di adattare il modello per ottenere alta fedeltà e il requisito di non esporre i dati privati.
• Privacy Pratica: Permette di addestrare modelli su dati sensibili (medici, legali, finanziari) senza che i proprietari dei dati debbano mai condividere i dati grezzi con il team di sviluppo del modello, riducendo i rischi di violazione della privacy.
• Scalabilità: Offre una via praticabile per l'uso responsabile degli LLM in settori ad alta sensibilità, permettendo la creazione di dataset sintetici di alta qualità che possono essere utilizzati per lo sviluppo di modelli downstream senza compromettere la privacy individuale.

In sintesi, DP-RFT dimostra che è possibile ottenere la qualità dei dati di un fine-tuning diretto mantenendo le garanzie formali della privacy differenziale e il vincolo di non accesso diretto ai dati.