DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning

Probleemstelling

Het trainen van grote taalmodellen (LLMs) vereist doorgaans centrale toegang tot trainingsdata. Dit botst met privacybeperkingen waarbij data-eigenaren geen directe toegang ("eyes-on") tot individuele voorbeelden kunnen geven vanwege wettelijke regels of gevoeligheid van de data.

Er bestaat een fundamenteel dilemma bij het genereren van synthetische data met differentieel privacy (DP):

1. DP-Finetuning (bijv. DP-SGD): Biedt formele privacygaranties en hoge kwaliteit, maar vereist dat de ruwe, privédata direct aan het model wordt blootgesteld tijdens het trainingsproces. Dit schendt vaak de "eyes-off" eis.
2. Eyes-off methoden (bijv. Aug-PE): Vermijden directe blootstelling door iteratief prompting te gebruiken om een bestaand, niet-gefinetuned model te sturen. De output mist echter vaak domein-specificiteit en kwaliteit omdat het model niet wordt aangepast aan de onderliggende verdeling van de privédata.

De centrale vraag is: Kunnen we een LLM trainen om hoogwaardige synthetische tekst te genereren zonder ooit individuele privévoorbeelden direct te zien?

Methodologie: DP-RFT

De auteurs stellen DP-RFT (Differentially Private Reinforcement Fine-Tuning) voor, een online reinforcement learning (RL) algoritme dat de voordelen van beide werelden combineert. Het doel is om een generatief model ($M_{gen}$) te finetunen dat synthetische documenten produceert die statistisch lijken op een privécorpus ($D_{priv}$), zonder de privédata als input te gebruiken.

Kerncomponenten:

1. Input Prompts:
   In plaats van privédata te gebruiken, worden diverse prompts gegenereerd die publieke informatie over het domein bevatten (bijv. trefwoorden, onderwerpen, gewenste lengte). Deze dienen als startpunt voor de generatie.

2. Beloningssignaal (Reward Signal) via DP-Voting:
   Dit is het innovatieve deel van de methode. In plaats van de modelgewichten direct te updaten op basis van privédata, wordt een beloning berekend op basis van gelijkenis met de privédata:

   • Het model genereert een synthetisch document $d$.
   • Een embedding-model berekent de gelijkenis tussen $d$ en alle documenten in het privécorpus $D_{priv}$.
   • De DP-protected votes worden berekend als de som van deze gelijkeniscores, gecombineerd met een clipping-mechanisme en het toevoegen van Gaussisch ruis.
   • De uiteindelijke beloning $R_{sim}$ is de gemiddelde gelijkenis, verstoord met ruis om differentieel privacy te garanderen.
   • Formule: $R_{sim} = \frac{1}{|D_{priv}|} \sum sim(d, D_{priv,i}) + \text{Noise}$.

3. Voorkomen van Reward Hacking:
   Omdat het optimaliseren van alleen $R_{sim}$ kan leiden tot "reward hacking" (het model leert de embedding-model te misleiden zonder echte kwaliteit), wordt een tweede beloning $R_{prompt}$ toegevoegd. Deze meet of de output voldoet aan de instructies in de prompt (gebruikmakend van een LLM-as-a-judge en regelgebaseerde checks).

   • De finale beloning $R$ is $R_{sim}$ als $R_{prompt} > \tau$, anders 0.

4. Training met PPO:
   Het model wordt getraind met Proximal Policy Optimization (PPO). Het model leert iteratief om de verwachte DP-beloning te maximaliseren. Omdat de beloning al differentieel privé is verwerkt, hoeft het model nooit de ruwe privédata te zien; het ontvangt alleen het verstoord aggregaat.

Belangrijkste Bijdragen

1. Nieuwe Finetuning-methode: DP-RFT is de eerste methode die reinforcement learning gebruikt om een LLM te trainen tegen een privécorpus zonder directe ingestie van privévoorbeelden, waardoor de "eyes-off" beperking wordt gerespecteerd.
2. Uitgebreide Evaluatie: De methode is getest op vier diverse datasets (medische abstracts, nieuwsartikelen, chatlogs, vergaderteksten) met verschillende privacy-budgetten ($\epsilon$).
3. Kwalitatieve en Kwantitatieve Analyse: Het paper toont aan dat DP-RFT niet alleen beter presteert dan bestaande "eyes-off" methoden, maar ook de prestatiekloof met DP-finetuning (die wel directe toegang heeft) aanzienlijk verkleint.

Resultaten

De experimenten tonen aan dat DP-RFT superieur is aan de state-of-the-art "eyes-off" baseline (Aug-PE) en dicht in de buurt komt van DP-finetuning (DP-FT), zelfs onder strikte privacybeperkingen.

• Downstream Utility: Wanneer de gegenereerde synthetische data wordt gebruikt om een ander model (bijv. BERTSmall of GPT-2) te trainen, behaalt DP-RFT een hogere nauwkeurigheid dan Aug-PE.
  • Op de PubMed-dataset verbeterde DP-RFT de prestaties van BERTSmall met tot 22% ten opzichte van Aug-PE.
  • Op QMSum (vergadertranscripten) was de verbetering zelfs 47%.
• Privacy Budget: DP-RFT presteert consistent beter dan Aug-PE over alle privacy-budgetten ($\epsilon = 1, 2, 4, \infty$). Interessant genoeg presteert DP-RFT bij BERTSmall zelfs beter dan DP-FT onder strikte privacybudgetten ($\epsilon \neq \infty$), wat aangeeft dat de RL-benadering robuuster is in data-schaarse of privacy-gevoelige scenario's.
• Kwaliteit en Structuur: Kwalitatieve analyses tonen aan dat DP-RFT beter in staat is om lexische overlap en structurele eigenschappen (zoals woordtelling in chat-omwentelingen) na te bootsen dan Aug-PE. Aug-PE neigt naar meer diversiteit maar lagere fideliteit, terwijl DP-RFT de verdeling van de privédata nauwkeuriger volgt.
• Efficiëntie: Hoewel DP-RFT een trainingsfase vereist (ongeveer 40 GPU-uur voor 200 stappen), is dit een eenmalige kostenpost. Aug-PE vereist iteratieve generatie die over 10 iteraties tot 100 GPU-uur kan lopen voor dezelfde hoeveelheid data, wat DP-RFT efficiënter maakt voor lange teksten.

Betekenis en Impact

DP-RFT biedt een praktische oplossing voor het dilemma tussen privacy en modelkwaliteit. Het stelt organisaties in staat om:

1. Privacy te waarborgen: Geen enkele individuele datapunt wordt direct aan het generatieve model blootgesteld, wat voldoet aan strenge reguleringen.
2. Hoge kwaliteit te behalen: Door het model te finetunen via RL in plaats van alleen te prompten, worden synthetische datasets gegenereerd die statistisch zeer dicht bij de echte data liggen.
3. Downstream taken te verbeteren: De gegenereerde data is effectief bruikbaar voor het trainen van andere modellen, wat de toepasbaarheid in privacy-gevoelige domeinen (zoals gezondheidszorg en finance) vergroot.

Samenvattend introduceert DP-RFT een nieuwe standaard voor het genereren van differentieel privé synthetische data, waarbij het de beperkingen van bestaande methoden overbrugt en een haalbare weg biedt naar verantwoord gebruik van LLMs in privacy-critische omgevingen.