Technische Samenvatting: Differentieel Privé Preferentie-data Synthese voor Large Language Model Alignment

Probleemdefinitie

Large Language Models (LLM's) vereisen preferentie-alignment (bijv. via RLHF of DPO) om ervoor te zorgen dat outputs in lijn zijn met menselijke waarden. Dit proces vertrouwt op paarwijze preferentie-datasets waarbij menselijke annotatoren een geprefereerde respons selecteren boven een minder geprefereerde respons voor gegeven prompts. Deze datasets bevatten echter vaak gevoelige gebruikersprompts (die informatie onthullen over gezondheid, identiteit of persoonlijke onderwerpen) en menselijke feedback (die private overtuigingen of gedragspatronen onthullen).

Bestaande privacy-waarborgende benaderingen kampen met aanzienlijke beperkingen:

1. Partiële Bescherming: Veel methoden beschermen alleen prompts of alleen labels, waardoor er gaten ontstaan waar aanvallers gevoelige attributen kunnen afleiden uit onbeschermde componenten.
2. Methodologische Rigiditeit: Huidige oplossingen richten zich vaak op specifieke algoritmen (bijv. PPO-gebaseerde RLHF) en missen compatibiliteit met opkomende methoden zoals Direct Preference Optimization (DPO).
3. Data-schaarste: Hoogwaardige menselijke preferentie-annotaties zijn kostbaar en schaars. Het direct toepassen van differential privacy (DP) op beperkte private datasets leidt vaak tot degradatie van de utility, wat resulteert in slechte alignment-prestaties.

De centrale vraag die wordt behandeld is of superieur preferentie-alignment kan worden bereikt terwijl volledige privacybescherming wordt gewaarborgd en de compatibiliteit met diverse alignment-methodologieën behouden blijft.

Methodologie: DPPrefSyn

De auteurs stellen DPPrefSyn voor, een principieel framework voor het genereren van differentieel privé (DP) synthetische preferentie-data. Het algoritme opereert op het Bradley–Terry preferentie-model en gaat uit van een lineaire beloningsstructuur ($r_\theta(x, a) = \langle \theta, \phi(x, a) \rangle$) om heterogene menselijke voorkeuren te vangen.

Het proces bestaat uit drie hoofdfasen:

1. Preferentie-representatie en Clustering:

   • Embedding: Private preferentie-samples $(x_i, a^+_i, a^-_i)$ worden gecodeerd met behulp van een publiek sentence embedding model $\psi$. De feature vector wordt gedefinieerd als het verschil tussen de embeddings van de prompt-geconcateneerde geprefereerde en minder geprefereerde responsen: $d_i = \psi(x_i, a^+_i) - \psi(x_i, a^-_i)$.
   • Dimensionaliteitsreductie (DP-PCA): Om de inefficiëntie van samples in hoogdimensionale ruimtes aan te pakken, past het algoritme DP-PCA toe om $d_i$ te projecteren in een lager-dimensionale ruimte ($z_i$), waarbij cruciale preferentie-signalen behouden blijven onder een privacybudget $\epsilon_0$.
   • Clustering (DP-KMeans): De geprojecteerde vectoren worden geclusterd met behulp van DP-KMeans onder budget $\epsilon_1$. Dit groepeert samples met vergelijkbare preferentiepatronen, waardoor de aanname wordt gedaan dat gebruikers binnen een cluster een gemeenschappelijk beloningsparameter $\theta_k$ delen.

2. DP Beloningsmodel Training:

   • Voor elke cluster $C_k$ wordt een lineair beloningsmodel geparametriseerd door $\theta_k$ getraind om de negatieve log-likelihood van de geobserveerde preferenties binnen die cluster te minimaliseren.
   • Training maakt gebruik van DP-SGD (Differentially Private Stochastic Gradient Descent) met een noise multiplier $\sigma_2$.
   • Parallelle Compositie: Omdat clusters disjunct zijn, wordt de privacykosten voor het trainen van alle clustermodellen begrensd door de kosten van het trainen op de kleinste cluster, wat zorgt voor efficiënt budgetgebruik.

3. DP Synthetische Preferentie Generatie:

   • Het algoritme maakt gebruik van publieke prompts om te voorkomen dat het privacybudget wordt verbruikt aan prompt-synthese.
   • Voor elke publieke prompt genereert een LLM $L$ diverse kandidaat-responsen.
   • Een clusterindex $k$ wordt gesampled op basis van de DP-beschermde distributie van clustergroottes (histogram).
   • De kandidaat-responsen worden geëvalueerd met behulp van het getrainde DP-beloningsmodel $\theta_k$ (geprojecteerd in de DP-PCA subspace). Het paar met de hoogste en laagste beloningsscores vormt een synthetisch preferentie-paar $(\tilde{x}, \tilde{a}^+, \tilde{a}^-)$.
   • Samples met onvoldoende beloningsverschillen worden weggegooid om de kwaliteit te waarborgen.

Privacygarantie: Het algoritme voldoet aan $(\epsilon, \delta)$-differential privacy. Het totale budget wordt toegewezen aan DP-PCA ($\epsilon_0$), DP-KMeans ($\epsilon_1$), en het resterende budget voor DP-SGD. De Privacy Random Variable (PRV) accountant wordt gebruikt om de DP-SGD kosten strak samen te stellen. Vanwege de post-processing eigenschap van DP kan de resulterende synthetische dataset worden hergebruikt voor diverse alignment-methoden en LLM's zonder extra privacykosten te maken.

Belangrijkste Bijdragen

1. Nieuw Algoritme (DPPrefSyn): Het eerste werk dat DP synthetische preferentie-data genereert specifief voor LLM-alignment. Het combineert uniek het Bradley–Terry model met de intrinsieke geometrische structuren van paarwijze data.
2. Omgaan met Preferentie-heterogeniteit: Door gebruik te maken van de gedeelde lineaire structuur van beloningsmodellen en clustering, vangt het framework effectief diverse menselijke voorkeuren op (bijv. variërende prioriteiten op feitelijke juistheid versus beleefdheid) binnen private datasets.
3. Efficiëntie en Robuustheid:
   • DP-PCA verbetert de leer-efficiëntie en clustering-stabiliteit in hoogdimensionale ruimtes.
   • Publieke Prompts laten toe dat het volledige privacybudget zich kan focussen op het modelleren van voorkeuren, wat de privacy-efficiëntie aanzienlijk verbetert.
4. Strikte Privacyanalyse: Het paper biedt een formeel bewijs van $(\epsilon, \delta)$-DP, gebruikmakend van PRV-accounting voor strakke compositie.
5. Veelzijdigheid: In tegenstelling tot eerdere werken die beperkt zijn tot specifieke algoritmen (zoals PPO), is DPPrefSyn compatibel met meerdere alignment-methoden, inclus\u00adwaals SFT, DPO en PPO.

Experimentele Resultaten

De auteurs hebben DPPefSyn geëvalueerd op drie benchmarks: OpenAssistant (QA), Anthropic-HH (Helpfulness/Harmlessness) en TL;DR (Summarization). Het downstream model werd gefinetuned middels SFT gevolgd door DPO (of PPO).

• Superieure Privacy-Utility Trade-off: DPPefSyn presteerde consistent beter dan directe fine-tuning op private data met behulp van DP-SGD (DP-FT) over alle privacybudgets ($\epsilon = 0.5, 1, 2, 4, 8$).
  • Voorbeeld: Op Anthropic-HH met $\epsilon=2$ behaalde DPPefSyn een 56.48% GPT-4o win rate na DPO, wat aanzienlijk beter is dan DP-FT (37.02%) en zelfs de niet-private baseline (38.72%) overtreft.
• Robuustheid tegen Data-schaarste: De methode bleef effectief, zelfs met beperkte publieke prompts (bijv. 5K prompts versus 14K private samples), wat aantoont dat hoogwaardige synthetische generatie problemen met data-schaarste kan mitigeren.
• Generaliseerbaarheid: De aanpak werkte effectief over verschillende downstream modellen (Pythia-2.8B, Qwen-3-4B, Llama-3-8B) en alignment-methoden (DPO, PPO).
• Privacy-aanvallen: DPPefSyn toonde een sterke weerstand tegen Membership Inference Attacks (MIA), met AUC-scores die dicht bij willekeurige gokken lagen, terwijl DP-FT modellen kwetsbaar bleven.

Betekenis en Claims

Het paper claimt dat DPPefSyn een praktisch alternatief biedt voor privacy-waarborgende preferentie-alignment. De primaire betekenis ligt in het aantonen dat synthetische preferentie-data een competitieve, en vaak superieure, alignment-prestatie kan bereiken vergeleken met het direct trainen op private data onder sterke DP-garanties.

De auteurs benadrukken dat door de privacybudget te ontkoppelen van de prompt-generatie (door publieke prompts te gebruiken) en te focussen op het modelleren van de distributie van menselijke voorkeuren (via clustering en beloningsmodellering), de methode de degradatie van de utility overwint die gewoonlijk geassocieerd wordt met DP fine-tuning. Dit maakt de inzet van gealigneerde LLM's mogelijk in toepassingen die strikte privacy vereisen (bijv. gezondheidszorg, persoonlijke assistenten) zonder de capaciteit van het model op te offeren.

Het werk wordt gepresenteerd als de eerste die DP synthetische preferentie-data genereert voor LLM-alignment, waarmee een nieuwe richting wordt gezet voor het balanceren van de voordelen van big data met individuele privacybescherming.