💻 computer science

Private Direct Preference Optimization for LLM Alignment

Dit artikel introduceert PrivDPO, een nieuwe Direct Preference Optimization-methode die een gespecialiseerde "preference privacy"-garantie afdwingt door uitsluitend gekalibreerde ruis toe te voegen langs de eendimensionale preferentieas, waardoor een sterke privacy-utiliteit-afweging wordt bereikt voor de afstemming van grote taalmodellen zonder de biases van standaard privacy-benaderingen.

Oorspronkelijke auteurs: Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

Gepubliceerd 2026-08-06

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert hoe hij beleefd, behulpzaam en veilig moet zijn. Je vertelt de robot niet alleen regels; je laat hem voorbeelden zien. Je geeft de robot een vraag, en hij schrijft twee verschillende antwoorden. Vervolgens kijkt een mens naar beide en zegt: "Ik vind Antwoord A beter dan Antwoord B." Dit proces wordt "alignment" genoemd, en dit is hoe we AI-modellen leren zich te gedragen als goede burgers in plaats van chaotische lastposten. De robot leert door naar duizenden van deze "A vs. B"-keuzes te kijken.

Maar hier komt de crux: die keuzes zijn niet zomaar datapunten; het zijn menselijke meningen. Als een mens een politieke mening of een specifieke ethische opvatting heeft, is die voorkeur een geheim. Als we de robot trainen met deze geheimen zonder bescherming, kan de robot per ongeluk onthouden wie wat zei, of kan het trainingsproces zelf die geheimen lekken aan een nieuwsgierige observator. Het is alsof je een klas probeert te onderwijzen door studenten te laten stemmen, maar de stemhokjes open laat zodat iedereen kan zien wie op wat heeft gestemd. Standaard privacytools bestaan wel, maar die zijn als het gebruik van een sloophamer om een noot te kraken: ze beschermen alles (zelfs de publieke vragen en de antwoorden van de robot) door zoveel "ruis" of verwarring toe te voegen dat de robot in de war raakt en effectief stopt met leren. We hebben een manier nodig om alleen de geheime stem te beschermen zonder de les te verstoren.

Dit is precies het probleem dat een nieuw artikel aanpakt van onderzoekers van de National University of Singapore en Alibaba. Ze introduceren een slimme nieuwe methode genaamd PrivDPO (Private Direct Preference Optimization). Hun grote idee is dat in de wiskunde achter het trainen van deze robots, het "geheim" (de menselijke voorkeur) slechts langs een zeer specifiek, eendimensionaal pad reist, zoals een enkele draad in een enorm elektriciteitsnetwerk. De rest van het netwerk is gewoon publieke informatie. In plaats van het hele netwerk te verwarren, injecteert PrivDPO een klein, zorgvuldig berekend beetje willekeur alleen langs die enkele draad.

Denk aan een spelletje "Telefoontje" waarbij je de naam van degene die het geheime bericht fluisterde wilt verbergen. Standaard privacymethoden zouden ervoor zorgen dat iedereen een volledig ander, onzinnig verhaal fluistert, waardoor de uiteindelijke boodschap betekenisloos wordt. PrivDPO realiseert zich echter dat het geheim alleen in de richting zit van de boodschap die wordt doorgegeven. Dus het verandert de boodschap af en toe of past het volume net genoeg aan om een spion te verwarren, maar het doet dit op een manier dat de boodschap, gemiddeld genomen, nog steeds perfect wordt doorgegeven. De onderzoekers ontdekten dat deze aanpak hen in staat stelt om enorme AI-modellen (tot 32 miljard parameters!) te trainen terwijl de menselijke voorkeuren privé blijven. Ze bewezen wiskundig dat deze methode privaat is en toonden via experimenten aan dat de AI net zo goed leert als wanneer er geen privacybescherming zou zijn, in tegen tegenstelling tot oudere methoden die de AI aanzienlijk dommer maakten.

De Kernontdekking: De Stem Verbergen, Niet het Stembiljet

De belangrijkste bevinding van het artikel is dat je menselijke voorkeuren in AI-training kunt beschermen zonder het vermogen van de AI om te leren op te offeren, mits je stopt met het behandelen van de hele trainingsvoorbeelden als een geheim. De auteurs stellen dat in Direct Preference Optimization (DPO), het gevoelige deel slechts de "stem" is (welk antwoord is beter), terwijl de vraag en de twee antwoorden meestal publieke kennis zijn.

Ze sluiten expliciet twee veelvoorkomende benaderingen uit:

Standaard Differential Privacy (DP-SGD): Ze laten zien dat het toepassen van standaard privacytools op het hele trainingsproces een ramp is voor grote modellen. Het vereist zoveel "ruis" om de publieke delen van de data te beschermen dat de AI de voorkeuren helemaal niet meer leert. In hun tests zorgde deze methode ervoor dat de prestaties van de AI zo laag waren dat het nauwelijks beter was dan willekeurig gokken.
Randomized Response (RR): Dit is een eenvoudigere methode waarbij je de stem simpelweg omdraait (bijvoorbeeld zeggen "A is beter" wanneer het eigenlijk "B is beter" is) met een bepaalde waarschijnlijkheid. Het artikel laat zien dat dit een "bias" creëert. Het is also kind als je een munt opwerpt om de stem te beslissen; hoewel het de waarheid verbergt, introduceert het ook een consistente fout die de AI de verkeerde lessen laat leren.

In plaats daarvan suggereren en bewijzen ze dat PrivDPO het ideale midden is. Door de manier waarop de AI leert wiskundig te analyseren, ontdekten ze dat het verschil tussen twee trainingsvoorbeelden (waarbij alleen de voorkeur is omgedraaid) ligt op een specifieke "as" die door de tekst wordt bepaald. Ze ontwierpen een algoritme dat willekeur toevoegt alleen aan de sterkte van het leersignaal langs deze as, in plaats van aan het geheel.

Hoe het werkt: De "Magische Gewicht"-truc

Om PrivDPO te begrijpen, stel je voor dat je een docent bent die een essay van een student beoordeelt. Je hebt twee versies: Versie A (goed) en Versie B (slecht). Je wilt de student vertellen: "Doe meer van A, minder van B."

In standaard training geef je een duidelijke instructie: "Verhoog A met 10 punten."
In de methode "Randomized Response" (die het artikel als slecht bestempelt), gooi je misschien een munt. Als het kop is, zeg je: "Verhoog A met 10." Als het munt is, zeg je: "Verhoog B met 10." Dit verwart de student, en de student leert de verkeerde dingen.

In PrivDOP doet de docent iets slimmer. De docent weet dat de student wordt bekeken door een spion die wil weten of de student echt een voorkeur heeft voor A of B. De docend zegt: "Ik ga je een 'magisch gewicht' geven waarmee je je instructie vermenigvuldigt."

Soms geven ze een gewicht van 1,2 (maakt de instructie sterker).
Soms geven ze een gewicht van 0,8 (maakt de instructie zwakker).
Cruciaal is dat ze dit doen op een manier dat als je alle instructies over de tijd middelt, de student nog steeds exact de juiste boodschap krijgt: "Verhoog A met 10."

De spion ziet de docent met verschillende getallen roepen (1,2, 0,8, 1,1, enzovoort) en kan niet weten of de oorspronkelijke voorkeur A of B was omdat de getallen door elkaar gehusseld zijn. Maar de student, die over veel voorbeelden heen leert, middelt de ruis eruit en leert perfect.

De Resultaten: Grote Modellen, Grote Privacy

De onderzoekers testten dit op drie verschillende soorten AI-modellen (Qwen, Llama en Pythia) variërend van 3 tot 32 miljard parameters. Ze gebruikten drie verschillende datasets van menselijke voorkeuren.

De resultaten waren duidelijk:

Privacy: PrivDPO beschermde de voorkeuren succesvol. Ze voerden een "memorizatietest" uit om te zien of de AI specifieke voorbeelden die het eerder had gezien, kon raden. Standaard AI-modellen (zonder privacy) konden ongeveer 9,76% van de tijd correct raden op de Anthropic-HH dataset, wat aantoonde dat ze de geheimen hadden onthouden. PrivDPO bracht dit terug naar bijna nul (0,01%), wat betekent dat de geheimen effectief verborgen bleven.
Prestaties: In tegen tegenstelling tot de "sledgehammer" privacy-methoden die de AI dom maakten, hield PrivDPO de AI slim. Op de Anthropic-HH dataset kreeg de standaard niet-private AI een "Reward Margin" (een score van hoe goed het heeft geleerd) van 0,393. PrivDPO met een sterke privacy-instelling ( $\epsilon=1$ ) kreeg 0,359. Dit is heel dichtbij! In contrast hiermee kreeg de standaard privacy-methode (DP-SGD) een score van slechts 0,01, wat een totale mislukking is.
Snelheid: Omdat PrivDPO geen complexe privacy-berekeningen voor elk stukje data hoeft te maken (het past alleen de wiskundige vergelijking licht aan), draait het bijna net zo snel als de niet-private versie. Ze vonden dat het slechts een verwaarloosbare hoeveelheid tijd toevoegde aan het trainingsproces, zelfs voor de grootste 32-miljard-parameter modellen.

Waarom dit ertoe doet

Het artikel concludeert dat we niet hoeven te kiezen tussen privacy en prestaties. Lange tijd dachten mensen dat als je menselijke data in AI-training wilde beschermen, je moest accepteren dat je een minder slimme AI zou krijgen. Dit artikel suggereert dat door de specifieke wiskunde te begrijpen van hoe AI leert van voorkeuren, we een "privacyschild" kunnen bouwen dat dun genoeg is om het leren door te laten, maar dik genoeg om de spionnen tegen te houden.

De auteurs merken op dat dit specifiek werkt voor de huidige manier waarop AI wordt afgestemd (DPO) en mogelijk aanpassingen vereist voor andere methoden. Ze wijzen ook erop dat hoewel hun methode de voorkeur (de stem) beschermt, het niet magisch de inhoud van de vragen of antwoorden verbergt als die van zichzelf al geheim waren. Maar voor het overgrote deel van de gevallen waar de vragen publiek zijn en alleen de menselijke mening privé is, biedt deze nieuwe methode een praktische, schaalbare en effectieve manier om AI te bouwen die onze geheimen respecteert.

Technische Samenvatting: Private Direct Preference Optimization voor LLM-alignment

Probleemstelling
Direct Preference Optimization (DPO) is een standaardmethode geworden voor het afstemmen (alignen) van Large Language Models (LLMs) met behulp van menselijke voorkeursdata. Een typisch DPO-trainingsvoorbeeld bestaat uit een triplet $(x, y_w, y_l)$ , waarbij $x$ een prompt is, en $y_w$ en $y_l$ kandidaat-responsen zijn, waarbij de annotator een voorkeur $y_w \succ y_l$ aangeeft. Hoewel prompts en responsen vaak publiek of door het model gegenereerd zijn, weerspiegelt het relatieve voorkeurssignaal subjectieve menselijke oordelen die gevoelige attributen van annotatoren of eindgebruikers kunnen onthullen (bijv. politieke standpunten, ethische overtuigingen).

Bestaande privacy-beschermende benaderingen zijn slecht geschikt voor deze setting. Standaard Differential Privacy (DP), zoals DP-SGD, beschermt het volledige triplet, inclusief de niet-gevoelige tekstcomponenten, wat leidt tot onnodige ruisinjectie en verminderde bruikbaarheid. Daarentegen introduceren eenvoudige Randomized Response (RR) technieken die op voorkeurslabels worden toegepast, een bias in het optimalisatieproces, wat de alignment-prestaties schaadt. Er is een gebrek aan praktische, schaalbare methoden die alleen het gevoelige voorkeurssignaal beschermen zonder de efficiëntie in gevaar te brengen die vereist is voor het trainen van miljardenparameters-modellen.

Methodologie: PrivDPO
De auteurs stellen PrivDPO voor, een DPO-variant die een nieuwe privacy-notie afdwingt genaamd $\epsilon$ -preference privacy. Deze notie garandeert dat een tegenstander, die de prompt $x$ en de kandidaat-responsen $y_w, y_l$ al kent, niet kan onderscheiden of de onderliggende voorkeur $y_w \succ y_l$ of $y_l \succ y_w$ was.

Het kerninzicht dat PrivDPO drijft, is een geometrische analyse van het DPO-gradiëntlandschap. De auteurs tonen aan dat voor twee naburige voorbeelden die alleen verschillen in hun voorkeursannotatie, het verschil in hun gradiënten volledig ligt op een ééndimensionale voorkias die uitsluitend wordt bepaald door de tekstinhoud van het triplet. Specifiek is het gradiëntverschil proportioneel aan de vector $\mathbf{v} = \nabla_\theta \log \pi_\theta(y_w|x) - \nabla_\theta \log \pi_\theta(y_l|x)$ . De gevoelige informatie (de voorkeursrichting) beïnvloedt alleen de scalaire coëfficiënt (voorkeur-intensiteit) langs deze as.

Op basis van deze observatie vermijdt PrivDPO de computationeel even prohibitieve taak van het verstoren van volledige gradiënten of per-voorbeeld gradiënt clipping. In plaats daarvan maakt het gebruik van een onbevooroordeeld randomized rescaling mechanisme:

Berekening van Voorkeur-intensiteit: Voor elk trainingsvoorbeeld berekent het algoritme een scalaire $\psi$ die de huidige modelvoorkeur-intensiteit vertegenwoordigt.
Onbevooroordeelde Perturbatie: Een randomized gewicht $\tilde{w}$ wordt gesampled zodanig dat de verwachte waarde van de verstoorde intensiteit gelijk blijft aan de ware intensiteit ( $\mathbb{E}[\tilde{\psi}] = \psi$ ), wat $\epsilon$ -preference privacy voldoet. Het mechanisme geeft waarden die iets groter of kleiner zijn dan de ware waarden met gekalibreerde waarschijnlijkheden om onbevooroordeeldheid te garanderen.
Objective Rescaling: In plaats van gradiënten direct te manipuleren, schaalt PrivDPO de DPO-loss-functie voor het huidige voorbeeld met $\tilde{w}$ vóór backpropagation. Dit is wiskundig equivalent aan het verstoren van de gradiënt langs de voorkias, maar is compatibel met standaard, grootschalige trainingsframeworks (zoals FSDP) die gradiënten over GPU's versnipperen.

Daarnaast stellen de auteurs PrivSFT voor, een private supervised fine-tuning fase voorafgaand aan DPO. In tegen tegenstelling tot standaard SFT, dat alleen optimaliseert voor de geprefereerde responsen (wat voorkeur lekt), optimaliseert PrivSFT evenredig op zowel $y_w$ als $y_l$ , waardoor het model zich aanpast aan de semantiek van de dataset zonder privacykosten met betrekking tot gebruikersvoorkeuren te veroorzaken.

Belangrijkste Bijdragen

Formalisering van Preference Privacy: Het artikel definieert $\epsilon$ -preference privacy, een label-DP-stijl garantie die is afgestemd op DPO waar de relatieve ordening van responsen gevoelig is.
Geometrisch Inzicht: De identificatie dat voorkeursinformatie in DPO-gradiënten door een ééndimensionale subspace stroomt (de voorkias), wat gerichte perturbatie mogelijk maakt in plaats van hoogdimensionale ruisinjectie.
PrivDPO Algoritme: Een schaalbaar, onbevooroordeeld mechanisme dat preference privacy afdwingt via randomized objective rescaling. Het vermijdt per-voorbeeld gradiëntoperaties, waardoor het haalbaar is voor productie-schaal LLM's (tot 32B parameters) zonder wijzigingen in bestaande trainingsinfrastructuur te vereisen.
Theoretische Garanties: De auteurs bewijzen dat PrivDPO $\epsilon$ -preference privacy voldoet en onbevooroordeelde gradiëntschattingen biedt met begrensde fouten, waardoor de bias die inherent is aan RR-gebaseerde input-perturbatie wordt vermeden.

Experimentele Resultaten
De auteurs evalueerden PrivDPO op drie benchmarks (Anthropic-HH, TL;DR, UltraFeedback) en drie LLM-families (Qwen2.5, Llama3, Pythia) variërend van 3B tot 32B parameters.

Prestaties vs. Privacy: PrivDPO presteert consequent beter dan privacy-beschermende baselines (DP-SGD, RR, Duchi en Piecewise mechanismen). Onder een matige privacy-budget ( $\epsilon=1$ ) bereikt PrivDPO een alignment-prestatie (Reward Margin, Reward Accuracy) die vergelijkbaar is met niet-private DPO.
Schaalbaarheid: PrivDPO schaalt effectief naar 32B parameter modellen. In tegen tegenstelling tot DP-SGD, dat faalt door geheugenbarrières en computationele inefficiëntie bij het afdwingen van per-voorbeeld gradiënt clipping, introduceert PrivDPO een verwaarloosbare extra trainingstijd.
Memorizatie: Empirische aanvallen die memorisatievoordeel meten, laten zien dat PrivDPO het lekken van voorkeurslabels aanzienlijk beter beperkt dan standaard DPO, waarbij het memorisatievoordeel nabij nul ligt.

Betekenis en Claims
Het artikel beweert dat PrivDPO een praktische stap vertegenwoordigt naar het inzetten van privacy-beschermende RLHF in real-world systemen. Het demonstreert dat het mogelijk is om grootschalige LLM's af te stemmen met strikte preference privacy garanties zonder noemenswaardige compromissen in trainingsefficiëntie of modelkwaliteit. De auteurs positioneren hun werk als een oplossing voor de specifieke structurele mismatch tussen standaard DP-mechanismen en de DPO-objective, waarbij een model-agnostische benadering wordt geboden die de bruikbaarheid van alignment behoudt terwijl de gevoelige menselijke feedbacksignalen worden beschermd. Het werk claimt niet alle privacyrisico's in LLM's op te lossen (het beschermt bijvoorbeeld niet de gevoelige inhoud binnen prompts of responsen zelf), maar richt zich specifiek op de privacy van de voorkeursannotatie in alignment-workflows.

De Kernontdekking: De Stem Verbergen, Niet het Stembiljet

Hoe het werkt: De "Magische Gewicht"-truc

De Resultaten: Grote Modellen, Grote Privacy

Waarom dit ertoe doet

Technische Samenvatting: Private Direct Preference Optimization voor LLM-alignment

Meer zoals dit