💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

Het artikel stelt DP-Fusion voor, een mechanisme voor differentiële privacy-inferentie op tokenniveau voor grote taalmodellen dat de invloed van gevoelige contexttokens op outputs aantoonbaar begrenst om hoogwaardige documentprivatisering mogelijk te maken met aanzienlijk verbeterde privacy- en nut-afwegingen vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, praatgrage robot hebt (een Large Language Model, of LLM) die je helpt bij het samenvatten van documenten. Soms bevatten die documenten geheime informatie, zoals de naam van een patiënt, een specifieke datum of een bankrekeningnummer. Je wilt dat de robot het verhaal samenvat zonder per ongeluk die geheimen te verklappen.

Het probleem is dat huidige robots hier slecht in zijn. Als je ze alleen vertelt "noem de naam niet", kunnen ze in de war raken en onzin schrijven. Als je ze vertelt "herschrijf het netjes", kunnen ze er toch per ongeluk in slagen om het geheim toch te onthullen.

Ontmoet DP-FUSION: De "Geheim-Veilige" Blender

De auteurs van dit paper hebben een nieuwe methode ontwikkeld genaamd DP-FUSION. Denk aan DP-FUSION als een speciale blender voor tekst die garandeert dat geheimen verborgen blijven terwijl het verhaal leesbaar blijft. Dit is hoe het werkt, met behulp van een eenvoudige analogie:

Het Scenario: De Twee Versies van een Verhaal

Stel je voor dat je een medisch rapport hebt over "Mevrouw Smith" die een rekening had van $345,25.

Het Originele Verhaal: Bevat de naam "Mevrouw Smith" en het exacte bedrag.
Het Geredacteerde Verhaal: Je neemt een zwarte marker en maakt "Mevrouw Smith" en "$345,25" onleesbaar, en vervangt ze door lege plekken zoals [NAAM] en [BEDRAG].

Hoe DP-FUSION Werkt (Het Blenderproces)

In plaats van simpelweg één versie of de andere te kiezen, voert DP-FUSION een slimme dans uit:

Draai de Robot Twee Keer:
- Eerst vraagt het de robot om het volgende woord te voorspellen met behulp van het Geredacteerde Verhaal (de veilige versie). Dit geeft een "veilige" gok.
- Daarna vra으로 het de robot om het volgende woord te voorspellen met behulp van het Originele Verhaal (de geheime versie). Dit geeft een "risicovolle" gok die het geheim zou kunnen lekken.
De "Privacy-Draaiknop" (De Blenderknop):
- Het systeem heeft een draaiknop genaamd $\epsilon$ (epsilon).
- Draaiknop helemaal omlaag (Lage $\epsilon$ ): De blender mengt de twee gokken zo zwaar dat de "risicovolle" geheim bijna volledig wordt overstemd door de "veilige" gok. De robot zegt misschien "een patiënt" in plaats van "Mevrouw Smith". Dit is zeer privé, maar het verhaal kan wat generiek aanvoelen.
- Draaiknop omhoog (Hoge $\epsilon$ ): De blender laat meer van de "risicovolle" gok door. De robot kan "Mevrouw Smith" zeggen als dat goed in de context past. Het verhaal klinkt beter, maar er is een kleine kans dat een geheim erdoorheen glipt.
De Garantie:
- De magie van DP-FUSION is dat het wiskundig bewijst dat ongeacht hoe hard een hacker probeert het geheim te raden, hun kans van slagen strikt beperkt is door de instelling op die draaiknop. Zelfs als een hacker precies weet hoe de blender werkt, kan hij het geheim niet terugrekenen.

Waarom Is Dit Beter Dan Wat We Nu Hebben?

Het paper vergelijkt DP-FUSION met andere methoden:

De "Scrubber" (NER): Dit is als het gebruik van een zwarte marker om geheimen door te strepen. Het is veilig, maar het laat lelijke gaten in de tekst achter, waardoor het moeilijk te lezen is (lage bruikbaarheid).
De "Paraphraser" (Prompt Engineering): Dit is als de robot vragen om "dit mooi te herschrijven". Het klinkt goed, maar de robot onthult vaak per ongeluk het geheim toch omdat hij niet gedwongen werd om voorzichtig te zijn.
DP-FUSION: Dit is het ideale evenwicht. Het houdt de tekst vloeiend (hoge kwaliteit) terwijl het wiskundig garandeert dat de geheimen verborgen blijven.

De Resultaten

De onderzoekers hebben dit getest op echte juridische en medische documenten. Ze ontdekten dat:

Kwaliteit: De tekst gegenereerd door DP-FUSION was veel natuurlijker en leesbaarder dan andere privacy-methoden. Sterker nog, het was 6 keer beter (in termen van "perplexiteit", een maatstaf voor hoe verwarrend een tekst is) dan de op één na beste privacy-methode.
Beveiliging: Zelfs toen hackers probeerden de verborgen namen of datums te raden, faalden ze bijna even vaak als wanneer ze willekeurig zouden gokken.
Bonus Veiligheid: De methode helpt ook om "jailbreak"-aanvallen te stoppen, waarbij hackers proberen de robot te misleiden om de regels te negeren. Door verdachte invoer te behandelen als "gevoelige tokens", kan de blender de invloed ervan verdunnen, waardoor de robot veilig blijft.

In Een Notendop

DP-FUSION is een nieuwe manier om AI te gebruiken om gevoelige documenten samen te vatten. Het werkt als een slimme blender die een "veilige" versie van de tekst mengt met de "echte" versie, gecontroleerd door een privacy-draaiknop. Dit zorgt ervoor dat geheimen (zoals namen of datums) wiskundig gegarandeerd verborgen blijven, terwijl het resulterende verhaal een hoge kwaliteit behoudt en gemakkelijk te lezen is.

Technische Samenvatting: DP-FUSION

Probleemstelling

Large Language Models (LLMs) miss inherente privacygaranties tijdens inferentie. Wanneer LLM's worden uitgebreid met tools of externe databases die gevoelige informatie bevatten (bijv. Persoonsgegevens of PII), kunnen de outputs van het model onbedoeld deze context onthullen. Bestaande methoden voor privacybewuste inferentie lijden aan significante beperkingen:

Gebrek aan bewijsbare garanties: Methoden zoals prompt engineering of eenvoudige scrubbing (redactie) bieden geen formele privacy-assurances en zijn kwetsbaar voor reconstructie- of membership-inferentie-aanvallen.
Slechte Utility/Privacy-afweging: Differentially Private (DP) inferentiemethoden zoals DP-Decoding (interpolatie met uniforme ruis) of DP-Prompt (clipping van logits) resulteren vaak in een ernstig gedegradeerde tekstkwaliteit (hoge perplexiteit) om privacy te bereiken.

De specifieke uitdaging die wordt aangepakt is documentprivatisering: het parafraseren van een document dat gevoelige tokens bevat, zodanig dat een aanvaller de oorspronkelijke gevoelige tokens niet betrouwbaar kan afleiden uit de geparafraseerde output, terwijl de tekstkwaliteit hoog blijft.

Methodologie: DP-FUSION

De auteurs stellen DP-FUSION voor, een token-niveau Differentially Private Inference (DPI) mechanisme dat de invloed van gevoelige context-tokens op de gegenereerde output bewijsbaar begrenst. De methode werkt onder een dreigingsmodel waarbij een adaptieve gray-box aanvaller de inferentiemethode, modelarchitectuur en gewichten kent, en de geprivatiseerde output en de geredacteerde input observeert.

Kernmechanisme

DP-FUSION past het concept van ensemble-gebaseerde private voorspelling (vergelijkbaar met PMixED) aan voor de inferentie-omgeving. Het proces bestaat uit vier hoofdfasen:

Token Labeling: Een subset van gevoelige tokens in het inputdocument wordt geïdentificeerd en gegroepeerd in privacygroepen ( $G_1, \dots, G_m$ ) met behulp van een tagger (bijv. NER).
Baseline Inferentie (Publiek): De LLM wordt uitgevoerd op het document waarbij alle gevoelige tokens zijn geredacteerd (vervangen door placeholders van gelijke lengte) om een "publieke" volgende-token distributie ( $p_{pub}$ ) te verkrijgen.
Private Inferentie: De LLM wordt $m$ keer uitgevoerd (één keer voor elke privacygroep), waarbij alleen de tokens van een specifieke groep $G_i$ worden onthuld naast de geredacteerde context. Dit levert $m$ "private" volgende-token distributies op ( $p_{priv, i}$ ).
Distributie Blending (Mollificatie): Voor elke groep $i$ $i$ wordt een coëfficiënt $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ berekend via bisection search. $\lambda_i$ $λ_{i}$ is de maximale waarde waarvoor de Rényi-divergentie tussen de gemengde distributie ( $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ) en de baseline $p_{pub}$ $p_{p u b}$ voldoet aan een vooraf gedefinieerd privacybudget $\beta_i$ $β_{i}$ .
- De uiteindelijke volgende-token distributie is een gemiddelde van deze gemengde distributies.
- Een token wordt gesampled uit deze gemengde distributie.

Privacygaranties

De methode biedt Per-groep $(\alpha, \beta_i)$ -Rényi Differential Privacy (RDP).

Neighborhood Definitie: Twee documenten worden als nabij beschouwd als ze alleen verschillen door de aanwezigheid/afwezigheid van alle tokens in een enkele privacygroep.
Theoretische Grens: Het algoritme zorgt ervoor dat de symmetrische Rényi-divergentie tussen de output-distributies van nabije documenten begrensd is. Dit vertaalt zich naar $(\epsilon, \delta)$ -DP garanties voor de gehele gegenereerde transcriptie, waarbij $\epsilon$ wordt gecontroleerd door het aantal gegenereerde tokens, de Rényi-orde $\alpha$ , en de groepsbudgetten $\beta_i$ .
Robuustheid: Het mechanisme begrenst het voordeel van de aanvaller, zelfs als de query adversarieel is gekozen (bijv. jailbreak-pogingen).

Belangrijkste Bijdragen

Token-Level DP Inference: Introductie van een methode die bewijsbare DP-garanties biedt op token-niveau tijdens LLM-inferentie, specifiek voor parafraseringstaken.
Verbeterde Utility/Privacy-afweging: In tegenstelling tot eerdere methoden die ruis toevoegen aan de output-distributie of logits clippen, mengt DP-FUSION distributies op basis van het verschil tussen "gevoelige" en "niet-gevoelige" contexten. Dit maakt het mogelijk meer semantische informatie te behouden terwijl de lekkage van specifieke tokens strikt wordt begrensd.
Mitigatie van Prompt Injection: De auteurs demonstreren dat het mechanisme ook kan worden toegepast op beveiliging, waarbij "gevoelige tokens" worden gedefinieerd als chunks die afkomstig zijn uit onbetrouwbare bronnen (bijv. in RAG-pipelines). Door de invloed van deze chunks te begrenzen, mitigeert DP-FUSION prompt injection-aanvallen.
Open Source Implementatie: De auteurs publiceren een PyPI-package en een GitHub-repository waarmee DP-FUSION op willekeurige LLM's en datasets kan worden toegepast.

Experimentele Resultaten

Experimenten werden uitgevoerd met het Qwen 2.5 7B-Instruct model op de TAB-ECHR dataset (Europese Hof voor de Rechten van de Mens zaken met handmatig geannoteerde PII).

Utility (Perplexity): DP-FUSION bereikte een perplexiteit (PPL) van 1.426 bij een ontspannen privacy-instelling ( $\alpha\beta = 0.10$ $α β = 0.10$ ) en 1.459 bij een strikte instelling ( $\alpha\beta = 0.01$ $α β = 0.01$ ).
- Dit is aanzienlijk beter dan DP-Decoding (PPL > 3.9) en DP-Prompt (PPL > 4.26 voor breedte 50, en > 100 voor breedte 5).
- DP-FUSION bereikt een 6 $\times$ lagere perplexiteit dan de best presterende baseline (DP-Prompt) bij vergelijkbare privacy-niveaus.
Utility (LLM-as-a-Judge): In paarvergelijkingen tegen andere methoden wonnen de DP-FUSION parafrases in >95% van de gevallen tegen DP-Decoding en DP-Prompt. Het presteerde ook 45% van de tijd beter dan de "No DPI - NER" (pure redactie) baseline in strikte privacy-instellingen.
Privacy (Attack Success Rate): De auteurs evalueerden token-recovery aanvallen (Min-K% en LOSS aanvallen).
- DP-FUSION behield een Attack Success Rate (ASR) die dicht bij willekeurige gokken ligt (ongeveer 26-29% voor $|C|=5$ ) zelfs bij hoge utility.
- In contrast hiermee vertoonde DP-Prompt (breedte 50) een ASR van ~50%, wat wijst op een falen om empirische privacy te bieden ondanks een lagere perplexiteit.
- DP-FUSION bood iets betere privacy dan de No-DPI NER baseline in strikte settings vanwege de randomisatie die wordt geïntroduceerd tijdens het mengen van distributies.

Betekenis en Claims

Het artikel claimt dat DP-FUSION een significante vooruitgang vormt bij het inzetten van LLM's met gevoelige data door bewijsbare privacygaranties te bieden zonder de ernstige degradatie van de utility die bij bestaande DP-inferentiemethoden wordt gezien.

Paradigmaverschuiving: De auteurs argumenteren dat in plaats van privacy te behandelen als een post-processing stap of een globale ruis-injectie, privacy beheerd kan worden door de invloed van specifieke token-groepen expliciet te modelleren en die invloed te begrenzen via distributie-blending.
Practicaliteit: De methode is computationeel haalbaar (paralleliseerbaar) en werkt met bestaande LLM's zonder dat hertraining vereist is.
Dubbele Bruikbaarheid: Naast privacy wordt beweerd dat het mechanisme ook effectief is tegen security-dreigingen zoals prompt injection in RAG-systemen, wat een verenigde aanpak biedt voor het afhandelen van onbetrouwbare context.

De auteurs blijven bescheiden over de afhankelijkheid van de kwaliteit van de initiële token tagger (NER), en erkennen dat false negatives in de tagging buiten de theoretische garanties vallen, hoewel empirische resultaten suggereren dat standaard off-the-shelf taggers voldoende zijn voor de gedemonstreerde use-cases.