💬 NLP

Beyond Theoretical Bounds: Empirical Privacy Loss Calibration for Text Rewriting Under Local Differential Privacy

Dit paper introduceert TeDA, een empirisch kalibratiemethode gebaseerd op hypothesetoetsing die de daadwerkelijke privacyverlies van tekstherformulering onder lokale differentieelprivacy meet en zo een vergelijkbaarder fundament biedt voor het evalueren van privacy-utility trade-offs dan de theoretische $\varepsilon$ -grenzen.

Oorspronkelijke auteurs: Weijun Li, Arnaud Grivet Sébert, Qiongkai Xu, Annabelle McIver, Mark Dras

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Weijun Li, Arnaud Grivet Sébert, Qiongkai Xu, Annabelle McIver, Mark Dras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel persoonlijk verhaal schrijft, bijvoorbeeld over je favoriete hobby of een geheim recept. Je wilt dit verhaal delen met de wereld, maar je wilt niet dat mensen precies kunnen achterhalen wie jij bent of wat je originele tekst was.

Om dit op te lossen, gebruiken computers een soort "privacy-magie" die Lokale Differentiële Privacy (LDP) heet. De computer neemt je tekst en verandert hem een beetje voordat hij het verstuurt. Hoe meer privacy je wilt, hoe meer de tekst wordt veranderd.

De grootte van deze verandering wordt gemeten met een getal, de $\epsilon$ (epsilon). In de theorie zeggen de makers van deze systemen: "Als je dit getal gebruikt, is je tekst veilig." Maar hier zit een probleem: dit getal is als een snelheidsmeter die niet altijd klopt. Twee verschillende systemen kunnen hetzelfde getal gebruiken, maar één systeem verandert je tekst misschien heel weinig (en je bent nog steeds herkenbaar), terwijl het andere systeem je tekst volledig onleesbaar maakt.

De uitvinding: TeDA (De Privacy-Spiegel)

De auteurs van dit paper hebben een nieuwe manier bedacht om te kijken of die privacy-getallen echt kloppen. Ze noemen hun methode TeDA.

In plaats van blindelings te vertrouwen op het getal $\epsilon$ , laten ze een "detective" (een computerprogramma) proberen te raden wat de originele tekst was, nadat deze is veranderd.

De analogie van de vermomming:
Stel je voor dat je een masker opzet en je stem verandert.

Systeem A zegt: "Ik heb een zwaar masker op (hoog privacy-getal)." Maar als de detective kijkt, ziet hij dat je nog steeds je eigen neus hebt en je lacht precies zoals jij. De detective raadt snel wie je bent.
Systeem B zegt: "Ik heb een lichte vermomming (zelfde privacy-getal)." Maar de detective ziet dat je eruitziet als een compleet andere persoon. De detective kan je niet raden.

TeDA meet precies hoe goed die detective is. Als de detective vaak raadt, is de privacy slecht, zelfs als het officiële getal zegt dat het goed is.

Hoe werkt het precies?

De onderzoekers gebruiken twee soorten detectives:

De Taal-Detective: Deze kijkt naar de woorden en zinsbouw. "Klinkt dit als de originele zin?"
De Geheime Code-Detective: Deze kijkt niet naar de woorden, maar naar de "betekenis" in de computer (in een wiskundige ruimte). Zelfs als de woorden totaal anders zijn, kan de betekenis nog steeds lijken op het origineel.

Ze laten deze detectives duizenden keren proberen om het origineel te raden uit een lijst met mogelijke opties. Als ze vaak winnen, betekent het dat de privacy-methode niet zo goed werkt als gedacht.

Wat hebben ze ontdekt?

Toen ze dit testten op zes verschillende privacy-systemen, zagen ze iets verrassends:

Het getal $\epsilon$ is niet allesbepalend. Twee systemen met exact hetzelfde privacy-getal konden totaal verschillende resultaten geven. Het ene systeem gaf een tekst die bijna onherkenbaar was, het andere gaf een tekst die nog steeds heel veel leek op het origineel.
Sommige systemen zijn beter dan ze zeggen. Systemen die werken op het niveau van hele zinnen (in plaats van woord voor woord) bleken vaak veel veiliger te zijn dan hun getallen suggereerden.
Sommige systemen zijn slechter dan ze zeggen. Andere systemen gaven een veilig getal, maar de tekst was zo goed als niet beschermd.

Waarom is dit belangrijk?

Voor de gemiddelde gebruiker is dit een enorme stap vooruit. Het betekent dat we niet meer hoeven te vertrouwen op ingewikkelde wiskundige formules die niemand begrijpt.

Met TeDA kunnen we nu zeggen: "Kijk, dit systeem werkt echt goed, want zelfs de slimste computer kan niet raden wat je originele tekst was." Het helpt ontwikkelaarden om de beste privacy-tools te kiezen en zorgt ervoor dat onze persoonlijke data echt veilig blijft, in plaats van dat we alleen maar een veilig getal zien op papier.

Kortom: Ze hebben een nieuwe "test" bedacht om te zien of de privacy-schil van een app echt dik genoeg is, in plaats van alleen te kijken naar de verpakking.

Probleemstelling

Het gebruik van Large Language Models (LLMs) heeft de interesse in het delen van tekstuele data met behoud van privacy vergroot. Een veelgebruikte aanpak hiervoor is tekstherformulering onder Lokale Differentiële Privacy (LDP), waarbij invoerlocaties lokaal worden verduisterd voordat ze worden vrijgegeven.

De kern van het probleem ligt in de interpretatie van de privacyparameter $\epsilon$ (epsilon):

Moeilijke interpretatie: Nominalen $\epsilon$ -waarden geven een theoretische bovengrens van privacyverlies, maar het is voor praktijkmensen moeilijk om te vertalen hoeveel informatie er daadwerkelijk wordt gelekt. Een $\epsilon$ van 10 betekent niet direct iets over de verwachte informatielek.
Gebrek aan vergelijkbaarheid: Verschillende tekstherformuleringssystemen definiëren privacy op verschillende granulariteiten (bijvoorbeeld op token-niveau versus zin-niveau). Mechanismen met dezelfde nominale $\epsilon$ kunnen daardoor leiden tot zeer verschillende niveaus van daadwerkelijk privacyverlies.
Onvoldoende garanties: Formele garanties alleen zijn vaak niet voldoende om praktische privacybescherming te karakteriseren of om de beste mechanismen te selecteren.

Methodologie: TeDA

De auteurs stellen TeDA (Text Distinguishability Audit) voor, een empirisch kalibratiekader dat de theoretische $\epsilon$ vertaalt naar een empirisch privacyverlies ( $\epsilon_{emp}$ ). Dit kader is gebaseerd op een hypothese-toetsingsframework dat de "onderscheidbaarheid" van tekst meet.

Kerncomponenten van TeDA:

Distinguishability Attacks (Aanvallen op onderscheidbaarheid):
TeDA simuleert een aanvaller die probeert de oorspronkelijke invoer te raden uit een set kandidaten op basis van de gepubliceerde, verduisterde tekst. Er worden twee soorten aanvallen gebruikt:
- Oppervlakte-gebaseerde attributie (Surface-level): Gebruikt een Large Language Model (LLM) om te beoordelen welke kandidaat tekst het meest semantisch overeenkomt met de verduisterde output op basis van woordkeuze en syntaxis.
- Embedding-gebaseerde attributie: Gebruikt vectorrepresentaties (embeddings) om de afstand tussen de verduisterde tekst en de kandidaten te meten. Dit pakt diepere semantische structuren op die zelfs kunnen overleven als de oppervlaktevorm sterk is veranderd.
Strategie voor Kandidaatselectie:
In tegenstelling tot tabulaire data, waar kandidaten willekeurig kunnen worden gekozen, is de keuze van kandidaten in tekst cruciaal vanwege de semantische structuur. De auteurs introduceren een Probabilistic Transition Sampling strategie:
- Ze gebruiken een temperatuurparameter ( $\lambda$ ) om te variëren tussen uniforme selectie, selectie van zeer gelijkaardige teksten (moeilijkere taak voor de aanvaller) en selectie van zeer diverse teksten (makkelijkere taak, maar geeft een strengere schatting van het privacyverlies).
- De standaardinstelling is "meer-variërende" selectie ( $\lambda < 0$ ) om de druk op de privacy te maximaliseren.
Efficiënte Schatting:
Traditionele auditmethoden vereisen miljoenen Monte Carlo-simulaties (True Positives en False Positives apart tellen), wat te duur is voor tekstmodellen. TeDA gebruikt een gereduceerde schatter die alleen de totale succesratio van de aanvaller nodig heeft. Dit halveert het aantal benodigde modelqueries en maakt schaalbare evaluatie mogelijk.

Belangrijkste Bijdragen

Uitbreiding naar tekst: TeDA breidt bestaande LDP-auditkaders (die voornamelijk voor tabulaire data waren) uit naar het complexe domein van natuurlijke taal.
Unificatie van aanvallen: Het introduceert een framework dat zowel oppervlakte- als semantische (embedding) lekken meet, wat een completer beeld geeft van privacyverlies.
Efficiëntie: Door de schatter te vereenvoudigen, wordt het mogelijk om dure LDP-mechanismen (die grote taalmodellen gebruiken) op grote schaal te evalueren.
Empirische kalibratie: Het biedt een gemeenschappelijke basis om mechanismen met verschillende rapportagegranulariteiten (token vs. zin) met elkaar te vergelijken.

Resultaten

De auteurs hebben TeDA toegepast op zes representatieve LDP-mechanismen (zoals ADePT, DP-BART, DP-Paraphrase, DP-MLM, DP-Prompt, DP-ST) over vier datasets.

Grote discrepantie tussen nominale en empirische $\epsilon$ :
- Mechanismen die noise injecteren in zin-embeddings (zoals ADePT en DP-BART) tonen een zeer laag empirisch privacyverlies ( $\epsilon_{emp} \approx 0$ ), zelfs bij hoge nominale $\epsilon$ -waarden (tot 2500). Ze zijn empirisch nauwelijks te onderscheiden.
- Mechanismen die werken op token-niveau (zoals DP-MLM, DP-Prompt) tonen een veel hoger $\epsilon_{emp}$ dat sterk stijgt met de nominale $\epsilon$ . Dit komt omdat de totale privacybudget per zin opgeteld wordt over alle tokens (compositie-theorema), wat leidt tot een veel zwakkere zin-niveau garantie dan de nominale waarde suggereert.
Complementaire aanvallen:
De LLM-aanval en de embedding-aanval vullen elkaar aan. Soms is een tekst voor een LLM moeilijk te herleiden (oppervlakte verandert veel), maar wel semantisch herkenbaar in de embedding-ruimte, en vice versa.
Privacy-Utility Trade-off:
De empirische $\epsilon_{emp}$ geeft een betere indicatie van de praktische privacy-utility afweging dan de nominale $\epsilon$ . Mechanismen met een lage $\epsilon_{emp}$ behouden vaak minder nut voor downstream taken (zoals sentimentanalyse) dan mechanismen met een hoge $\epsilon_{emp}$ , ondanks dat ze theoretisch "veiliger" lijken.
Aanwijzingen voor mechanisme-fouten:
De audit onthulde anomalieën. Bijvoorbeeld, bij DP-BART nam de onderscheidbaarheid af bij zeer hoge $\epsilon$ omdat de decodering dan terugviel op geleerde, generieke patronen in plaats van de invoer te reconstrueren. Bij DP-Paraphrase bleef de output ongevoelig voor $\epsilon$ -veranderingen door een sterke bias in het fine-tuning van het model.

Significantie

Dit paper is van groot belang voor de gemeenschap van privacy en NLP:

Praktische tool: Het biedt een praktische methode voor ontwikkelaars om LDP-mechanismen te vergelijken en te kiezen op basis van daadwerkelijk gedrag in plaats van alleen theoretische formules.
Betere transparantie: Het maakt duidelijk dat nominale $\epsilon$ -waarden misleidend kunnen zijn en dat empirische kalibratie noodzakelijk is voor betrouwbare privacyclaims.
Toekomstige richting: Het stelt een standaard in voor het auditen van tekstgerelateerde privacymechanismen, wat essentieel is naarmate LDP-toepassingen in de echte wereld (zoals chatbots en zoekmachines) vaker worden ingezet.

Kortom, TeDA verschuift de focus van "wat de theorie zegt" naar "wat er in de praktijk gebeurt", en biedt een robuust framework om de echte prijs van privacy in tekstverwerking te meten.