On the Price of Privacy for Language Identification and Generation

Titel: De Prijs van Privacy voor Taalidentificatie en -generatie

Auteurs: Xiaoyu Li, Andi Han, Jiaojiao Jiang, Junbin Gao (Universiteit van New South Wales & Universiteit van Sydney)
Context: Onderzoek naar differentieel privacy (DP) in het kader van agnostisch statistisch taal leren.

---

1. Het Probleem

Grote taalmodellen (LLMs) worden steeds vaker getraind op gevoelige gebruikersdata. Hoewel differentieel privacy (DP) een wiskundig robuust kader biedt om privacy te waarborgen, is de fundamentele "prijs" van privacy voor specifieke taakken niet uniform: sommige problemen kunnen zonder statistische straf worden opgelost, terwijl anderen aanzienlijke degradatie ondergaan.

De auteurs richten zich op twee fundamentele taken in taal leren binnen een agnostisch statistisch kader (waarbij de doelverdeling niet noodzakelijk op één specifieke taal in de collectie rust):

1. Taalidentificatie: Het outputten van een taal uit een collectie die de populatierisico (foutkans) minimaliseert.
2. Taalgeneratie: Het genereren van een nieuwe, geldige string die niet in de trainingsset staat, maar wel uit de onderliggende verdeling komt.

De centrale vraag is: Wat is de fundamentele theoretische kost van differentieel privacy voor deze taken?

2. Methodologie en Kader

De studie bouwt voort op het werk van Høgsgaard en Pabbaraju [2026] over niet-privacy-bevattende taal leren. De auteurs analyseren de prestaties onder twee privacy-regimes:

• Benaderde Differentieel Privacy (Approximate DP): $(\varepsilon, \delta)$-DP met constante $\varepsilon > 0$ en $\delta \leq 1/\text{poly}(n)$.
• Pure Differentieel Privacy (Pure DP): $\varepsilon$-DP (waarbij $\delta = 0$).

Technische Aanpak:
De auteurs ontwerpen algoritmen die de niet-privacy-algoritmen van Høgsgaard en Pabbaraju aanpassen door gevoelige scorefuncties te vervangen door gladde, privacy-vriendelijke versies. Ze gebruiken twee hoofdmechanismen:

• Exponentieel Mechanisme: Voor Pure DP, om discrete optima te selecteren op basis van een scorefunctie.
• Gaussisch Mechanisme: Voor Benaderde DP, om ruis toe te voegen aan vectorwaarden.

Daarnaast bewijzen ze ondergrenzen (lower bounds) door "harde" distributies te construeren die dicht bij elkaar liggen in Hamming-afstand, en vervolgens het Group Privacy-argument toe te passen om te laten zien dat geen enkel $\varepsilon$-DP-algoritme deze onderscheid kan maken zonder aanzienlijke fouten.

3. Belangrijkste Bijdragen

A. Privacy-vrije Identificatie onder Benaderde DP

Voor taalidentificatie tonen ze aan dat onder benaderde DP (met constante $\varepsilon$) de privacykosten volledig afwezig zijn. De foutkans daalt met dezelfde snelheid als in het niet-privacy geval:

• Fout: $\exp(-r(n))$ waarbij $r(n) = o(n)$ (een sublineaire functie).
• Dit betekent dat privacy geen extra steekproefcomplexiteit vereist in dit regime.

B. Optimaliteit onder Pure DP met een factor $\min\{1, \varepsilon\}$

Onder Pure DP degradeert de convergentiesnelheid, maar precies op een voorspelbare manier:

• De exponent in de foutkans wordt vermenigvuldigd met een factor van $\min\{1, \varepsilon\}$.
• Identificatie: De fout is $\exp(-\min\{1, \varepsilon\} \cdot r(n))$.
• Generatie: De fout is $\exp(-\min\{1, \varepsilon\} \cdot \Omega(n))$.
  De auteurs bewijzen dat deze schaling strak (tight) is; de ondergrenzen komen overeen met de bovengrenzen tot op constante factoren.

C. Structureel Verschil: Identificatie vs. Generatie

Een cruciale inzicht is dat de "prijs" van privacy afhangt van de gevoeligheidsstructuur van de leerdoelstelling, niet alleen van de complexiteit van de hypotheseclass:

• Identificatie: Gebruikt een "margin-based" selectieregel. De gevoeligheid van deze score groeit met de horizon ($f(n)^2/n$), wat leidt tot een grotere privacykost onder Pure DP.
• Generatie: Gebruikt een "thresholded prefix count". Deze score heeft constante gevoeligheid (onafhankelijk van $n$). Hierdoor kan de Gaussische ruis (bij benaderde DP) verwaarloosbaar klein blijven ten opzichte van de scorekloof, waardoor generatie zelfs onder Pure DP een optimale exponentiële snelheid behoudt (mits een bekende "mass floor" aanwezig is).

4. Kernresultaten

De resultaten worden samengevat in de volgende vergelijking van foutkansen (Error Rates):

Taak	Niet-Privacy	Pure $\varepsilon$-DP	Benaderde $(\varepsilon, \delta)$-DP
Identificatie	$\exp(-r(n))$	$\exp(-\min\{1, \varepsilon\} \cdot r(n))$	$\exp(-r(n))$ (Geen kosten)
Generatie	$\exp(-\Omega(n))$	$\exp(-\min\{1, \varepsilon\} \cdot \Omega(n))$	$\exp(-\Omega(n))$ (Geen kosten)

• Conclusie 1: Bij benaderde DP is privacy "gratis" voor beide taken.
• Conclusie 2: Bij Pure DP is de kost exact een factor $\min\{1, \varepsilon\}$ in de exponent.
• Conclusie 3: Generatie heeft een betere privacy-utility afweging dan identificatie, omdat de ondergrens en bovengrens voor generatie onder Pure DP tot op constanten overeenkomen (optimale snelheid), terwijl er bij identificatie nog een $o(n)$ vs $O(n)$ kloof blijft bestaan die inherente is aan het niet-privacy probleem.

5. Betekenis en Impact

• Theoretisch Inzicht: Het artikel levert het eerste fundamentele theoretische bewijs dat de prijs van privacy in taal leren niet uniform is, maar afhankelijk is van de structuur van de leeropdracht. Het toont aan dat het herschrijven van een leerdoel (zoals generatie in plaats van identificatie) de gevoeligheid kan verlagen en zo de privacy-utility trade-off kan verbeteren.
• Praktische Implicaties: Hoewel het onderzoek information-theoretisch is en niet direct de DP-SGD pipeline voor LLMs modelleert, biedt het richtlijnen voor algoritmedesign. Het suggereert dat het minimaliseren van de gevoeligheid van de scorefunctie (bijv. door tellers in plaats van marginale tests te gebruiken) essentieel is voor het behouden van nuttigheid onder strikte privacy.
• Toekomstige Richtingen: De auteurs wijzen op de noodzaak om dit kader uit te breiden naar online settings, gebruikersniveau-privacy, en generatie met veiligheidsbeperkingen.

Kortom, dit werk kwantificeert precies hoeveel "informatie" er verloren gaat door privacy in taalmodellen, en laat zien dat deze prijs verrassend mild kan zijn, mits de juiste privacy-mechanismen en leerdoelen worden gekozen.