Beyond Direct Identifiers: Probabilistic Privacy Risk Estimation for Privacy-Conscious LLM Query Delegation

Technische Samenvatting: Voorbij Directe Identificatoren: Probabilistische Schatting van Privacyrisico's voor Privacy-bewuste LLM-querydelegatie

1. Probleemstelling

Huidige benaderingen voor het beschermen van gebruikersprivacy in interacties met Large Language Models (LLM's), specifiek Privacy-Conscious Delegation (PCD), richten zich primair op het elimineren van expliciete persoonsgegevens (PII) (bijv. namen, e-mails, specifieke locaties) voordat queries naar onbetrouwbare externe modellen worden verzonden. De auteurs stellen echter dat het verwijderen van expliciete identificatoren onvoldoende is om anonimiteit te waarborgen. Gebruikers blijven identificeerbaar via quasi-identificatoren—combinaties van niet-expliciete kenmerken (bijv. "34-jarige verpleegkundige in Austin met diabetes type 2") die, wanneer ze worden geaggregeerd, de anonimiteitsset uniek verkleinen.

Het artikel stelt dat bestaande PCD-frameworks er niet in slagen de probabilistische privacyrisico's te rekening houden die voortvloeien uit deze zelfonthullingen. Om dit aan te pakken, stellen de auteurs voor om PCD-doelstellingen aan te vullen met een probabilistische schatting van k-anonimiteit, een metriek die formaliseert hoe gemakkelijk een individu te lokaliseren is op basis van een set kenmerken binnen een bekende populatie.

2. Methodologie

2.1. Het PCD-k Framework
De auteurs bouwen voort op PAPILLON, een sterk baseline PCD-framework waarbij een betrouwbaar lokaal model ($M_{LOCAL}$) een gebruikersquery ($q$) herschrijft naar een gesaneerde query ($q'$) voordat deze naar een krachtig, onbetrouwbaar extern model ($M_{REMOTE}$) wordt verzonden. De auteurs introduceren PCD-k, dat k-anonimiteit toevoegt als een extra optimalisatiedoel naast responskwaliteit en de reductie van PII-lekken.

2.2. Probabilistische Risicoschatting (BRANCH Integratie)
Om k-anonimiteit voor vrije tekst te operationaliseren, integreren de auteurs BRANCH (Zheng et al., 2025), een probabilistisch framework dat gebruikmaakt van de kennis van een LLM over censusgegevens en logische afhankelijkheden. Het proces omvat:

1. Extractie van onthullingen: Het identificeren van persoonlijke attributen (bijv. leeftijd, beroep, locatie) uit de tekst.
2. Bayesiaanse Modellering: Het ordenen van onthullingen als stochastische variabelen en het bepalen van conditionele afhankelijkheden (bijv. beroep hangt af van locatie en leeftijd).
3. Schatting: De LLM schat de waarschijnlijkheid van elk attribuut gegeven de voorgaande attributen op basis van de demografische voorkennis tijdens de pretraining.
4. Berekening: De gezamenlijke waarschijnlijkheid wordt vermenigvuldigd met een populatiegrootte (bijv. 400 miljoen Engelstaligen) om het verwachte aantal overeenkomende individuen ($k$) te verkrijgen.

Om de efficiëntie te verbeteren, vereenvoudigen de auteurs de Bayesiaanse structuur tot cumulatieve conditionele groepen en implementeren zij een caching-mechanisme met behulp van tekstembeddings om redundante LLM-aanroepen voor vergelijkbare queries te voorkomen.

2.3. De PUPA-SD Dataset
Om dit probabilistische framework te trainen en te evalueren, hebben de auteurs PUPA-SD (Privacy-Conscious Delegation - Self-Disclosure) geconstrueerd.

• Bron: Geëxtraheerd uit WildChat en LMSYS-Chat-1M.
• Inhoud: 166 echte gebruikersqueries die zelfonthullingen bevatten.
• Verwerking: Een gevalideerd extractiemodule (gebruikmakend van GPT-5-mini) filtert op zelfonthullingen en verwijdert niet-Engelse en seksuele inhoud.
• Kenmerken: De dataset bevat instanties waar expliciete PII ontbreekt, maar quasi-identificatoren wel aanwezig zijn, wat aantoont dat standaard PII-detectoren ontoereikend zijn.

2.4. Optimalisatiestrategie
De auteurs gebruiken de DSPy's SIMBA prompt-optimizer om de herschrijfprompt van het lokale model te optimaliseren. De optimalisatiemetriek is een gewogen som van:

• Utility (Nuttigheid): Responskwaliteit en de welgevormdheid van de prompt.
• Privacy: De geschatte k-anonimiteitsscore (genormaliseerd naar [0,1] met behulp van een logaritmische schaal: $\log_2(k) / \log_2(400M)$).
• Noot: PII-lekken zijn niet opgenomen in de optimalisatiemetriek om te voorkomen dat het model simpelweg tekst verwijdert om de k-anonimiteit te maximaliseren; het wordt alleen gemeten tijdens de evaluatie.

3. Belangrijkste Bijdragen

1. Conceptuele Verschuiving: Stelt voor om verder te gaan dan het verwijderen van expliciete PII naar de schatting van probabilistische k-anonimiteit als een kernobjectief in PCD.
2. Dataset Creatie: Introduceert PUPA-SD, een dataset die specifiek is samengesteld om de privacyrisico's te evalueren die voortvloeien uit zelfonthullingen en quasi-identificatoren.
3. Efficiënte Estimator: Past het BRANCH-framework aan tot een meer data-efficiënt pijplijn die geschikt is voor prompt-optimalisatielussen, gebruikmakend van cumulatieve conditionering en caching.
4. Empirische Analyse: Biedt een uitgebreide evaluatie van hoe verschillende groottes van lokale modellen (variërend van 0,5B tot 8B parameters) de afweging tussen nut en probabilistische privacy afhandelen.

4. Resultaten

De experimenten werden uitgevoerd door te optimaliseren op PUPA-SD en te evalueren op de uitgesloten PUPA-TNB dataset met behulp van diverse lokale modellen ($M_{LOCAL}$) en GPT-4o-mini als het externe model ($M_{REMOTE}$).

• Kwaliteit vs. Privacy Afweging:
  • Llama-3.2-3B bereikte de beste balans; het verbeterde de responskwaliteit (van 54,22 naar 67,37) terwijl het het PII-lek aanzienlijk verminderde (van 29,13 naar 11,03) en een hoge k-anonimiteit behield.
  • Kleinere Modellen (bijv. Qwen-2.5-0.5B/1.5B): Ondervonden moeite met het gelijktijdig optimaliseren van kwaliteit en privacy. Hoewel de kwaliteit verbeterde, nam het PII-lek na optimalisatie vaak toe (bijv. de lek van Qwen-1.5B steeg van 54,40 naar 62,95).
  • Grotere Modellen (bijv. Llama-3.1-8B): Toonden significante kwaliteitswinsten maar ervoeren ook een toename in PII-lekken, wat suggereert dat het moeilijk is om gelijktijdig aan alle beperkingen te voldoen.
• k-Anonimiteit Stabiliteit: De k-anonimiteitsscores bleven relatief stabiel over verschillende modellen en condities. De auteurs merken op dat dit kan komen doordat herschreven queries de onthullingen volledig verwijderden of onmogelijk werden ingeschat met publieke data, waardoor de estimator terugviel op de volledige populatiegrootte.
• Correlatie: Er werd een negatieve correlatie ($\rho = -0,4045$) waargenomen tussen het aantal PII's in de originele queries en de geschatte k-anonimiteit, wat het monotone gedrag van de pijplijn bevestigt.

5. Betekenis en Claims

Het artikel beweert een "eerste stap" te zetten richting probabilistische privacy-bewuste delegatie. De primaire betekenis ligt in het aantonen dat:

• Het elimineren van expliciete identificatoren onvoldoende is; quasi-identificatoren vormen een reëel, kwantificeerbaar risico.
• k-anonimiteit een nutbare hulpmetriek kan dienen voor PCD-systemen, mits de schatting efficiënt genoeg is voor optimalisatielussen.
• Modelcapaciteit een cruciale factor is bij het navigeren door de privacy-utiliteit-afweging; kleinere modellen kunnen moeite hebben met het gelijktijdig optimaliseren van hoogwaardige herschrijving en strikte privacybeperkingen.

Erkende Beperkingen:

• Kalibratie: De k-anonimiteitsschattingen vertrouwen op de door de LLM gecodeerde voorkennis in plaats van op realtime censusgegevens, wat kan leiden tot onnauwkeurigheden of verouderde statistieken.
• Dataset Grootte: PUPA-SD is klein (166 instanties), wat de statistische kracht beperkt en methoden voor post-training voor kleinere modellen verhindert.
• Taal: De huidige pijplijn en dataset zijn beperkt tot het Engels.

De auteurs concluderen dat hoewel hun aanpak veelbelovend is, toekomstig werk nodig is om de schattingen te funderen in actuele data (bijv. via agentic web search) en om de dataset uit te breiden om robuustere training en evaluatie te ondersteunen.