Technische Samenvatting: PromptPET

Probleemstelling

De snelle adoptie van AI-agenten (bijv. ChatGPT, Gemini) heeft de interactie van gebruikers verschoven van zoekvakken naar open eind natuurlijke taal, wat het onthullen van rijke, gevoelige persoonlijke informatie aanmoedigt. Hoewel dit de bruikbaarheid door personalisatie verhoogt, introduceert het aanzienlijke privacyrisico's. In tegenstelling tot traditionele tracking via PII (Persoonlijk Identificeerbare Informatie), kunnen AI-agenten fijnmazige gebruikersattributen (interesses, gezondheidsstatus, financiële situatie) afleiden uit niet-PII context om gedetailleerde profielen op te bouwen. Deze profielen worden vaak gebruikt voor advertenties of gedeeld met derden.

Huidige privacyoplossingen kampen met twee belangrijke beperkingen:

1. PII-redactie: Het verwijderen van entiteiten faalt vaak in het beschermen van gevoelige onderwerpen (bijv. het verwijderen van "Mountain View" maar het laten staan van "op zoek naar een therapeut" onthult nog steeds de mentale gezondheidsstatus).
2. Utility-Privacy Trade-off: Agressieve obscuratie (bijv. het verwijderen van alle gevoelige details) verslechtert de kwaliteit van de AI-respons, terwijl het behoud van bruikbaarheid (utility) de gebruiker kwetsbaar laat voor profilering.

Bestaande benaderingen vertrouwen ofwel op vaste, handmatig ontworpen regels, of delegeren de beslissingen volledig aan een LLM zonder systematische optimalisatie, waarbij geen rekening wordt ge houden met het variërende belang van verschillende gevoelige eenheden binnen een prompt.

Methodologie: PromptPET

PromptPET is een framework aan de gebruikerszijde dat ontworpen is om gevoelige informatie in gebruikersprompts te verhullen voordat deze de AI-agent bereiken, zonder dat samenwerking van de provider vereist is. Het werkt volledig aan de client-zijde met behulp van een lokale LLM. Het framework bestaat uit drie hoofdfasen:

1. Detectie en Scorering van Gevoelige Informatie

• Taxonomie-gebaseerde Detectie: PromptPET maakt gebruik van een gevoelige taxonomie (specifiek de IAB Audience Taxonomy) om "Gevoelige Eenheden" binnen een query te identificeren. Deze eenheden worden in kaart gebracht naar specifieke Categorieën (bijv. Gezondheid) en Datatypen (bijv. Depressie).
• Belangscorering: Niet alle gevoelige eenheden dragen evenveel bij aan de bruikbaarheid van de respons. PromptPET wijst een belangsscore toe ($[0, 1]$) aan elke gedetecteerde eenheid met behulp van een instruction-tuned LLM. Deze score schat de bijdrage van de eenheid aan het genereren van de gewenste respons in, waarbij onderscheid wordt gemaakt tussen "fragiele" eenheden met een hoge bijdrage en eenheden die agressiever geobscureerd kunnen worden.

2. Obscuratie-acties

PromptPET hanteert vier verschillende obscuratiestrategieën, die worden toegepast op basis van de belangrijkheid en de context van de eenheid:

• Redactie (Redaction): Verwijdert de eenheid en vervangt deze door een placeholder (bijv. [REDACTED]). Dit maximaliseert privacy maar vernietigt vaak de bruikbaarheid.
• Abstractie (Abstraction): Generaliseert de eenheid naar een hoger niveau in de taxonomie (bijv. het vervangen van "Depressie" door "Gezondheid"). Dit biedt een middenweg.
• Vervanging (Replacement): Vervangt de eenheid door een plausibel alternatief uit een ander datatype binnen dezelfde categorie (bijv. het vervangen van "Mountain View" door "Palo Alto").
• Ruis (Noise - Nieuw): Houdt de oorspronkelijke gevoelige eenheid intact, maar injecteert plausibele, contextueel relevante "afleidende" informatie onder een ander datatype. De AI-agent krijgt de instructie om zowel de echte als de afleidende queries te beantwoorden. Het systeem aan de client-zijde filtert vervolgens het afleidende deel van de respons eruit. Dit behoudt de bruikbaarheid voor eenheden met een hoge belangrijkheid, terwijl het de capaciteit van de profiler om het ware signaal te isoleren verstoort.

3. Regeloptimalisatie via Reinforcement Learning

In plaats van vaste heuristieken te gebruiken, introduceert PromptPET een Rule Optimizer geïnspireerd door Optimization by PROmpting (OPRO).

• Mechanisme: Een LLM-gebaseerde agent (de Obfuscation Action Decider) wijst een actie toe aan elke gevoelige eenheid op basis van een reeks beslisregels. Een tweede agent (de Rule Optimizer) verfijnt deze regels iteratief.
• Feedbackloop: De optimizer evalueert regelsets op een validatieset met behulp van een beloningsfunctie: $\alpha \cdot \text{Privacy} + (1-\alpha) \cdot \text{Utility} - \lambda \cdot |R|$, waarbij $|R|$ de lengte van de regelset is. Het behoudt sterke regels, herziet matige regels en schrapt zwakke regels.
• Resultaat: Het systeem leert een dynamisch beleid dat de optimale obscuratie-actie selecteert voor elke specifieke eenheid, in plaats van een enkele strategie globaal toe te passen.

Belangrijkste Resultaten

De auteurs evalueerden PromptPET op de WildChat-1M dataset (gefilterd op gevoelige inhoud) tegenover een productiegerichte AI-agent service (gesimuleerd via GPT-4.1).

Analyse van Enkele Acties

• Superioriteit van Ruis: Onder de strategieën met een enkele actie behaalde de Noise-methode de beste privacy-utility trade-off. Bij maximale sterkte behaalde het 73,7% succes (hoge privacy, hoge bruikbaarheid), wat aanzienlijk beter is dan Redactie (39,4%) en Abstractie (51,2%). Ruis behield de bruikbaarheid door het originele signaal intact te houden terwijl de profiler werd overspoeld met afleidingen.
• Contextafhankelijkheid: Geen enkele actie was optimaal voor alle queries. Redactie was het beste voor incidentele gevoelige eenheden, terwijl Ruis essentieel was voor kerncomponenten van de query.

Prestaties van PromptPET

• Vergelijking met State-of-the-Art: PromptPET presteerde aanzienlijk beter dan eerdere geautomatiseerde baselines (Ngong et al. en Zhou et al.).
  • Het leverde 3,3× meer privacy per eenheid van utility-kosten vergeleken met de sterkste eerdere baseline.
  • Het behaalde 1,4× hogere algemene privacy (0,78 vs. 0,55) terwijl de hoge bruikbaarheid behouden bleef.
• Grensprestatie: De geleerde regelset stelde PromptPET in staat om de bovengrens van de beste strategie met een enkele actie te evenaren bij elk operationeel punt (bijv. het gebruiken van Abstractie voor lage privacybehoeften en Ruis voor hoge privacybehoeften), waardoor het effectief "meewerkt" in plaats van concurreert.
• Foutmodi: Het systeem faalde primair op twee manieren:
  1. Privacy Miss (17,5%): De profiler herstelde het profiel uit de resterende context ondanks de obscuratie.
  2. Utility Collapse (7,6%): Dit kwam vooral voor wanneer Redactie onterecht werd toegepast op eenheden met een hoge belangrijkheid.
  • Gelijktijdige fouten op beide assen waren zeldzaam (1,1%).

Efficiëntie

• Latentie: PromptPET voegt een mediane client-zijde latentie toe van 11,6 seconden per query (gedomineerd door de detectiestap met een 12B parameter model), wat resulteert in een totale end-to-end tijd van ~17,1 seconden. De auteurs merken op dat dit een secundaire zorg is ten opzichte van de privacy-utility trade-off en kan worden verminderd met kleinere, gespecialiseerde detectoren.

Betekenis en Claims

Het artikel beweert dat PromptPET een fundamenteel en verenigend framework voor prompt-obscuratie vertegenwoordigt. De primaire bijdragen zijn:

1. Controle aan de Gebruikerszijde: Het toont aan dat controle over data op het punt van onthulling (client-zijde) een levensvatbare en krachtige Privacy-Enhancing Technology (PET) is die niet afhankelijk is van het vertrouwen in de provider.
2. Nieuw Ruismechanisme: De introductie van het Noise/Denoise-schema biedt een nieuwe methode om de bruikbaarheid te behouden terwijl profilering wordt verstoord, wat beter presteert dan traditionele verwijderingsmethoden.
3. Systematische Optimalisatie: Door af te stappen van statische regels naar een reinforcement-learning-geïnspireerde regeloptimizer, past PromptPET zich dynamisch aan de nuances van verschillende queries aan, waardoor het een privacy-utility frontier bereikt die statische methoden niet kunnen halen.
4. Uitgebreide Evaluatie: Het werk biedt de eerste systematische vergelijking van redactie, abstractie, vervanging en ruis, waarmee wordt vastgesteld dat de optimale strategie contextafhankelijk is en geleerd moet worden in plaats van hardcoded te zijn.

De auteurs concluderen dat PromptPET een praktisch pad biedt voor gebruikers om met AI-agenten te interageren terwijl zij de controle over hun privacy behouden, waardoor gebruikersprofilering effectief wordt ondermijnd zonder de bruikbaarheid van de interactie op te offeren.